De la réalité augmentée à la réalité mixte

Par Hubert Guillaud

En 2009, les applications de réalité augmentée (Layar, Wikitude…) ont été à la mode, comme l’a rappelé de nombreux articles du ReadWriteWeb, qui a fait de la réalité augmentée l’une des tendances de l’année 2009. Les applications ludiques, accessibles via l’iPhone, ont commencé à conquérir le grand public, comme le résume très bien la longue liste des succès dressée par Ori Inbar de l’excellent Games Alfresco, dont les drones de Parrot dévoilé au récent CES sont certainement le dernier emblème en date (vidéo).

Les limites de la réalité augmentée

Bien que peu nombreuses, les critiques n’ont pas manqué sur ces systèmes. Chris Dannen n’a pas été tendre avec la réalité augmentée : « celle-ci n’améliore pas l’expérience utilisateur, au contraire, elle l’a complique ! », s’énervait-il. Layar ne changera pas nos vies, expliquait-il, en soulignant qu’on ne lit pas un magazine face à sa caméra d’ordinateur, pas plus qu’on ne marchera pas dans la rue avec nos mobiles tendus sous nos yeux. Les spécialistes du sujet eux-mêmes, lors de la conférence EmTech rapportée par la Technology Review, concèdent que « l’application tueuse » va être difficile à trouver. Il faut reconnaître que la réalité augmentée, qui ne fait que projeter des données virtuelles sur une représentation du monde réel, a de nombreuses limites, comme le signalent bien des observateurs :

  • limites sur les terminaux : nos téléphones sont encore limités pour ce type d’interaction et si les lunettes de réalité augmentée ou les solutions de projections commencent à être abordables (comme celles de 3DVisor), elles n’ont pas encore atteint le grand public ;
  • limites sur la qualité des données de géolocalisation et d’orientation de nos mobiles qui n’ont pas été conçus pour la RA ;
  • limites sur l’acceptation sociale de la réalité augmentée : pas sûr que nous voulions tous être regardés demain via des téléphones qui disent de nous des choses que l’on ne voit pas, comme l’explicite en réaction le projet TAT… (vidéo)

Dans le domaine des réalités alternatives, sans vouloir quantifier les niveaux de réalité possible, comme nous met en garde Philippe Quéau, c’est l’hybridation entre le réel et le virtuel qui semble la plus intéressante à observer. Celle qu’on appelle la réalité mixte, qui permet à des objets et personnes réelles et virtuelles de coexister et interagir dans l’environnement de l’autre en temps réel.

Les promesses de la réalité mixte

Les passerelles permettant au monde virtuel de comprendre ce qu’il se passe dans le réel ou au monde réel d’agir sur le monde virtuel sont essentielles. Cependant, beaucoup d’expérimentations travaillent dans un sens ou dans l’autre.

Déclencher des actions dans le monde réel
C’est l’intérêt des dispositifs types Arduino. Grâce à des objets commandés via l’internet, les avatars peuvent déclencher des actions dans le monde réel. Jungho Yeom, du Laboratoire d’intelligence ambiante de l’université nationale de Singapour, a ainsi développé un système permettant à un avatar touchant un objet de déclencher un éclairage réel (vidéo). Un autre développeur utilise Arduino pour commander un ascenseur dans Second Life (SL) et allumer des Leds au-dessus de son écran d’ordinateur pour lui indiquer quand quelqu’un entre dans sa maison virtuelle sur SL (vidéo).

Communication Between Second Life and Arduino from Jungho YEOM on Vimeo.

Plus impressionnants sont les travaux d’Adrian David Cheok du Laboratoire de réalité mixte de l’université nationale de Singapour, comme ces Huggy Pajamas (voir le site dédié et la présentation vidéo). Ce système consiste en une veste haptique qui permet à un parent distant de reproduire via l’internet une embrassade : le pyjama est doté de poches d’air qui se gonflent pour simuler l’embrassement, d’un système thermique pour simuler le réchauffement que produit le câlin… (voir la présentation vidéo sur Discovery Science Channel). Une veste qu’Adrian David Cheok imagine pouvoir adapter aux jeux vidéos, comme il l’explique dans une autre vidéo de Discovery Science Channel. Celui-ci projette d’ailleurs d’aller plus loin et réfléchit à un système robotique de lèvres permettant de simuler le baiser à distance.

Permettre aux mondes virtuels de comprendre le réel
D’autres travaux au contraire s’appliquent à permettre au monde virtuel de comprendre le réel. C’est le cas par exemple des travaux du Visual Media Lab de l’université Ben Gourion en Israël, relayés par Games Alfresco. Ici, il suffit de tracer quelques lignes sur le papier pour que les dessins soient reconnus par le système via une caméra et prennent aussitôt formes dans la réalité virtuelle (vidéo).

La réalité mixte pour offrir une expérience complète

Mais l’avenir de ces systèmes est qu’ils s’interpénètrent. Que les relations entre le réel et le virtuel soient toujours plus fluides.

C’est ce que montre le Centre de recherche technique VTT en Finlande, où toute une équipe travaille à de nombreux projets de réalité mixte. Parmi ceux-ci, le laboratoire travaille à un intéressant programme de téléconférence en réalité mixte. MRConference est une application de téléconférence qui utilise des technologies de réalité augmentée pour afficher des avatars virtuels dans des espaces physiques et réels, et inversement. Mais surtout, l’application permet, via des casques de réalité augmentée et une diversité de capteurs (caméra, QR Code…) de capturer des expressions réelles pour contrôler des avatars (il suffit de faire un geste de la main ou de la tête pour que votre avatar le reproduise par exemple) ou déplacer d’un mouvement d’une main réelle des objets 3D, voir de permettre à des avatars d’actionner la représentation d’objets réels (vidéos : premier exemple, second exemple (.wmv)).

Comme le dit très bien Hugobiwan Zolnir, l’un des animateurs de la communauté Second Life francophone, c’est l’expérience qu’on en fait qui donne de la réalité à un environnement, qu’il soit réel ou/et virtuel. L’avantage de la réalité mixte est justement « qu’elle rompe avec l’opposition des signes physiques et numériques pour concevoir des espaces mixtes offrant une expérience complète.

L’espace de réalité mixte que constitue l’expérience finlandaise montre bien « un espace conçu pour que ceux qui s’y trouvent physiquement et virtuellement puissent partager leurs signes (parler par exemple), des stimulus sensoriels, la perception d’objets, une capacité d’action sur un environnement commun. »

À lire aussi sur internetactu.net

0 commentaires

  3. Hum… La machine à Hug de Future of Sex me laisse pensif… Parce que tu imagines, un hacker de machine à hugger ?…

  4. Pour de nombreux chercheurs, la réalité mixte (1960) à précédé la réalité augmentée (fin des années 1980). L’exemple le plus connu est Ivan Sutherland, bien connu des chercheurs en IHM pour son Sketchpad et l’invention du premier HMD see-through (head-up display) a Harvard en 1968 https://segue.atlas.uiuc.edu/uploads/aangell/Ivan%20Sutherland.jpg . Dans la bataille marketing/recherche des concepts de réalité (virtuelle, mixte, augmentée, etc…) , IS proposa le sien, la réalité ultime, ou Ultimate Realité 🙂 Il explique sa vision dans ce papier : http://www.cs.utah.edu/classes/cs6360/Readings/UltimateDisplay.pdf

    En 1969, Tom Furness, créateur du HIT lab que vous citez, déposa le brevet reprenant les recherches de IS, et lanca le projet SuperCockpit, tentant de fabriquer un dispositif révolutionnaire de vision pour l’analyse de situations (SA). Le labo de TF travaille depuis sur la nouvelle génération de dispositifs de « réalité », avec notamment des technologies hallucinantes comme la projection rétinienne, exploitant la réciprocité de la lumière. http://en.wikipedia.org/wiki/Virtual_retinal_display

    Ivan Sutherland et son frère Bert ont entre temps révolutionné la fabrication de circuits électroniques (VLSI), créés des entreprises mondialement reconnues comme ES.com, et formés des centaines d’étudiants dans les domaines de l’informatique graphique, la robotique, l’IHM, etc… Ce duo mythique de l’informatique est la référence des chercheurs en interfaces (cf CHI 2005 panel organisé par B.Buxton http://billbuxton.com/LincolnLab.pdf )

    Un point de conceptologie, le terme d’augmentation (réalité augmentée) fait aussi écho au labo de Doug Engelbardt (inventeur de la souris et du NLS), financé par l’Arpa, dont le nom ARC (augmentation research center) fait echo à la ligne de recherche des V.Bush / J.C.R Licklider, la conception de machines portant l’homme à un niveau de cognition sans précédent. Un homme plus puissant, physiquement et intellectuellement. Arguments qu’on retrouve maintenant dans l’argumentation Transhumaniste / Posthumaniste, où le salut de l’humanité ne passera que par notre transformation en êtres augmentés (supermen). Un exemple est la LifeBoat foundation, entreprise technomorale insistant sur le fait que certains hommes devront sauver l’humanité d’elle même. http://lifeboat.com/ex/main

    Enfin, pour les chercheurs en sciences humaines, la réalité est souvent perçue comme une construction dynamique, pas besoin de la surqualifier ou d’en inventer une autre. On ne l’augmente pas, tout comme on ne lave pas plus blanc que blanc, sauf dans le monde imaginaire de la publicité. Cette entreprise de confusion portée par le marketing n’aide ni les chercheurs, ni la presse à s’y retrouver dans ce déluge de branding et de prise de positionnement public dont les grands messes technomédiatiques se font souvent l’écho (TED, EG, LIFT, DLD, etc, etc). La réalité des psychologues est celle qui résiste, physiquement, mais également à la toute puissance intellectuelle du designer/concepteur roi, qui invente le « futur ». Cependant le designer n’habitera jamais ce futur, utopie, ou unchronie souvent réthorique et à coup sur lié à des enjeux de pouvoir, individuels mais aussi sociaux, politiques, académiques.

    Un grand inventeur, Alan Kay nous convainc que la meilleure façon de prédire le futur c’est de l’inventer. Comment ne pas s’enthousiasmer et rejoindre sa passion. Cependant, la fabrique du futur passe souvent par l’ambition de controler l’avenir, et de construire un imaginaire ou une vision sensé représenter le chemin à suivre. Cet imaginaire sérieux se veut être exactement une non-fiction, une non-construction (la recherche n’est pas un fictum) permettant d’inspirer, de guider, d’organiser voire souvent de persuader (captologie cf B.J.Fogg) les utilisateurs (qui ne savent pas ce qui est bien pour eux) de la prochaine étape de la société qui sera on s’en doute, meilleure, augmentée, ultime…

    Cet argumentaire mélioratif est très linéaire et réduit la ligne du temps à une dimension unique, partant du passé et pointant vers le futur. C’est oublier la multiplicité des dimensions de l’experience, un débat classique entre une description rationnelle héritée des sciences cartésiennes et une approche phenoménologique, plus récente, et perspectiviste. Par souçi de scientificité, de nombreux futurologues incorporent à leur pratique une épistémologie héritée des sciences de la mesure, pour laquelle seule la variation signifiante, l’augmentation est importante, d’importance. Aller au déla du discours sur l’augmentation nécessite de revisiter la publication du fait scientifique, qui comme nous le rappelle B. Latour est une construction sociale, peut l’être d’une manière multidimensionnelle, un débat ouvert plus qu’une entreprise réthorique territorialisante.

    Récemment, BL et Vincent Antonin Lépinay ont proposé une réflection sur le domaine de la controverse technologique: http://www.demoscience.org/
    La réintroduction du concept de controverse, de précaution et de diversité dans la recherche est très complexe puisqu’elle s’oppose à l’operationnalité des concepts marketings, et de leurs superstructures, les scénarios (d’usage, de conception, du futur). Etre un bon communicant suppose de réduire sa communication à certains points « force », pour augmenter l »impact, et informer son audience, la convaincre, bref gagner. Le futur, l’avenir, le présent ne sont pas forcément des batailles où certains gagnent sur d’autres à coups de concepts, ce sont des mondes complexes où le conflit constructif permet la réalisation du monde, la fabrique de la réalité. Pas besoin forcément de l’augmenter :]

  5. Bonjour à tous,
    Tout d’abord félicitations pour cet article très interessant!

    Dans le cadre de mes études, j’effectue une recherche sur la confrontation entre entités physiques et virtuelles dans le domaine des systèmes interactifs mixtes. Et dans ce cadre, un point de votre article m’intéresse particulièrement, il se situe dans les limites de la RA : « limites sur l’acceptation sociale de la réalité augmentée : pas sûr que nous voulions tous être regardés demain via des téléphones qui disent de nous des choses que l’on ne voit pas »

    Je voulais donc savoir si vuos connaissiez d’autre documents et articles en relation avec l’acceptation ou l’ethique face aux technologies de la réalitée mixte ?

    En vous remerciant d’avance 😉