La réalité augmentée du bout des doigts

Par le 09/02/09 | 9 commentaires | 14,144 lectures | Impression

Pattie Maes, directrice du Groupe des interfaces fluides au Massachusetts Institute of Technology (MIT), a fait sensation à la conférence TED (celle qui ne sélectionne que les “idées qui valent d’être diffusées”), la semaine dernière. Elle y a présenté “Sixième sens” (Sixth Sense), un concept d’interface miniaturisée qui permet d’interagir avec l’internet sans plus avoir besoin d’écrans, développé notamment par l’un de ses étudiants, Pranav Mistry.

Le système Sixth Sense : caméra, projecteur et bagues aux doigtsSixième Sense est composé d’une webcam qui se porte autour du cou comme un bijou et qui permet au système de voir ce que vous faites ou ce que vous regardez. Si vous mettez une couverture de livre en face de l’oeil de la caméra, le système serait ainsi capable d’identifier le livre en question en puisant dans des banques de données en ligne (il pourrait également le faire en lisant la puce RFiD du livre, via votre mobile doté d’un capteur de puce). En dessous de la webcam se trouve également un mini-projecteur qui permet au système de projeter images et données sur les surfaces que vous observez. Ainsi, une fois que le système a identifié le livre que vous avez pris en main, le projecteur peut projeter sur la couverture la note moyenne des critiquesque ce livre a obtenue auprès de ceux qui l’ont déjà acheté.

Pour interagir avec le système, il suffit d’équiper les bouts de ses pouces et index de petites bagues plastiques de couleurs (chacune différente). La webcam, en repérant le mouvement des bagues de couleurs au bout de vos doigts, active les fonctions de ce qui est projeté, un peu comme vos doigts vous servent aujourd’hui à naviguer sur l’écran tactile d’un iPhone. C’est votre téléphone mobile, dans votre poche qui sert de serveur pour capter, envoyer et recevoir les données dont vous avez besoin, via l’internet. Reste à définir les gestes que le système puisse comprendre : en mettant vos doigts en carré, comme une fenêtre, la webcam prend une photo ; en dessinant une montre sur votre poignet, le système y projette l’heure, etc.

Voir les vidéos que propose Wired : la première, qui montre quelques scénarios d’usages du “Sixième Sens” et une seconde, qui montre plutôt des exemples de manipulations du système.

Comme l’expliquait Pattie Maes, Sixième Sens est une sorte de Microsoft Surface portable, qui permet de transformer toute surface ou n’importe quel objet en interface. Le tee-shirt de la personne que vous êtes en train de rencontrer devient ainsi la toile sur laquelle se projette les informations qui la concerne. Le produit que vous consultez dans un supermarché devient le support pour accéder à de l’information sur celui-ci ou sur l’entreprise qui le fabrique. Le prototype, conçu pour 350 dollars, est une manière de repenser la façon dont nous interagissons avec le monde, sans exiger de nous de changer notre comportement, a expliqué la chercheuse. En cela, il dépasse bien des interfaces électroniques que nous connaissons, car il ne nécessite pas qu’on se réfère à un objet pour servir de passerelle entre l’internet et le monde réel, comme il faut aujourd’hui regarder l’écran de son mobile pour nous aider à voir le monde réel “augmenté” d’information. Pour Pattie Maes, l’information en réseau pourrait nous nourrir d’information, d’une manière aussi organique que nos autres sens.

Des interfaces fluides

Voilà longtemps que ce laboratoire du MIT travaille à rendre nos interfaces invisibles pour que nous ayons un rapport naturel avec les objets qui composent notre environnement, tout en les augmentant d’information.

L’occasion de regarder d’autres réalisations récentes du laboratoire, particulièrement remarquables et stimulantes, comme ThirdEye, un système qui permet à plusieurs personnes de regarder différentes choses sur un seul et même écran au même moment, permettant par exemple d’afficher des informations dans des langues différentes pour différents publics. Prenez le temps de regarder l’excellent projet Quickies (vidéo), un système qui permet de numériser ses post-it en même temps qu’on les écrit, d’identifier les commandes qui y sont inscrites (la date permet de l’intégrer à un agenda électronique, le nom d’une personne d’en faire un destinataire, une commande de l’intégrer à sa to do list…). A partir de simples Post-it augmentés de puces RFiD, on peut ainsi taguer des livres physiques et retrouver ses notes via un capteur de puces ou via les contenus pris en notes sur ses post-it et automatiquement numérisés.

Pranav Mistry est également à l’origine de Tapuma (Tangible Public Map pour Carte publique tangible) (vidéo), permettant aux gens d’utiliser leurs propres objets pour afficher des informations pertinentes sur une carte publique : on pose un billet d’avion sur une carte de l’aéroport, et il vous indique où se situe votre zone d’embarquement, vous posez une carte bancaire et il vous indique où sont les distributeurs de billets…

Autre projet intéressant, Siftables (vidéo), développé par David Merrill et Jeevan Kalanithi, qui consistent en un ensemble de petits disques d’information (qui rappellent les tuiles de Jun Rekimoto) afin d’interagir avec l’information et les médias électroniques avec la fluidité des interactions physiques, pour les mixer ou les ré-aranger à l’envie.

Via FastCompany, Wired et WorldChanging.