Ces temps-ci, les recherches se multiplient sur les moyens de dépasser le langage dans notre rapport aux machines, en prenant en compte les signaux non verbaux, si fondamentaux dans la communication interpersonnelle et pourtant si négligés dans le domaine des interfaces (voir par exemple les recherches de Sandy Pentland au MIT que nous avions déjà évoquées).

Ainsi, aujourd’hui, les avatars des mondes virtuels ne sont-ils, la plupart du temps, que de gros smileys. Ce sont les utilisateurs qui les contrôlent et décident de leurs mouvements et de leurs gestes. Or c’est précisément le caractère inconscient de nos réactions corporelles qui détermine, pour une bonne part, la signification d’un message. Cette limitation de l’expressivité des avatars n’est sans doute pas pour rien dans les échecs répétés de mise en place de mondes virtuels.

A l’université de Barcelone, on essaie de résoudre le problème en utilisant un système qui mesure les battements du coeur, la respiration, le taux de résistance électrique de la peau (le paramètre mesuré dans les détecteurs de mensonges), puis on transfère les résultats dans le comportement de l’avatar. Le battement cardiaque se reflète dans le mouvement des pieds, la respiration dans le soulèvement – exagéré – de la poitrine, le taux de résistance galvanique dans la teinte du visage, plus ou moins rouge…

A Stanford, Sergey Levine, Christian Theobalt et Vladlen Koltunn (.pdf) recourent pour un but analogue à un paramètre plus simple à enregistrer, mais sans doute plus difficile à interpréter : la « prosodie », c’est-à-dire le rythme de la parole. Après analyse du discours d’un utilisateur, on calque le mouvement de l’avatar sur sa manière de s’exprimer (vidéo).

Pour repérer les signes vitaux indépendamment de toute interface spécialisée certains se sont penchés sur un objet que nous possédons tous : la webcam. C’est sur cette idée qu’a planché un étudiant du MIT, Ming-Zher Poh. Il a remarqué que la couleur de notre visage changeait légèrement selon notre pulsation cardiaque. Ming-Zher Poh cherche actuellement à intégrer d’autres paramètres à son programme, comme la respiration ou le niveau d’oxygène dans le sang. Il envisage d’intégrer ce système à un miroir de salle de bain, par exemple, afin que tout un chacun puisse mesurer aisément sa santé et son état physiologique (vidéo).

Au-delà de la réalité virtuelle, c’est bien le Nouveau Monde de « l’intelligence ambiante » qui est concerné par ces nouveaux types d’interface. C’est le propos d’un projet de l’Union européenne, le Miauce. Ce consortium a pour objet d’« étudier et développer des techniques d’analyse des comportements multimodaux des utilisateurs au sein d’applications réelles. Ce comportement multimodal peut se manifester sous la forme de la direction du regard, du clignement des yeux, du mouvement du corps ».

La revue en ligne Science Daily cite à ce propos Chaabane Djeraba, qui travaille pour le CNRS à Lille, « nous aimerions obtenir une forme d’intelligence ambiante où les ordinateurs sont complètement invisibles. Cela implique une interface multimodale par laquelle les gens sont susceptibles d’interagir avec leur environnement. L’ordinateur observe leur comportement et en retire des informations utiles pour l’utilisateur ».

Parmi les prototypes développés par le Miauce, on retiendra par exemple une analyse des comportements des voyageurs dans les escalators des aéroports ou des métros. A partir de ces données, la machine devrait être en mesure de repérer s’il se passe quelque chose d' »anormal », par exemple s’il y a un effet de panique ou si quelqu’un est tombé dans un escalier, et prendre les mesures qui s’imposent.

Un autre projet, moins bénin, consiste à analyser le comportement des clients dans des magasins pour en tirer des conclusions sur les réflexes d’achats. Ce qui pose bien sûr des problèmes d’éthique et d’anonymat, sur lesquels on va certainement débattre encore longtemps !

Rémi Sussan