Comme le disait Alex Pentland, à mesure que nos outils technologiques nous permettent d’étudier et comprendre la communication distante, les chercheurs se rendent compte combien la communication non verbale est capitale dans nos échanges. Judith Olson, de l’Ecole d’information de l’université du Michigan, qui a ouvert la conférence CHI 2009, ne dit pas autre chose quand elle remarque que la conception d’interfaces peut favoriser ou pas l’interaction.

Dans les années 2000, Gary et Judith Olson avaient écrit un article remarqué sur l’importance de la distance (.pdf) dans les relations professionnelles en ligne. Dans les relations distantes via les technologies de l’information, la distance, l’espace et la relation jouent un rôle important, autant que dans les relations réelles où quand un inconnu vous parle en se tenant trop proche de vous vous met mal à l’aise. Les gens interagissent différemment en fonction de la distance qui les sépare, selon les espaces où ils sont (intimes, personnels, sociaux, publics) et la proximité relationnelle qu’ils ont avec leurs interlocuteurs.

La technologie vient brouiller certaines conventions des relations réelles pour en définir de nouvelles : la proximité d’un visage sur une webcam, le temps de latence, les indications non verbales, la gestuelle, le volume sonore sont des données contextuelles qui prennent du sens dans les conversations médiées via les systèmes sociotechniques. Le positionnement d’une webcam (cadrage, proximité, positionnement, environnement, couleurs…) influence directement la conversation, la perception que l’on a de l’autre ou de soi, tout comme dans une conversation physique la personne la plus grande donne toujours une impression de domination, rapportent Daniel Lafrenière, Dan Berlin et Jay Steele. En plaçant la caméra à hauteur d’yeux et en arrangeant la pièce pour qu’il y ait un angle de 90 degrés entre les participants, les intervenants à une vidéoconférence se sentent plus à l’aise, explique Judith Olson.

L’expression non verbale est importante, notamment pour les enfants qui apprennent à réagir en observant les réactions expressives des adultes. Mais peut-elle être robotisée, pour faciliter les interactions distantes ? C’est en tout cas la piste que cherche à exploiter Yoichi Yamazaki, chercheur au Tokyo Institute of Technology.

Ce jeune chercheur a construit une paire d’yeux robotiques capable de transmettre une large gamme de signaux non verbaux (voir son étude .pdf). S’il n’est pas si difficile de créer des expressions avec des yeux artificiels, la difficulté pour un ordinateur reste de savoir quel type de message transmet telle expression et quand il faut l’utiliser. Des cobayes ont évalué les expressions robotiques et les chercheurs ont utilisé les résultats pour créer des « espaces mentaux » relatifs à chacune, afin de mieux parvenir à « cracker le code de nos expressions ». En parlant lors d’une communication distante, le robot analyse la conversation via un logiciel de reconnaissance vocale et sélectionne ensuite l’expression appropriée. Reste à faire que celle-ci soit la plus satisfaisante possible… Bien sûr, si l’expression du regard est une partie importante de la communication non verbale, il n’en compose qu’une partie. Il lui faut encore trouver ses propres formes d’expression en adéquation avec le langage, explique la Technology Review.

Le programme européen Pasion travaille également sur la communication non verbale en essayant notamment de mieux faire apparaître le comportement et le ressenti des participants. En utilisant des outils pour suivre le déplacement du regard, de la tête, des outils de mesures physiologiques (pouls, température…), Pasion vise à capter l’état émotionnel d’une personne pour montrer si nos correspondants s’ennuient ou s’intéressent à nos propos. Les technologies développées par Pasion pourraient ainsi servir à animer un avatar qui mime les communications implicites, afin de renforcer la présence sociale sans sacrifier la vie privée ou l’anonymat, rapporte Cordis, InnovaNews et l’Atelier.

Mise à jour du 21/04/2009 : La Technology Review, dans son numéro de mai-juin 2009, publie un important article sur les travaux du psychologue Paul Ekman, pionniers dans l’étude des émotions et de leurs relations aux expressions faciales. Ekman a mis en évidence que certaines expressions du visage sont universelles et biologiquement déterminées (et non acquises culturellement) comme celles exprimant le rire, la haine, la peur, la joie ou la tristesse. Il utilise les micro expressions du visage et du corps pour travailler sur la détection du mensonge. Dans les années 70, il met au point le Facial Action Coding System (FACS), une taxonomie d’expressions faciale. Avec l’aide de Mark Frank et du Laboratoire de perception par les machines de l’université de Californie à San Diego, il a participé à la mise au point du Computer Expression Recognition Toolbox (CERT), une technologie de reconnaissance d’expression qui utilise une simple vidéo pour analyser les expressions faciales selon la taxonomie qu’il a mis au point…

« Une technologie qui pourrait être adaptée en un simple web service que tout le monde pourrait utiliser », s’enthousiasme la Technology Review. Pour autant, Ekman reste prudent sur les technologies qu’il a mis au point : « Facs et Certs peuvent révéler beaucoup de choses sur l’émotion qui étreint chacun de nous, mais ces résultats doivent être interprétés intelligemment, notamment dans le contexte de la détection de mensonge (…) Oui, nos visages peuvent révéler les émotions que l’on vit, si nous savons en lire les signes. Mais ce que nos visages ne révèlent pas c’est ce qui a déclenché l’émotion. « Si vous ne savez pas cela, l’interprétation peut aller jusqu’à s’égarer. Il faut évoquer toutes les explications possibles avant de conclure que ce que vous voyez est un signe de mensonge au sujet d’un acte criminel. Car très souvent, il ne l’est pas », prévient Ekman. »

D’ailleurs, dans son édito, la Technology Review rappelle que les techniques de détection de mensonge sont loin d’être efficaces et dénonce l’usage des polygraphes, ces appareils qui mesurent les réactions physiologiques d’une personne qu’on interroge et qui sont capables de détecter le mensonge dans 85 % des cas. Reste à ne pas être dans les 15 % de ceux qui seront accusés de mensonge à tort.