Appliquer les technologies de l’intelligence artificielle de la reconnaissance faciale aux questions émotionnelles est en plein essor. Nombre d’entreprises vendent des solutions proposant de détecter les émotions de quelqu’un en se basant sur ses expressions faciales… Nous avons plusieurs fois sur InternetActu.net souligné bien des limites à l’analyse émotionnelle automatisée (« De la conception émotionnelle en ses limites » ; « Peut-on rendre le ciblage psychologique productif ? »…).

James Vincent pour The Verge (@verge), appuie encore un peu plus là où ça fait mal : la croyance que les expressions faciales correspondent fidèlement aux émotions n’est pas fondée ! Croire que si quelqu’un à un front plissé et les lèvres pincées ne signifie pas nécessairement qu’il est en colère. Pour la professeure de psychologie et neuroscientifique Lisa Feldman Barrett, auteure notamment de Comment les émotions sont construites (Pan MacMillan, 2018, non traduit), « Les entreprises peuvent dire ce qu’elles veulent, mais les données sont claires. Ils peuvent détecter un air renfrogné, mais ce n’est pas la même chose que de détecter la colère ». L’Association pour la science psychologique a convié 5 scientifiques à examiner quelques 1000 études sur ce sujet. Conclusions des spécialistes : les émotions sont exprimées d’une grande variété de façon, ce qui rend difficile de déduire de façon fiable comment se sent une personne à partir des seuls mouvements de son visage. Les données montrent par exemple que lorsqu’ils sont en colère, les gens ne se montrent pas nécessairement renfrognés. L’air renfrogné n’est qu’une expression de la colère parmi d’autres et la plupart du temps (70 %), les gens n’ont pas l’air renfrognés quand ils sont en colère. En fait, ils ont bien plus souvent l’air renfrognés quand ils ne sont pas en colère !

Cela signifie que les systèmes d’analyse émotionnels automatisés induisent tout le monde en erreur… « Voudriez-vous que dans un tribunal, une situation d’embauche ou un diagnostic médical ou dans un contrôle de sécurité à l’aéroport… faire confiance à un algorithme qui ne serait précis que 30 % du temps ? », insiste Lisa Barrett.

L’étude ne nie pas que des expressions faciales communes ou prototypiques puissent exister ni que notre croyance en la puissance communicative des expressions faciales joue un rôle essentiel dans nos sociétés, mais souligne que dans les situations de la vie courante, nous disposons de plus de contexte pour analyser les émotions que seulement tirer des conclusions d’analyses faciales simplistes. La méta-étude souligne qu’il existe de grandes variétés de croyances dans le domaine des études sur les émotions, mais ce qu’elle rejette spécifiquement c’est l’idée d’une « empreinte » fiable de l’émotion par l’expression. Les études qui semblent montrer une forte corrélation entre certaines expressions faciales et les émotions sont souvent imparfaites sur le plan méthodologique, pointent les chercheurs : par exemple, nombre de recherches utilisent des acteurs qui exagèrent l’expression de leurs émotions comme point de départ pour dire à quoi les émotions ressemblent. Bien souvent encore, lorsqu’on demande aux sujets d’étiqueter une émotion à un visage, on le fait depuis une sélection limitée de propositions, ce qui les pousse vers un certain consensus. Or, quand on ne leur propose pas un choix restreint, leurs réponses sont bien plus variées et bien moins assurées.

Image : quand on propose aux gens d’attribuer des émotions à des visages, sans prédéfinir les options, les classements sont bien plus variés et incertains qu’on le pense.

Les gens comprennent intuitivement que les émotions sont bien plus complexes que cela, souligne Barrett. Ces subtilités sont pourtant rarement reconnues par les outils d’analyse des émotions. Le logiciel de Microsoft par exemple, affirme être capable de reconnaître « huit états émotionnels fondamentaux » depuis des expressions faciales « universelles »… La critique n’est pas nouvelle. Pour se défendre, les entreprises affirment souvent que leur analyse est basée sur d’autres signaux, mais sans qu’on sache toujours lesquels et comment ils sont équilibrés entre eux. Affectiva, l’entreprise leader du marché a lancé un outil qui ajoute l’analyse de la parole aux expressions faciales. D’autres ajoutent l’analyse de la démarche ou le suivi du mouvement oculaire… Rana el Kaliouby, la cofondatrice d’Affectiva, qui s’est toujours exprimé prudemment sur son produit, reconnait que l’étude est assez mesurée. « Le rapport des expressions à l’émotion est très nuancé, complexe et peu prototypique ».

Et James Vincent de rappeler que le machine learning est souvent utilisé pour produire des métriques permettant de prendre des décisions « non pas parce qu’elles sont fiables, mais simplement parce qu’elles peuvent être mesurées ». Le risque est bien d’être demain cernés d’analyses fallacieuses, comme le soulignait l’ACLU, l’union américaine pour les libertés civiles. « La reconnaissance des émotions repose sur le même principe sous-jacent que le polygraphe, ou « détecteur de mensonges » : que les mouvements et les conditions physiques du corps peuvent être corrélés de façon fiable avec l’état mental interne d’une personne ». Ce n’est pas le cas ! « Traduite en systèmes automatisés, cette croyance pourrait mener à bien d’autres préjudices ; une caméra corporelle « intelligente » annonçant faussement à un policier que quelqu’un est hostile et plein de colère pourrait contribuer à une décision inappropriée… »

Et James Vincent de souligner un autre risque : que nous adaptions nos comportements aux défauts de nos machines… « De la même façon que les gens agissent maintenant en sachant que ce qu’ils font en ligne sera interprété par divers algorithmes (par exemple, en choisissant de ne pas aimer certaines images sur Instagram parce que cela affecte les publicités que l’on voit), nous pourrions finir par exagérer l’expression de nos émotions sur nos visages parce que nous savons qu’elles seront interprétées par des machines ».

Hubert Guillaud

Mise à jour : L’association Algorithm Watch revient pour sa part sur les limites des systèmes d’analyse émotionnels vocaux, pour faire un constat tout aussi accablant que celui de l’analyse émotionnelle des visages. A compléter par un article de RealLifeMag sur l’analyse de sentiment des employés de centre d’appels, qui eux aussi détectent des tonalités vocales limitées qu’ils transforment en analyse de la « qualité » émotionnelle…

Mise à jour : Le Monde revient sur une alerte (.pdf) lancée par le professeur Jean-François Amadieu, directeur de l’Observatoire des discriminations, qui dénonce le risque de discrimination majeur des entretiens d’embauche en vidéo fondés sur la reconnaissance émotionnelle et qui appelle à une régulation rapide du secteur ! « En France, l’analyse faciale à des fins de recrutement est interdite à l’employeur, et « on l’autoriserait pour l’algorithme ! », interpelle le sociologue, qui invite le Défenseur des droits à se prononcer sur le sujet. »