L’excellent Ethnography Matters (@ethnomatters) revenait en juin, via une série de billets, sur la question de la co-conception homme-machine.

L’opposition homme-machine est stérile

Pour l’ethnographe Tricia Wang (@riciawang), l’opposition binaire homme-machine est nocive. Cette opposition nous empêche notamment d’apprécier combien nous nous trompons en croyant que les machines produisent des résultats qui ne se trompent pas ou en croyant que les machines produisent des résultats sans avoir recours aux humains. Cette opposition empêche les entreprises de faire face à leurs responsabilités, notamment aux erreurs de leurs systèmes, et nous empêche d’inventer une nouvelle approche pour mieux intégrer l’intelligence humaine et l’intelligence des machines pour produire de meilleurs systèmes.

Or, rappelle l’ethnographe, les humains et les machines ont toujours interagi l’un sur l’autre : nous avons changé nos outils autant que les outils nous ont changés. Pour réaliser la valeur de ces échanges, nous avons besoin de faire un saut dans la façon dont nous concevons nos relations avec les machines. Nous avons besoin d’embrasser nos relations comme un système holistique. Or, le récit culturel de l’opposition raconte l’inverse et nous conduit même à un certain réductionnisme. Il rapporte que les machines sont impartiales et intelligentes et qu’elles peuvent corriger nos faiblesses si nous nous remettons à elles. Ce n’est pourtant ce que montrent plusieurs chercheurs… qui travaillent à une meilleure intégration des interactions entre l’homme et la machine, à l’image notamment de Sorelle Friedler qui travaille a prévenir la discrimination des systèmes d’apprentissage automatisé via le programme Equité des algorithmes du College d’Haverford.

Pour Tricia Wang, ces recherches montrent que l’IA commence à sortir des seuls laboratoires scientifiques à mesure que ses applications deviennent de plus en plus pratiques. Pour elle cependant, l’enjeu n’est pas tant de rendre les machines plus empathique ou éthique, mais bien de faire évoluer nos systèmes socio-techniques eux-mêmes pour qu’ils soient plus empathiques et éthiques. Si les machines ne savent pas comprendre la discrimination, les humains eux savent et ce n’est qu’en partenariat avec les humains qu’elles apprendront le sens, les valeurs, la morale et l’éthique.

Il y a toujours des données qui ne sont pas quantifiables et donc que les machines ont du mal à prendre en compte

Pour le designer et architecte Che-Wei Wang (@sayway), le rôle du designer est en train de changer, explique-t-il sur Ethnography Matters. Avec le développement d’algorithmes génétiques, ceux-ci ne devront plus imaginer des solutions de conceptions dédiées, mais des critères que les algorithmes devront suivre jusqu’à trouver les meilleures solutions adaptées aux critères spécifiés. Si les algorithmes changent le processus de conception lui-même, alors comment les concepteurs devront-ils changer d’état d’esprit pour en tirer parti ?

Les algorithmes génétiques appliqués à la conception consistent à utiliser des logiciels (comme notamment Dreamcatcher d’Autodesk) pour déterminer les paramètres d’une conception à l’aide d’un algorithme qui génère nombre de formes selon une multitude de critères pour trouver la plus adaptée à force d’itérations. Bien sûr, dans ces nouvelles manières de faire de la conception, les critères qui président à ce que l’on souhaite faire sont primordiaux et vont impacter directement les résultats. Si le sujet n’est pas sans générer d’inquiétudes (voir notamment celles du designer Dan Saffer que nous évoquions il y a 2 ans), pour Che-Wei Wang l’enjeu reste de créer de meilleures données pour alimenter les projets.

Le problème est que « les projets utilisent souvent des données qui sont disponibles plutôt que des données qui sont pertinentes ». Et dans les données, la prise en compte des facteurs humains est souvent la plus difficile à quantifier et intégrer. Les algorithmes génétiques peuvent ainsi aider à développer des immeubles qui prennent en compte la consommation énergétique, la lumière, les déplacements… plus que les besoins des hommes, notamment faute de données. En design, choisir « la meilleure » solution est forcément subjectif. Pour concevoir une potence de guidon de vélo par exemple, on peut prendre en compte les forces en oeuvres, mais aussi la performance, l’esthétique, la sécurité, les matériaux, la mode… Or, il y a toujours des données qui ne sont pas quantifiables, donc que la machine aura du mal à prendre en compte. D’où la nécessité de s’assurer d’un pilotage par l’humain… Enfin, plus qu’un pilotage : à l’avenir, le rôle du designer sera plus proche de celui d’un contrôleur aérien que d’un pilote d’avion, qui devra s’assurer de la qualité des données et des critères.

Des machines pour aider les humains, pas s’y substituer

Pour Molly Templeton (@mememolly), spécialiste des médias sociaux du collectif Everybody at once, de plus en plus de gens imaginent que les robots seront le plus à même de prendre en charge la communication avec les humains, comme l’affichent les promesses des chatbots – alors que ceux-ci sont encore très largement animés par des humains. Or, pour Molly Templeton, les machines doivent aider à gérer le travail émotionnel des humains, mais pas s’y substituer. Répondre aux gens sur les médias sociaux nécessite de faire preuve d’empathie, ce que les bots savent mal faire. Si les bots gèrent mal les relations avec le public, c’est aussi qu’ils peinent à comprendre une langue en constante évolution… Les algorithmes qui surveillent, interprètent, contextualisent l’émotion du public existent, explique la spécialiste en évoquant les capacités d’analyse de Deep Text de Facebook qu’évoquait en juin dernier Will Oremus sur Slate, mais ils nécessitent une surveillance et une approche humaine. Les médias sociaux sont un flux d’émotions et les algorithmes peuvent aider à y faire face, en réduisant les effets, en aidant à prioriser et gérer la conversation… en nous aidant à détecter les anomalies. Pour Molly Templeton, les bots doivent nous aider à travailler plus que faire le travail à notre place, ils doivent soutenir notre humanité plutôt que la nier.

L’intrication des mesures et des traitements

La sociologue Angèle Christin (@AngeleChristin), spécialiste de la justice pénale, a étudié le fonctionnement des Comparutions immédiates en France. Si les juges sont critiques face aux procédures d’urgences, dans la réalité, celles-ci envoient les accusés en prison à un taux bien plus élevé que toutes les autres procédures pénales, rappelle-t-elle. Dans sa contribution à Ethnography Matters, la sociologue souligne combien les chiffres sont chaque jour un peu plus au coeur des décisions. Dans les procédures d’urgence judiciaires, les chiffres sont partout : nombre de cas que les juges doivent traiter par jour, pourcentage des accusés ayant un casier, vitesse de procédure, nombre de cellules disponibles… Ces observations l’ont amené à prêter attention aux mesures et à leurs conséquences. Les tentatives de rationalisation par les chiffres, Angèle Christin en a également rencontré dans les salles de rédaction de la presse en ligne, autre terrain de ses recherches. Si les outils de mesure de la presse en ligne sont plus sophistiqués et automatisés que ceux utilisés dans les tribunaux français, on trouve les mêmes stratégies de résistance contre les technologies de quantification dans les rédactions et dans les salles d’audiences. Pourtant, la « bonne justice », comme le « bon journalisme » ne peuvent pas être évalués de manière quantitative. Outre cette critique de la légitimité des chiffres, les acteurs tentent en permanence de manipuler les mesures qui les manipulent. Dans la justice pénale, c’est par exemple en tentant de reclasser les cas ; dans les rédactions, c’est la rédaction d’un court article viral pour redresser ses statistiques d’audience…

En fait, souligne-t-elle, si tout le monde est conscient de l’arbitraire des mesures et tente de les désarmer, tous y sont également de plus en plus soumis. Bien sûr, Angèle Christin évoque le développement des algorithmes prédictifs dans la justice, notamment l’évaluation des risques de récidives pour rationaliser les décisions dont ProPublica avait récemment dénoncé les biais. Avec les collectifs Data & Society et Data Civil Rights, la sociologue vient d’entamer un travail d’éclaircissement sur ces outils (.pdf) : comment les algorithmes prédictifs sont-ils construits ? Comment les juges les utilisent-ils ? Quel est l’impact de leur utilisation ? Quelles données sont absentes de ces outils ? Ce que montre le travail d’Angèle Christin, c’est combien les relations entre les nombres, leurs traitements et les organisations s’intriquent en profondeur.

Les systèmes autonomes ne sont pas sans humains

L’anthropologue Madeleine Clare Elish (@mcette), chercheuse au groupe Intelligence et autonomie à Data & Society, s’intéresse, elle, aux systèmes autonomes ou sans pilotes. Les systèmes sans pilotes sont censés être libérés des hommes, alors qu’en fait, l’homme y est très présent, puisqu’il assure la conception, l’entretien et la planification de ces systèmes, rappelle-t-elle. En fait, ces systèmes s’appuient tous sur une collaboration entre l’homme et la machine, mais où la place, le rôle de l’être humain est amoindri, obscurci. Or, l’analyse de ces systèmes devrait s’intéresser non pas à la manière dont les humains sont effacés, mais à la manière dont ils sont impliqués.

Pour évoquer son travail, Madeleine Clare Elish raconte une histoire qui lui est arrivée lorsqu’elle a commandé une voiture avec chauffeur pour se rendre à un aéroport. Le jeune chauffeur a suivi Google Maps pour se rendre à destination, mais le GPS l’a conduit vers des hangars commerciaux plutôt qu’au terminal destiné aux passagers. Comment évaluer alors le chauffeur ? Etait-il responsable de la défaillance du GPS ? Comment la responsabilité se partage-t-elle ?…

Pour la chercheuse, cette anecdote illustre les relations entre le contrôle et la responsabilité dans les systèmes autonomes. Avec son collègue Tim Hwang, Madeleine Clare Elish a ainsi étudié la question de la responsabilité dans les contentieux liée au pilotage automatique des avions. Alors que les tâches humaines sont de plus en plus automatisées, nous portons une attention extrême aux responsabilités humaines lors des incidents. Le dilemme, explique-t-elle, est qu’alors que le contrôle est de plus en plus distribué à de multiples acteurs (humains et non humains), nos conceptions sociales et juridiques de la responsabilité sont restées centrées sur l’individu. Pour elle, nous avons développé une « zone de déformation morale », faisant porter sur l’humain bien souvent tout le poids des responsabilités morales et juridiques des dysfonctionnements des systèmes. « Alors que la zone de déformation d’une voiture est destinée à protéger le conducteur humain lors d’un accident, la zone de déformation morale protège l’intégrité du système technologique lui-même ». Lors d’accidents, la responsabilité semble souvent déviée des parties automatisées du système au détriment des opérateurs humains, alors même que ceux-ci disposent d’une connaissance et d’un contrôle limités, comme le soulignait déjà très l’anthropologue Stefena Broadbent il y a quelques années. En fait, explique-t-elle, les technologies obscurcissent la façon dont le travail humain et les relations sociales sont reconfigurés via la déqualification, l’atrophie des compétences ou les charges cognitives impossibles… En même temps que les systèmes techniques se présentent comme toujours plus infaillibles, ils effacent la responsabilité et la responsabilisation, comme le soulignait déjà très bien les résultats du groupe de travail sur l’éthique des Big Data rendus par le groupe intelligence et autonomie de Data & Society. Pour la chercheuse, il est nécessaire de se poser la question de la distribution du travail et du contrôle, notamment en mesurant les conséquences directes pour les humains. La responsabilité ne peut pas être concentrée dans les mains de ceux qui n’en ont pas.

Hubert Guillaud