Après l’ouverture des données (Open Data) et leur retour aux utilisateurs (MesInfos et le Self Data), il est temps de faire la même chose des systèmes techniques pour restaurer de la confiance, améliorer les modèles de traitement des données en les rendant plus accessibles et compréhensibles aux utilisateurs, et développer de nouvelles opportunités d’affaires.

Que changerait aux stratégies des producteurs de systèmes décisionnels le fait d’avoir des systèmes dont « les décisions sont intelligibles et lisibles par les utilisateurs » ? Tel est l’enjeu du groupe de travail que souhaite lancer la Fing en 2016.

Présentation du projet : rendre la complexité intelligible

“La restitution des données aux utilisateurs ne suffira pas à les armer, s’ils ne peuvent être conscients des traitements que leurs données subissent”. « Ouvrir les modèles, pas seulement les données »

Les systèmes techniques (logiciels, programmes, algorithmes, modèles…) ne s’ouvriront pas d’eux-mêmes. Les contraintes légales, intellectuelles et réglementaires les protègent, même de leurs pires pratiques, comme l’a illustré le scandale Volskwagen. Malgré les nombreux appels en ce sens, lever le secret des systèmes techniques est impossible à la fois parce qu’ils sont trop compliqués et parce que le machine learning, c’est-à-dire le fait que les systèmes apprennent d’eux-mêmes et par eux-mêmes, rend leur complexité à venir toujours plus inaccessible – rappelons par exemple que l’algorithme du moteur de recherche de Google, c’est 200 critères principaux et près de 10 000 variables sur 2 milliards de lignes de code. Qui pourrait auditer/expertiser de tels systèmes, quand bien même deviendraient-ils ouverts ?

Le monde ne peut pas être administré d’une manière inintelligible aux gens qui l’habitent, à moins de prendre le risque de nourrir une défiance toujours plus grande envers les objets techniques à mesure qu’ils se répandront dans la société. Nul ne souhaite abandonner le contrôle sur son existence aux machines, même si celles-ci sont bien plus fiables que nous. Le problème est qu’à mesure que nous devenons dépendants de modélisations instruites par des systèmes techniques, le monde nous devient impénétrable, d’abord et avant tout parce que les paramètres et les biais des modèles nous sont bien souvent cachés.

A défaut de rendre les boîtes noires transparentes, l’enjeu à venir est de trouver les modalités pour les rendre intelligibles. Comment faire pour que les systèmes complexes apprennent à discuter avec les usagers ? Comment démultiplier « les garanties du canari » pour rendre les systèmes plus compréhensibles par ceux qui les utilisent ? A l’heure où les modèles ne sont plus une entrée dans le calcul, mais une sortie, comme l’explique le sociologue Dominique Cardon dans A quoi rêvent les algorithmes, à l’heure où ils ont une action directe sur ce et ceux qu’ils calculent, nous avons encore plus besoin de les comprendre.

Nos Systèmes : le constat d’un dialogue nécessaire

Les systèmes techniques qui se développent se complexifient, en impactant de plus en plus directement nos existences. Leur opacité, leur complexité posent des questions légitimes à ceux qui les commandent comme à ceux qui les utilisent. L’actualité nous le montre sans cesse : les demandeurs d’emploi ne cessent de questionner les méthodes d’appariements entre offres et demandes des systèmes privés comme publics. Les élèves et leurs parents s’interrogent chaque année sur le fonctionnement d’Admission PostBac et d’Affelnet. Les assurés se posent des questions sur les critères pris en compte par les boîtiers que les assureurs se proposent de poser dans les voitures, qui ne sont pas les mêmes selon les assureurs (kilométrage, géolocalisation, fluidité de la conduite…)… Les commanditaires publics doivent pouvoir juger de l’efficacité des critères des nouveaux services publics qu’ils envisagent d’acheter à des sociétés privées, à l’image des systèmes de police prédictive.

Avant d’en venir à coconstruire les systèmes techniques, l’enjeu, dans un premier temps, est déjà d’ouvrir un dialogue avec les utilisateurs. « Que changerait à votre stratégie le fait d’avoir des systèmes dont les décisions sont intelligibles et lisibles ? » « Quand un système technique est intelligible à ses destinataires, qu’est-ce que ça change, qu’est-ce que ça ouvre comme opportunités d’affaires nouvelles ? »

Le défi n’est pas d’inviter les entreprises à ouvrir leurs systèmes comme on l’entend trop rapidement et peut-être un peu naïvement, mais plutôt de réfléchir, avec elles et leurs utilisateurs, à ce que changerait le dialogue autour des systèmes qu’elles administrent. Dans le cadre du groupe de travail Nos Systèmes que la Fing souhaite lancer en 2016, nous recherchons des institutions ou entreprises qui acceptent de se poser la question pour apporter un objet technique spécifique à interroger d’une manière coopérative.

Cette « expédition » ne s’intéresse pas à la technologie, mais au dialogue, aux critères de l’intelligibilité des systèmes. Si les calculs façonnent la société, alors cela doit avoir des incidences sur la manière dont on en choisit les règles, dont on en conçoit le fonctionnement – ce que nous nommerons leur « conception sociale ». De nombreuses stratégies d’affaires semblent basées sur leur opacité, sur le fait que les clients ne comprennent pas les systèmes techniques qu’ils utilisent, comme le souligne très bien Frank Pasquale dans son livre Black Box Society. N’y aurait-il pas plus ou de meilleures opportunités d’affaires si c’était le contraire ? Comment être « loyal » sans pour autant dévoiler ses secrets, mais en discutant des critères, des seuils, des modalités qui font fonctionner ces systèmes ? Objectiver les comportements par le calcul ne suffira pas à rétablir la confiance. Le paternalisme algorithmique risque surtout de provoquer un rejet toujours plus fort de ceux qui en sont l’objet. L’opacité risque surtout de favoriser des concurrents qui viendront avec de nouveaux modèles d’affaires fondés sur d’autres critères.

Le dialogue est donc nécessaire. Qu’est-ce que la loyauté du point de vue d’une organisation ? Comment être transparent sur ses pratiques ? Comment gérer les relations entre la société et les systèmes techniques ?

La rétroingénierie sociale : loyal by design

Les résultats des traitements dépendent de choix de paramètres et de données qui demeurent bien plus subjectifs que nous le laisse croire la froideur des systèmes techniques. Les modèles et les traitements institués par les systèmes techniques posent problèmes et montrent partout leurs limites… Or, si les modèles et les paramètres étaient mieux discutés, les systèmes techniques montreraient mieux leurs limites et pourraient être plus robustes qu’ils ne sont. Comme l’explique la mathématicienne Cathy O’Neil : “vous ne savez pas vraiment ce que fait un modèle tant que vous ne pouvez pas interagir avec lui. Vous ne savez pas si un modèle est robuste tant que vous ne pouvez pas jouer avec ses paramètres. Enfin, vous ne savez pas si un modèle est le meilleur possible tant que vous n’avez pas laissé les gens essayer de l’améliorer. »

Après avoir eu accès aux données notamment via l’open data (cf. la campagne pour la réutilisation des données publiques menée par la Fing), après avoir rendu aux utilisateurs leurs données (cf. le programme MesInfos de la Fing et la notion de Self Data), il est nécessaire de trouver les moyens d’avoir accès aux processus. Tel est l’enjeu du programme Nos Systèmes que souhaite lancer la Fing.

Avoir accès aux processus, c’est ce que font déjà les hackers, les journalistes, les entrepreneurs, les citoyens… en tentant de comprendre les fonctionnements des programmes pour les expliquer, les contourner ou proposer de meilleures solutions techniques et de meilleurs services, voire en exploitant les failles des services existants. C’est toute la promesse de la rétroingénierie ou ingénierie inversée, qui consiste à déterminer le fonctionnement d’un système sans y avoir pleinement accès, en étudiant ses réponses lorsqu’on fait varier les signaux d’entrée. Ce phénomène ne va cesser de se développer à mesure que l’opacité technique va se développer, parce qu’il est le seul levier dont disposent les gens face aux rets des systèmes techniques.

Pourtant, le risque est de faire de cette perspective une guerre de tranchées, entre utilisateurs et systèmes techniques, alors que nous avons tous à gagner à ce que les systèmes s’améliorent et mesurent le meilleur critère qui soit. Comment faire pour que les systèmes techniques apprennent à discuter avec les utilisateurs ? Ne soyons ni zélotes ni Cassandre avec les promesses des algorithmes, comme nous y invite Dominique Cardon dans sa leçon de désenvoûtement du numérique.

L’enjeu du dialogue à instaurer n’est pourtant pas technique. Il ne sert à rien que les systèmes techniques soient seulement ouverts ou que leur code soit accessible, s’ils demeurent incompréhensibles au plus grand nombre. L’enjeu est que les systèmes techniques soient compréhensibles par les gens. Qu’ils soient sociaux. Qu’ils entament un dialogue clair avec la société, avec ceux qu’ils calculent.

A défaut d’ouvrir les algorithmes, peut-on rendre lisibles leurs objectifs, les critères qu’ils utilisent et relier ainsi les artefacts qu’ils incarnent aux formes sociales qu’ils utilisent ? Peut-on dépasser les questions de performance, d’efficacité, d’optimisation qu’ils nous promettent pour regarder pleinement leurs effets sur le monde ? Peut-on dépasser les formules absconses des discours techniques pour construire une rétroingénierie sociale, qui ne soit pas seulement une physique sociale, c’est-à-dire une modélisation de la société pour les gens, mais d’abord un moyen de rétroaction pour et par les gens.

Comment ouvrir les modèles ? Comment faire advenir la « loyauté des plateformes » qu’appelait de ses voeux le Conseil national du numérique ? Comment aider les usagers à comprendre les programmes qui agissent sur eux ? Comment aider les entreprises à améliorer leurs modèles, leurs critères ? A documenter leurs pratiques, à « entrouvrir leur capot » ? Comment « auditer » codes, programmes et algorithmes ? Comment cette ouverture est-elle l’enjeu du développement de nouveaux modèles d’affaires et de systèmes plus transparents, plus ouverts et générant plus de confiance que de défiance – la confiance n’est-elle pas la nouvelle énergie, comme le dit Frédéric Mazella, le patron de Blablacar ? Plutôt que de seulement discriminer les gens sur des critères opaques, les principes de la rétroingénierie doivent aider à améliorer les services, pour autant qu’ils parviennent à dépasser les limites d’un dialogue uniquement technique : l’enjeu de toutes ces formes de scoring n’est pas tant de punir les gens de ne pas remplir les bons critères que de les aider à comprendre quels sont les critères, les atteindre, et d’accompagner les entreprises à améliorer leurs critères et développer de nouveaux services pour cela. Que serait un monde de demain dans lequel les systèmes seraient responsables, équitables, éthique, « loyaux by design » et quelles nouvelles opportunités d’affaires cela permettrait-il de développer ? L’enjeu est de regarder comment les organisations peuvent entr’ouvrir le capot des mécanismes qu’elles mobilisent pour en faire la source d’un nouveau positionnement d’affaires, de confiance et de responsabilité sociale.

Méthode / Déroulé de l’expédition

L’enjeu de « l’expédition » que souhaite lancer la Fing en 2016 est d’esquisser les modalités de la traçabilité, l’intelligibilité, la reproductibilité, la contestabilité, la discutabilité, la loyauté et l’auditabilité individuelle et collective des algorithmes et des programmes.

Pour cela, nous devrons regarder ce sujet selon plusieurs approches.

L’approche coopérative
Cette approche consiste à travailler avec des entreprises/organisations qui souhaitent réfléchir aux modalités d’ouverture et d’intelligibilité de leurs systèmes techniques. Des entreprises (banque, assurance, automobile, santé, éducation…) qui exploreraient avec nous la question de l’ouverture des critères de leurs systèmes techniques pour en documenter les effets, permettre aux gens d’en analyser les paramètres, de comprendre comment mieux y répondre ou s’y conformer, de mieux en mesurer l’impact… afin de les améliorer en collaboration avec les utilisateurs, pour des systèmes plus responsables.

Il s’agira d’évoquer des scénarios d’usages, de construire des scénarios extrêmes pour regarder comment rendre compréhensible des systèmes complexes. Quels systèmes techniques mettre en place, quels matériaux pédagogiques utiliser ?… L’enjeu sera de documenter des bonnes pratiques, d’établir des recommandations permettant à la fois d’améliorer les systèmes techniques, d’offrir des garanties aux utilisateurs pour restaurer des mécanismes d’échange et de confiance.

Hacking social
Cette approche vise à explorer la question de l’ouverture des systèmes techniques sans la complicité des entreprises. Il s’agira ici de documenter des méthodes permettant aux usagers de reprendre la main sur les manipulations dont ils sont l’objet, de tenter de voir comment reconstruire les critères de l’extérieur, de voir si l’on peut comprendre les critères, les modèles, les boucles de rétroaction dont nous sommes l’objet.

Approche régulatrice
Deux questions majeures vont alimenter cette approche : comment favoriser et développer ce nouveau domaine de recherche qu’est l’éthique des algorithmes et la loyauté des plateformes ? Peut-on esquisser plus concrètement ce que ces concepts promettent et comment les mettre en place ?

L’enjeu au travers de ces 3 approches sera de comprendre les incidences sur la nature même des produits et services. De comprendre les conditions de réussites des modalités d’échanges et d’imaginer des méthodes de conception de systèmes « intelligibles ».

Durant le temps de l’expédition, la Fing animera une série d’ateliers de scénarisation et de prototypage. Le coeur de son travail reposera sur un travail d’animation entre spécialistes, société civile et entreprises autour d’un ou deux exemples très concrets provenant d’acteurs qui produisent des systèmes techniques et qui accepteront de faire discuter leurs équipes avec la société civile. L’expédition produira un ensemble de livrables, recommandation et bonnes pratiques pour promouvoir le besoin de rétroingénierie sociale.

L’expédition aura pour priorité d’animer la communauté des partenaires en publiant très régulièrement, réflexions, exemples et prototypes en cours de réalisation sur un espace dédié. Sa durée est fixée à 8 mois, d’avril 2016 à janvier 2017.

Que cherchons-nous ?
La Fing est à la recherche de partenaires, notamment d’acteurs dans des secteurs spécifiques (assurance, banque, éducation, emploi, déplacements…), qui accepteraient de jouer le jeu de la mise en discussion d’un système technique spécifique (système prédictif, capteur comportemental, méthode d’appariement…) pour l’interroger de manière coopérative avec des utilisateurs. L’enjeu est d’ouvrir un dialogue non technique (une rétro-ingénierie sociale comme nous l’appelons) sur des objets éminemment techniques, en regardant comment le produire, le documenter, le rendre accessible, via des scénarios exploratoires, des méthodes créatives, du prototypage.

Pour ouvrir ce sujet, nous avons donc avant tout besoin de vous.

Hubert Guillaud et Thierry Marcou
hguillaud@fing.org et tmarcou@fing.org

Pour plus d’information, voir également le dossier de partenariat du groupe de travail Nos Systèmes ainsi que l’espace de discussion et d’animation que nous venons de lancer sur Facebook.