Kate Crawford (@katecrawford) et Mike Ananny (@ananny) ont publié un article de recherche plutôt intéressant sur les limites de l’idéal de transparence appliqué à la responsabilité algorithmique. Etre capable de « voir » un système est souvent entendu comme l’équivalent d’être capable de savoir comment il marche et comment on le contrôle. Pourtant, c’est loin d’être exactement le cas.

L’institutionnalisation de « l’ouverture » et de la « transparence », leur transformation en concept « performatif » qui génère de la sécurité ou de la compréhension… a produit une production académique visant à caractériser les différentes et nombreuses formes que peut prendre cette transparence. Celle-ci est à la fois considérée comme une valeur publique permettant de mettre à bas la corruption, un moyen d’ouvrir les processus de décision et un outil complexe pour bien gouverner. Autant de moyens permettant de concevoir des systèmes responsables, efficaces et renforçant l’efficacité. Les chercheurs dressent néanmoins une rapide typologie de la transparence, sous forme de tensions :

• opposant une transparence « floue » à une transparence « claire » (c’est-à-dire une transparence qui offre une information sans révéler comment les institutions se comportent en pratique… par rapport à des modalités qui révèlent des informations fiables sur les chiffres et performances des organisations) ;
• opposant une responsabilité « douce » à une responsabilité « dure » (entre des organisations qui sont encouragées à répondre de leurs actes et des organisations qui sont sanctionnés si elles ne s’y conforment pas) ;
• opposant une transparence vers le haut, vers le bas, à l’intérieur ou à l’extérieur des organisations (une transparence qui renforce le contrôle hiérarchique ou le démocratise, une transparence qui renforce un contrôle de l’extérieur ou qui ne s’applique qu’à l’intérieur de l’organisation) ;
• une transparence sur les processus ou sur des objets (c’est-à-dire une transparence sur les règles, règlements et procédures ou une transparence sur ce qu’elles produisent) ;
• une transparence rétrospective ou une transparence en temps réel ou en continu…

Autant d’éléments qui montrent que la « transparence » n’est pas homogène, et qu’il faut peut-être établir plusieurs niveaux de transparence comme le proposaient récemment Roger Taylor et Tim Kelsey.

Les chercheurs pointent de nombreuses limites à l’application de l’idéal de transparence aux questions algorithmiques. D’abord, cela nécessite de comprendre à quel niveau cette transparence doit s’appliquer : au niveau de la conception des plateformes ou à un niveau plus profond, logiciel ? Quelle forme cette transparence doit-elle prendre ? « Dans le discours, la transparence est souvent perçue comme désirable parce qu’elle apporte perspicacité et gouvernance ». Elle suppose que la connaissance est possible en permettant de voir ce qu’il se passe : mais est-ce vraiment le cas ? Elle suppose que les technologies informatiques apparemment objectives comme les algorithmes agissent et peuvent être tenues comme responsables ou correspondre à une forme de vérité… En fait, expliquent Kate Crawford et Mike Ananny, notre capacité à « voir » le fonctionnement d’un système crée une illusion d’une transparence plus qu’une transparence réelle. La transparence promet une responsabilité que les systèmes ne peuvent le plus souvent pas offrir.

Et les chercheurs de pointer plusieurs limites à la promesse de transparence :

• elle peut-être déconnectée de la puissance, c’est-à-dire que si elle se révèle sans effets, elle risque de devenir sans objet. Si les pratiques de corruption ou l’asymétrie de pouvoir par exemple deviennent plus visibles, mais n’ont pas de conséquences, elles risquent seulement d’augmenter le cynisme ambiant. Une meilleure visibilité induit une obligation à rendre des comptes, que les systèmes et la transparence ne traitent pas pour autant. Par exemple, l’activité des courtiers de données s’est pour l’instant révélée plus puissante que la transparence.
• elle peut être nocive et exposer par exemple des groupes vulnérables à l’intimidation ou à la malveillance. Les entreprises notamment invoquent souvent le secret commercial pour résister à la transparence et empêcher les gens de trouver les failles de leurs systèmes et conserver des formes de pouvoir.
• elle peut générer des formes d’opacité, notamment en cachant l’information importante dans le flot d’information rendu visible.
• elle génère un choix binaire et assez restreint entre le secret complet et l’ouverture totale. Or, comme l’a montré le refus d’Edward Snowden de rendre accessibles toutes les données qui étaient en sa possession, la palette de la transparence n’est certainement pas aussi manichéenne qu’on la présente.
• elle repose sur un modèle finalement très néolibéral et individualiste qui renvoie aux individus la capacité à chercher et interpréter les informations rendues transparentes. Elle suppose une symétrie d’information, mais également de capacité de traitement, de débat et de discussion autour de ce qui est rendu visible et de son importance. Pour les auteurs, c’est là une fiction persistante.
• en fait, contrairement à ce qu’on pense facilement, la transparence n’améliore pas nécessairement la confiance, notamment parce que les différentes parties prenantes font confiance aux systèmes de manière différente.
• elle peut favoriser la visibilité sur la compréhension. Bien souvent, la possibilité d’interagir dynamiquement avec un système, de le décomposer ou de le modifier permet de mieux le comprendre que le fait d’être seulement capable de « le voir ».
• elle a aussi des limites techniques : à l’image des systèmes d’intelligence artificielle qui ne savent pas expliquer ce qu’ils font (même si, comme nous le pointions, des solutions imparfaites s’esquissent).
• elle a enfin des limites temporelles…

En fait, demander l’ouverture des « boîtes noires » est peut-être finalement une demande mal ajustée par rapport à la complexité des systèmes techniques. La transparence n’est pas la responsabilité, réaffirment-ils (à la suite de danah boyd). Et d’ailleurs, cette transparence doit s’accompagner d’une responsabilité, comme l’explique très bien le spécialiste des médias Jean-Marie Charon. Enfin, la transparence n’est pas non plus la précision, comme le pointe Cyril Fiévet chez Usbek&Rica en montrant par exemple que les Conditions générales d’utilisation enflent en volume, cela ne favorise pas pour autant la précision de la protection de la vie privée, au contraire. La promesse de la transparence n’a pas mis fin au secret, au contraire : elle a plutôt reconfiguré ce qui est visible, comment et qui contrôle cette mise en visibilité.

En fait, plutôt que de privilégier une forme de responsabilité qui nécessite de regarder à l’intérieur des systèmes, nous devrions plutôt tenir les systèmes pour responsables en regardant à travers eux, concluent les chercheurs. La transparence ne suffit pas pour comprendre les systèmes, et elle n’est pas d’un grand recours pour expliquer – et plus encore gouverner – les systèmes, dont la signification n’est pas interne, mais relationnelle, c’est-à-dire en interaction avec d’autres systèmes et données. Or, rendre les systèmes visibles, transparents, n’est pas la même chose que les rendre responsables.

En conséquence esquissent-ils, la responsabilité est certainement appelée à prendre des formes multiples. Par exemple, un système de transparence qui peut se révéler nocif ou qui peut nuire à des gens nécessite un modèle de responsabilité qui redonne du pouvoir à ceux auxquels il a nui. Si le modèle est trop complexe pour être transparent, alors la responsabilisation doit agir pour contrebalancer cela et faire que le système soit suffisamment compris ou compréhensible pour être déployé… En fait, chaque effet doit être contre-balancé par un dispositif qui justement le contre-balance. Les limites des systèmes doivent être des chemins pour construire leurs responsabilités et les garanties qu’ils offrent.