Limiter le pouvoir des algorithmes

Surveiller les algorithmes ne suffira pas. Il va bien falloir imaginer les encadrer. Deux des chercheurs du sujet ont récemment fait des propositions en ce sens : Albert-László Barabási et Kate Crawford.

La fouille de données peut être une arme

Pour le physicien Albert-László Barabási (Wikipédia, @barabasi), le spécialiste de l’analyse des réseaux, la façon dont la NSA recueille les données personnelles des Américains a brisé le modèle traditionnel qui lie la science et la société, estime-t-il dans Politico. La plupart des technologies ont plusieurs usages (pensez à l’énergie atomique, au génie génétique…) et on ne peut pas pour autant décider d’arrêter toute recherche du fait des risques qu’une technologie comporte, estime le chercheur, en scientifique. Au lieu de cela, les scientifiques doivent faire preuve de transparence sur les risques et les abus possibles et parvenir à un consensus avec la société pour l’usage de ces technologies. Or, les scientifiques dont les travaux ont alimenté la NSA ont échoué à montrer les dangers de ces outils. Les politiques, enivrés par la puissance de ces outils, n’ont pas réussi à faire que leur utilisation respecte les cadres strictes de la constitution américaine, se désole le chercheur.

Oui, les Big Data sont un saint Graal : « ils promettent de mettre à jour les lois mathématiques qui régissent la société ». Barabási explique qu’il a lui-même utilisé des données de millions d’utilisateurs de téléphone mobile pour faire des analyses… sauf que les siennes étaient anonymisées afin de ne pas nuire aux utilisateurs. Mais oui, « en fonctionnant avec le bon type de données, la fouille de données peut être une arme », reconnaît le chercheur. « Il peut être tout aussi dommageable, avec une même toxicité à long terme, que la bombe atomique. Il empoisonne la confiance, nuisant autant aux relations humaines qu’aux alliances politiques ou au libre marché. Il peut cibler des combattants.Il peut cibler des soldats, des adversaires, mais ne peut y réussir sans passer au crible des milliards de données provenant de civils innocents. Et quand elle est utilisée comme une arme, elle devrait être traitée comme une arme. »

La non-prolifération : une solution ?

Et Barabási d’appeler les chercheurs à faire un usage éthique de leur savoir, pour tenter de réparer les dommages déjà faits. Pour cela, il propose d’avoir recours et de s’inspirer du concept de non-prolifération afin de trouver une règle d’apaisement pour la société. Le principe de la non-prolifération repose sur 3 piliers : l’ouverture, le désarmement et l’utilisation pacifique. Le premier pilier n’est pas très pertinent dans le contexte : nombre de technologies utilisées par la NSA relèvent du domaine public et sont par nature ouvertes. Par contre, les deux autres le sont autant qu’ils l’ont été pour le désarmement nucléaire. Nous devons surveiller et limiter l’usage de cette nouvelle science pour des buts militaires et, pour restaurer la confiance, promouvoir un usage pacifique de ces technologies.

Pour cela, il faut tisser une nouvelle alliance avec la société en amendant la Déclaration des droits de l’homme par un droit de propriété sur ses données et un accès sûr. Le droit de propriété sur ses données réaffirme que les données relatives à mon activité, mon historique et modèle de navigation, mes habitudes de consommation ou de lectures) n’appartiennent qu’à moi et que moi seul peux en contrôler les usages. L’accès sûr assure que toute information que je choisis de transférer atteindra bien ses bénéficiaires sans être exploitée par d’innombrables oreilles électroniques en chemin. La NSA en écoutant toutes les communications a dégradé ces deux derniers principes.

La science peut contrer l’espionnage en développant des outils et des technologies, qui, dès leur conception, verrouillent ces principes. L’internet en est un bon exemple, puisqu’il est construit de manière ouverte, permettant à tous de s’y connecter sans contrôle d’une autorité centrale.
Et Barabási de conclure sur une rencontre avec un prisonnier politique des pays de l’Est d’où il est originaire qui a reçu les transcriptions des écoutes de ses communications après la chute des pays communistes : soit 7 volumes d’information collectés par les services secrets de l’Est… « L’Amérique a toujours dénoncé et combattu le communisme, le considérant comme toxique et déshumanisant. Pourquoi alors tentons-nous de répandre un communisme 2.0 à travers le monde un quart de siècle après l’effondrement du rideau de fer ? Or c’est ce que la surveillance de la NSA est devenue. Si nous, scientifiques, restons silencieux, nous risquons tous d’être numériquement réduits en esclavage ! »

Nous avons besoin de « procédures équitables »

Moins grandiloquent, l’article de recherche publiée par Kate Crawford (@katecrawford), chercheuse au laboratoire Social Media Collective de Microsoft Research et Jason Schultz (@Lawgeek) de l’école de droit de l’université de New York dans le dernier numéro de la Boston College Law Review réfléchit également aux nouvelles formes de régulation à l’heure du ciblage comportemental.


Image : Image tirée du livre applicatif, The Human Face of Big Data de Rick Smolan. Pas sûr que quand on s’intéresse aux questions de régulation des Big Data, nous voyons souvent leur visage humain…

La montée des « Big Data » pose de nouveaux défis aux défenseurs de la vie privée, car, contrairement aux précédents modèles qui exploitaient des informations personnelles identifiables (IPI), elles ont bouleversé la définition de ces IPI rendant toujours plus de données personnellement identifiables. Vos requêtes sur un moteur de recherche ne donnent pas votre nom ou votre adresse, mais leur étude permet de savoir finalement beaucoup de choses sur vous… L’analyse des métadonnées par exemple opère souvent en dehors des protections de la vie privée existantes et tend à marginaliser les schémas réglementaires existants. Les Big Data font porter de nouveaux risques sur la confidentialité des données (les risques de partialité ou de discrimination fondée sur la génération de données personnelles inappropriées, ce que les chercheurs appellent « le préjudice prédictif ») notamment lorsque l’analyse prédictive et la catégorisation sont effectuées à leur insu ou sans leur consentement. Si ce préjudice ne s’inscrit pas dans les frontières classiques de l’invasion de la vie privée, elles sont toujours relatives aux données d’un individu. En fait, les approches Big Data utilisent assez peu les IPI, elles préfèrent combiner des techniques d’analyse des réseaux sociaux, d’interprétation des comportements en ligne et de modélisation prédictive pour créer une image intime et détaillée des gens, souvent avec un haut degré de précision. Et les préjudices suite à une mauvaise image, à la critérisation retenue ou aux biais des méthodes existent et peuvent avoir des impacts directs sur l’existence d’une personne : le refus d’un crédit ou d’un bail, une interdiction de prendre l’avion sont autant d’exemples fréquemment avancés.

Le problème est que les gens sont rarement conscients de la manière dont leurs données sont utilisées à leur détriment, notamment parce que les procédés techniques sont complexes et surtout le plus souvent opaques. Enfin, le cadre réglementaire actuel est mal équipé pour faire face à ces nouveaux défis. Et les chercheurs de proposer une nouvelle approche, assez complémentaire de celle proposée par Barabási : celle d’un droit à une procédure régulière.

Dans la tradition juridique anglo-américaine, une procédure régulière interdit de priver un individu de droits à la vie, à la liberté ou à la propriété sans lui donner accès à certains éléments de procédure et d’arbitrage (le droit d’examen, le droit à contester la preuve en cause, le droit de faire appel d’une décision négative, le droit de connaître les allégations présentées…). Le droit à une procédure équitable sert aussi à renforcer la séparation des pouvoirs, interdisant ceux qui écrivent les lois d’être aussi ceux qui statuent.

Et les chercheurs d’en appeler à l’établissement d’un cadre juridique plus rigoureux, compte tenu des biais méthodologiques inhérents à de nombreux systèmes de big data… « Nous pensons que les personnes qui sont secrètement jugées par les big data devraient avoir des droits similaires à ceux qui sont jugés par les tribunaux. »

Pour les chercheurs, plutôt que de tenter de réguler la collecte, l’usage ou la divulgation des données personnelles ex ante, il vaudrait mieux s’intéresser à réglementer l’équité des processus d’analyse des grandes données en observant la façon dont ces données sont utilisées. Ainsi, si une assurance santé utilise les Big Data pour déterminer la probabilité qu’un client ait une certaine maladie et refuse une couverture sur cette base, le client doit pouvoir bénéficier d’un processus équitable pour faire appel de cette décision.

La procédure équitable repose sur deux éléments importants : la première est l’interdiction de la privation d’un bien, d’un droit ou d’une liberté… et c’est bien ce qu’impliquent de plus en plus souvent les Big Data, puisque leurs effets directs génèrent des décisions concernant des possibilités de logement, d’emploi, de crédit… Le second élément est une « procédure légale régulière »… Bien sûr, il semble difficile d’imaginer faire un procès dès qu’une machine va nous discriminer… mais ce n’est pas ce que proposent les chercheurs. En observant les valeurs qui sont attachées à la notion de procédure équitable, ils tentent de proposer des procédures qui soient leur pendant, tout en restant plus légères.

Une procédure équitable estime que toute privation doit être précédée au minimum par un préavis et par la possibilité d’une audience sur la question et une enquête impartiale. Ainsi, avant la révocation d’une prestation sociale par exemple, le prestataire devrait normalement fournir à la partie lésée un préavis et le droit d’être entendu de manière significative (avec témoins et la possibilité de présenter des arguments par exemple). Bien sûr, les chercheurs se réfèrent surtout au droit américain et à sa jurisprudence, mais les éléments pointés sont intéressants : avant toute privation, un individu à droit à une information, à un arbitre neutre et à une audition.

Un tribunal impartial et un contrôle judiciaire seraient bien sûr inappropriés, mais les biais algorithmiques sont appelés à devenir un problème toujours plus grave et nous devons pouvoir avoir des moyens pour les contester. Et les auteurs de proposer la création d’une agence ou une autorité devrait surveiller qu’il existe une procédure régulière.

Ils se réfèrent aux travaux de la professeure de droit Danielle Citron (@daniellecitron) qui a exploré la voie d’une procédure équitable dans les systèmes automatiques des administrations. Bien souvent, ceux-ci posent plusieurs défis, constate celle-ci : ces systèmes échouent à informer convenablement les individus, à les entendre avant qu’une décision ne soit rendue et souvent décident de leur cas en secret sans leur laisser accès aux éléments qui ont validé une décision. Or, l’absence ou le manque d’information empêche bien souvent un individu de répondre à l’injonction ou aux demandes formulées par l’administration.

Les systèmes des Big Data souffrent des mêmes faiblesses que les décisions administratives automatisées quant à l’information des individus : la plupart du temps, les gens ne reçoivent pas d’information sur la prédiction qui est faite d’eux avant qu’elle soit implémentée ni d’informations sur ce qu’elle engendre. La possibilité d’être entendu est également un autre problème des systèmes automatiques. Pour Citron, son corolaire serait de pouvoir accéder à la logique du programme qui a pris la décision. Enfin, dans ses analyses, Citron insiste sur le rôle d’une meilleure information des fonctionnaires qui utilisent ces systèmes afin qu’ils connaissent les biais de leurs programmes. Les agences devraient également se doter de médiateurs afin que les gens puissent avoir des possibilités de recours plus simples et enfin, elles devraient évaluer plus fréquemment les biais et erreurs de leurs programmes, sous forme d’audits menés par des organismes externes par exemple. Autant de recommandations qu’on pourrait adresser aux spécialistes des Big Data, estiment Crawford et Schultz.

Et les deux spécialistes d’inviter les systèmes à :

  • notifier : les services qui utilisent des Big Data devraient informer les gens des sources de données qu’ils récoltent, des formes de prédictions qu’ils font… Et les chercheurs de rappeler qu’il existe déjà des obligations d’information quant à la collecte de données qui pourraient être élargies pour inclure le traitement. Cela implique également de prévenir des risques auxquels les gens peuvent être exposés. Une information devrait également être faite auprès des gens quand ils ont été traités par un algorithme (par exemple pour une demande de crédit ou une réponse à une offre d’emploi) qui explique les données considérées et la méthodologie employée…
  • ouvrir une possibilité d’être entendu : comment contester l’équité d’un processus prédictif ? Le meilleur moyen est de pouvoir être entendu et de pouvoir corriger l’enregistrement. Cela pourrait passer par un tiers de confiance, un arbitrage neutre qui s’assurait de cette prise en compte, avancent les chercheurs, sans donner vraiment d’exemple sur la forme que pourrait prendre ce processus…
  • concevoir des arbitrages impartiaux : les Big Data ne produisent pas des jugements objectifs, tant s’en faut. Or, une procédure équitable exige que ceux qui privent les individus d’un droit doivent le faire sans partialité ou sans intérêt dans le résultat… Ce qui est loin d’être le cas dans les systèmes automatiques.

Ces pistes – prenons-les comme des pistes – sont intéressantes à plus d’un titre, même si elles nécessitent encore d’être construites, d’être mises en discussion… de devenir plus concrètes. Elles montrent en tout cas que l’on peut refuser d’être démunis face à l’algorithmisation du monde et qu’on peut certainement trouver des formes de régulation adaptées pour y répondre, qui vont un peu plus loin que l’opposition manichéenne « interdire ou laisser faire » !

Hubert Guillaud

À lire aussi sur internetactu.net

0 commentaires