Tijmen Schep (@tijmenschep) se définit comme un chercheur et activiste technocritique, un concepteur d’innovations éthiques comme le proclame le site de sa société de conseil. Sur la scène de la conférence Ethics by Design, il se présente également comme un privacy designer, un ingénieur de la vie privée. On a beaucoup entendu parler de lui début 2018 quand il a proposé le concept de « refroidissement social » (Social Cooling), une pratique d’autocensure généralisée qui consiste à se fondre dans le conformisme plutôt que s’insurger contre la surveillance de masse afin que l’exploitation de nos données nous nuise le moins possible. Il est également l’auteur d’un livre, Design my privacy, un guide de principes pour concevoir pour la vie privée. Pour mettre en perspective ses principes, le designer a initié de nombreux projets qu’il détaille lors de sa présentation.
Il présente par exemple la machine à café sournoise du designer Vincent Hoenderop… Cette machine à café (vidéo) vous délivre un café différent selon votre code postal. Si vous vivez dans un bon quartier, votre café sera très bon, si vous vivez dans un quartier plus pauvre, le café ressemblera plus à du jus de chaussette. Un moyen pour rendre tangibles les biais de données et leurs traitements qui ont lieu par-devers nous. Autre exemple, provenant lui aussi de la Dutch Design Week de 2016 que Schep a organisé, le Kit de contrôle domestique imaginé par Jasper van Loenen. Ce tableau de bord spéculatif s’amuse de l’automatisation de la parentalité. En connectant différents appareils électroménagers, comme le lave-vaisselle, le système génère des scores selon l’activité des enfants : les enfants ont-ils sorti le chien comme vous le leur aviez demandé ? Ont-ils rempli le lave-vaisselle ? Selon leur score de participation aux tâches domestique, ils obtiennent du temps sur leur console de jeu ou au contraire se voient verrouiller leur tiroir à jouets ou l’utilisation de leur doudou !
Image : Tijmen Schep sur la scène d’Ethics by design, via @designethique.
« Le respect de la vie privée est une opportunité »
Pour Tijmen Schep, cet exemple est une parfaite critique des projets de maison intelligente. Le problème de ces systèmes souligne-t-il, tient à leur opacité : « l’utilisateur est mis en visibilité, alors que le système, lui, masque son fonctionnement ». Comme le disait Mark Weiser, le patron du Xerox Park et père de l’informatique ubiquitaire : « les technologies les plus profondes sont celles qui disparaissent ». Mais faire disparaître les technologies et leur fonctionnement rend les gens impuissants, dénués de moyens d’action, comme si la puissance des objets était immanente. Pour Tijmen Schep, il faut inverser ce rapport : « développer des projets qui protègent l’utilisateur et rendent ce que fait le système plus visible ». « L’invisibilisation de la technologie crée un déséquilibre des pouvoirs. Potentiellement, nous sommes face à une bombe à retardement en matière de respect de la vie privée. »
Dans son livre, le designer a établi une série de principes pour y parvenir, à savoir : privilégier la confidentialité ; penser comme un pirate pour trouver les failles et abus possibles ; recueillir le moins de données possible ; les chiffrer et les protéger ; comprendre l’identité dans sa complexité (« beaucoup de gens ont de très bonnes raisons de ne pas vouloir utiliser leurs vrais noms ») ; ouvrir la boîte noire pour aider les utilisateurs à comprendre les traitements mis en place ; transformer l’utilisateur en concepteur et leur laisser un espace d’adaptation (« on conçoit trop souvent pour une souris et c’est bien plus dur de concevoir les choses pour un vrai utilisateur ») ; la technologie n’est jamais neutre.
Pour illustrer ces principes, Tijmen Schep évoque un de ses projets qui n’est pas encore public, Candle. Candle à l’allure d’une bougie. C’est un appareil open source qui propose une connectivité domestique sécurisée, sans être reliée à l’internet, et qui intègre un dispositif de reconnaissance vocale local. Le système permet de créer des capteurs domestiques un peu comme des Legos et de les piloter à la voix. Tijmen Schep a construit plein de petits démonstrateurs pour son système : un capteur météo, un capteur de pollution, depuis d’autres outils open source modulaires comme RasperyPi ou Micro:bit par exemple. Anemone par exemple est un dispositif plug & play qui permet de déconnecter sa maison de l’internet la nuit ou quand on s’absente pour éviter toute intrusion ou toute communication de données en votre absence.
Ces petits objets ont pour fonction de rendre de la capacité d’agir aux utilisateurs, leur permettant d’activer ou désactiver l’accès à l’internet de leurs objets par exemple. Pour Tijmen Schep, les objets n’ont pas besoin d’internet pour fonctionner, explique-t-il en optant pour des systèmes d’intelligence artificielle embarquée, par nature plus respectueux de la vie privée des utilisateurs. Il invite les concepteurs à minimiser le matériel, à ne pas avoir recours au Wi-Fi pour sécuriser objets et données (« Une maison connectée devrait pouvoir fonctionner sans connexion internet »), à être transparents sur le fonctionnement des objets et à expliquer aux utilisateurs ce qu’ils font. A être honnête avec les utilisateurs : « un micro n’est pas un détecteur de bruit, c’est un micro ! » A utiliser les capteurs les moins intrusifs, à trouver les capteurs « minimaux » pour détecter des comportements… Si dans l’environnement domestique il faut protéger les utilisateurs de la surveillance extérieure, il faut aussi les protéger de la surveillance des autres occupants de cet espace. « Un problème des maisons connectées, c’est que les utilisateurs s’en servent les uns contre les autres : “Tu étais à la maison à telle heure, je t’ai vu !” » Or, les gens utilisent beaucoup ces dispositifs pour cela. Pour le designer, « nous avons besoin de maisons intelligentes qui favorisent la sécurité psychologique ». Il faut que les objets connectés permettent aux utilisateurs de contrôler leurs données, de « sculpter leur identité ». « La vie privée, c’est le droit d’être imparfait ! » Le succès des smartphones est lié au fait que les utilisateurs pouvaient créer et contrôler leur identité. Ce n’est pas ce que proposent aujourd’hui la plupart des objets de l’internet des objets.
« Le respect de la vie privée est une opportunité », conclut Tijmen Schep. Candle est une preuve de concept encore bien imparfaite, concède-t-il. Mais c’est une contre-proposition. « Les gens sont soucieux de leur vie privée, mais où sont les produits adaptés à leurs préoccupations ? » Le temps des alternatives est venu ! Le refroidissement social n’est pas une option. Manger plus sainement est en train de devenir le coeur du marché de l’alimentation. La même chose arrivera avec la vie privée. Nous avons besoin d’alternatives explique-t-il en montrant l’image d’une boîte de thermostat Nest augmenté d’un avertissement semblable à celui que l’on trouve sur les paquets de cigarettes signalant que la capture de données peut nuire à vos projets professionnels… ou d’un autre doté d’un privacy label semblable au nutriscore des produits alimentaires ou aux étiquette-énergie qu’on trouve sur l’électroménager qui indiquerait le niveau de respect de vie privée des appareils que l’on achète. Rendre visible l’exploitation des données et les atteintes à notre vie privée autrement que par les scandales de fuites massives quotidiennes dont les médias se font l’écho… La piste est en tout cas stimulante !
Vers l’éthique by design ?
La question de la protection de la vie privée dès la conception (Privacy by design) est bien souvent et avant tout une question judirico technique. Elle concerne le développement de systèmes de contrôle dans les technologies qui traitent de données personnelles. Pour la spécialiste et professeure de droit à Paris 1, Célia Zolynski (@czolynski), cela consiste en de nouvelles formes de régulation intégrées dans la conception même des outils techniques. La Privacy by design vise à garantir la confiance et la sécurité des objets et services qui utilisent les données personnelles des utilisateurs. L’article 25 du Règlement général sur la protection des données personnelles (RGPD) consacre ce principe et en formalise la logique : en faisant reposer la responsabilisation sur l’opérateur (le responsable du traitement) selon un principe de prévention, l’objectif est d’imposer des devoirs aux opérateurs. La privacy by design repose sur 7 principes fondamentaux définis par Ann Cavoukian (@anncavoukian), experte pour le Centre d’excellence en privacy by design de la Ryerson University, à savoir :
- Prendre des mesures proactives et non réactives, des mesures préventives et non correctives (prévoir et de prévenir les incidents liés à l’atteinte de la vie privée avant même qu’ils ne se produisent) ;
- Assurer la protection implicite de la vie privée (faire en sorte que les données personnelles soient protégées de manière automatique avec un paramétrage par défaut des nouvelles technologies assurant un niveau de protection maximum des données sans que l’utilisateur ait à définir de paramètres spécifiques) ;
- Intégrer la protection de la vie privée dans la conception des systèmes et des pratiques ;
- Assurer une fonctionnalité complète selon un paradigme à somme positive et non à somme nulle (assurer la protection de la vie privée sans nuire à la mise en œuvre d’autres fonctionnalités) ;
- Assurer la sécurité de bout en bout, pendant toute la période de conservation des renseignements ;
- Assurer la visibilité et la transparence (chaque élément intégré aux systèmes lié à la protection des données personnelles doit rester visible et transparent en cas de vérification indépendante) ;
- Respecter la vie privée des utilisateurs.
Célia Zolynski rappelle toutefois que ces principes ne sont pas que techniques. Pour être mis en oeuvre par exemple, ils nécessitent de mettre en place des mesures organisationnelles comme de former le personnel au respect des données, déterminer qui a accès aux différents jeux de données… « Cela nécessite d’insuffler en amont une culture des données personnelles en entreprises ». Le rôle proactif des responsables du traitement se prolonge également d’obligations, comme celle de promouvoir des droits au profit des utilisateurs, la portabilité des données ou le droit d’information et de retrait…
La protection de la vie privée dès la conception a fait émerger une réflexion plus poussée sur le besoin d’une éthique by design. Une question avivée par le développement de l’intelligence artificielle par exemple et que l’on retrouve au coeur des enjeux sociaux que posent leurs impacts, tels que l’ont pointé les rapports de la Cnil, de la mission Vilani, les travaux de la Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique (La souveraineté à l’ère du numérique .pdf) ou de Transalgo de l’Inria. Pour Célia Zolynski, l’enjeu de l’éthique by design n’est pas d’encoder des valeurs pour créer des algorithmes ou des systèmes de machine learning qui les respecteraient, mais d’imaginer des méthodes permettant de garantir que ces systèmes et leur environnement ont été pensés dans un cadre prédéfini qui respecte des valeurs préalablement identifiées. Réfléchir à ces règles et principes directeurs consiste à réfléchir à la fois aux process organisationnels, à les prendre en compte dans leur dynamique même, à prendre en compte les risques de discrimination préjudiciables aux utilisateurs, à interroger la pertinence des données dans les processus de Machine Learning, à développer des études d’impacts pour questionner les conséquences sociales des algorithmes et de l’IA…
Dans son rapport, la Cnil a proposé de travailler à définir les principes de loyauté et de vigilance. Le principe de loyauté enjoint aux opérateurs de prendre en compte les intérêts des utilisateurs et de vérifier que leurs systèmes ne leurs soient pas préjudiciables tant individuellement que collectivement. Cela passe également par une meilleure explicabilité des systèmes pour aider les utilisateurs à comprendre les logiques à l’oeuvre et le fonctionnement des systèmes : en insistant plus sur les données utilisées et les résultats que sur la publication des codes sources des systèmes. On imagine également des mécanismes de traçabilité ou d’auditabilité des systèmes, tout en protégeant les intérêts des opérateurs. Enfin, il faut aussi penser des outils de capacitation des usagers afin de contrebalancer l’asymétrie de pouvoir de ces systèmes.
Célia Zolynski imagine également des outils de visualisation pour permettre aux gens de mieux comprendre le fonctionnement des outils, permettant de jouer avec, de modifier les paramètres… De travailler à la portabilité des données, pas seulement individuelles, mais aussi collectives.
Image : Celia Zolynski et ses 7 principes d’une Ethique by Design à la conférence Ethics by Design, photographiée par @designethique.
Le principe de vigilance, lui, pousse à une obligation de redevabilité à la charge des opérateurs consistants à construire et expliciter la chaîne de responsabilité, à garantir la possibilité d’intervention humaine dans la prise de décision automatisée… « Plutôt que de céder au déterminisme technologique, il est nécessaire de construire un volontarisme technologique ». Avant d’esquisser 7 premiers principes de l’éthique by design, qu’elle propose de discuter. A savoir : le respect de l’intérêt, de la liberté et des droits fondamentaux de l’utilisateur ; un principe d’explicabilité et de contrôle par et pour l’utilisateur ; un maintien du contrôle par l’humain ; une préservation de l’intérêt général ; un principe de recevabilité (c’est-à-dire faire que les systèmes se comportement comme déclaré) ; un principe d’auditabilité (de contrôle donc, permettant de garantir que les systèmes font bien ce qu’ils déclarent faire) ; et enfin un travail de sensibilisation et de formation des développeurs.
Une première base de travail donc.
Hubert Guillaud