Dans la première partie de ce dossier, j’ai tenté de montrer, avec l’aide du remarquable article du journaliste et développeur James Somers, que la manière même de produire du code était en train d’évoluer, que nous passions de l’écriture artisanale à des modèles de programmation qui permettent une compréhension plus globale de ce que le code accomplit. Que la complexité à laquelle le code parvenait nécessitait de nouvelles approches, de nouvelles modalités de conception. De nouveaux outils ouvrent des possibilités pour faciliter cette relation, pour transformer le dialogue entre le code et ce qu’il produit, entre codeurs et codés. De nouvelles formes de médiation entre le code et les développeurs ouvrent la voie à une autre forme de médiation entre les données, les systèmes, les traitements et ceux qu’ils calculent. Une évolution qui, via les interfaces, impacte directement notre rapport aux données et aux traitements qu’ils produisent. Dans la longue histoire des interfaces, une nouvelle étape de la médiation entre systèmes techniques et société semble se dessiner. Des interfaces optimisées et lisibles pour les machines comme le code ou jeux de données, nous glissons vers des interfaces plus accessibles aux humains tout en permettant leur exploitation conjointe par les hommes et les machines. Telle est la promesse du design de la médiation aux données.

Des datavisualisations aux « explications à explorer »

Les datavisualisations (ou visualisations de données) n’ont jamais été uniquement une façon de faire de jolis graphiques depuis des données. Depuis l’origine, elles sont liées à « l’engagement » que le concepteur peut tisser entre le lecteur et les données, même si elles se sont longtemps peu prêtées à manipulation et l’interaction. Reste qu’elles sont devenues peu à peu de moins en moins statiques, permettant de modifier les configurations, d’intervenir sur certains paramètres pour les faire varier, de zoomer ou dézoomer (comme dirait le sociologue Dominique Cardon)… Cette possibilité d’agir sur les données, d’interagir, introduit une forme de jeu qui ouvre à une compréhension nouvelle de ce qu’elles recouvrent.

La mathématicienne Cathy O’Neil ne disait pas autre chose quand elle soulignait, parlant des algorithmes et des systèmes techniques : « vous ne savez pas vraiment ce que fait un modèle tant que vous ne pouvez pas interagir avec lui ». L’interaction a toujours été un moyen de comprendre. La possibilité de manipuler et de changer les modalités par la manipulation est un moyen de saisir concrètement les conséquences de nos actions et donc d’apprendre et de comprendre, comme le suggéraient déjà les psychologues John Dewey et Jean Piaget.

Victor Bret (@worrydream), le développeur qu’évoquait James Somers dans son article a parlé « d’explications à explorer » (Explorable Explanations) pour évoquer de nouveaux modèles d’interactions. Un concept désignant l’engagement dans une lecture active via des documents réactifs, c’est-à-dire des documents permettant de jouer avec des hypothèses et d’en explorer les conséquences, via des procédés interactifs. L’enjeu expliquait-il est de permettre au lecteur de développer « une intuition sur le fonctionnement d’un système ».

« Un lecteur actif pose des questions, considère des alternatives, remet en question des hypothèses et remet même en question la fiabilité de l’auteur. Un lecteur actif tente de généraliser des exemples spécifiques et de concevoir des exemples spécifiques de généralités. Un lecteur actif n’absorbe pas l’information de manière passive, mais utilise l’argument de l’auteur comme un tremplin pour développer sa pensée critique et sa compréhension profonde.

Est-ce que nos environnements de lecture encouragent la lecture active ? Ou s’y opposent-ils totalement ? Un outil de lecture typique, tel qu’un livre ou un site web, affiche l’argument de l’auteur… et rien d’autre. La ligne de pensée du lecteur reste interne et invisible, vague et spéculative. Nous formons des questions, mais nous ne pouvons pas y répondre. Nous considérons des alternatives, mais ne pouvons pas les explorer. Nous remettons en question les hypothèses, mais nous ne pouvons pas les vérifier. Et donc, à la fin, nous faisons confiance aveuglément, ou pas, et nous manquons la compréhension profonde qui vient du dialogue et de l’exploration.

Explorable Explanations est mon projet général d’idées qui permettent et encouragent une lecture vraiment active. Le but est de changer la relation des gens avec le texte. Les gens pensent actuellement que le texte est une information à consommer. Je veux que le texte soit utilisé comme un environnement dans lequel réfléchir. »

Pour lui donc, les contenus ne peuvent pas seulement être les conteneurs d’une information destinée à être consommée, mais doivent être aussi les contenants d’une réflexion pour nous amener à en être acteurs. « Un document réactif permet au lecteur de jouer avec les hypothèses et analyses de l’auteur et d’en voir les conséquences ».

Fort de ce constat, son travail a consisté depuis à produire des documents réactifs et à développer des outils permettant d’interagir avec les concepts depuis les données.

Dans un autre de ses essais interactifs, « En haut et en bas de l’échelle de l’abstraction« , Bret Victor précise par l’exemple son concept d’explications explorables. L’exemple qu’il prend dans cette démonstration est un système de commande d’une simulation automobile permettant à une représentation de voiture de circuler sur une route. Il établit sa démonstration par la programmation de petits jeux interactifs pour aider à comprendre comment créer des règles pour guider la voiture, ajoutant à chaque volet de complexité de son explication toujours un peu plus d’interactivité. Pour lui, explique-t-il, le défi n’est pas tant dans la construction des systèmes que dans leur compréhension : la conception doit permettre d’explorer, de passer d’un niveau d’abstraction à un autre. L’interactivité, les modélisations et les données permettent de comprendre et jouer de concepts et modèles complexes par induction : en déplaçant des curseurs, en modifiant des chiffres, en comprenant la récurrence de schémas… De faire de la pédagogie depuis le jeu et l’interactivité, à l’image de la promesse originelle du multimédia.

Vers des systèmes de visualisation pour manipuler le monde des données

Ses travaux, initiés dès 2011, ont inspiré toute une communauté de développeurs qui ont construit depuis une foule d’outils et de contenus interactifs.

Victor Powell (@vicapow, qui travaille désormais chez Uber) et Lewis Lehe se sont inspirés des travaux de Bret Victor pour créer leur agence Setosa.io, mais surtout « Expliquer visuellement » un site qui agrège des explications visuelles et interactives de concepts mathématiques ou statistiques, via des animations et des graphiques que le lecteur peut manipuler. Jack Schaedler (@jackshaedler) pour sa part a publié tout un site pour expliquer les ondes, les cercles, les sinus et cosinus et les signaux. Mike Bostock (@mbostock) a publié « Visualizing Algorithms », un ensemble d’explications interactives qui permettent de comprendre les règles logiques des algorithmes. Daniel Kunin a développé pour sa part un site pour expliquer les probabilités et les statistiques. Stephanie Yee (@stephaniejyee et Tony Chu (@tonyschu) du studio R2D3 ont créé un cours visuel pour comprendre l’apprentissage automatique.

Les « explications explorables » ne se limitent pas aux mathématiques, rappelle le data journaliste et designer de données Maarten Lambrechts (@maartenzam) dans un remarquable article de synthèse, évoquant le travail de Chaim Gingold (@cgingold) sur Earth Primer (vidéo), une application pour iPad sous forme de manuel interactif pour comprendre des concepts de géologie, d’écologie et de météorologie, en permettant au lecteur de voir les effets de la pluie, des vents ou de la température sur les sols, le relief et la végétation.

Nicky Case (@ncasenmare, blog) s’intéresse plus aux phénomènes sociaux qu’aux questions techniques. Il a réalisé d’incroyables démonstrations « jouables » pour nous permettre de mieux les comprendre, comme Neurones névrotiques qui permet de comprendre le fonctionnement des neurones, la théorie des assemblées de neurones et la thérapie d’exposition, une technique de désensibilisation utilisée en psychothérapie comportementale pour combattre les phobies, le trouble du stress post-traumatique ou d’autres types d’anxiété. La parabole des polygones de Vi Hart et Nicky Case est une histoire interactive qui explique le fonctionnement de la ségrégation dans la société, ou comment un petit biais individuel aboutit-il à une grande ségrégation collective. L’évolution de la confiance est un jeu sur le même principe pour regarder comment la confiance et la coopération se disséminent entre les gens, à partir des théories des jeux.

Les « explications explorables » ont d’ailleurs leur portail (@explorables), maintenu par Maarten Lambrechts et Nicky Case, qui tente de recenser un grand nombre de ces nouveaux objets.

Comme le souligne Bret Victor en conclusion de l’échelle de l’abstraction, pour comprendre un système, il faut pouvoir l’explorer. Et pour l’explorer, il faut pouvoir contrôler et agir sur les paramètres. Pour lui, ce processus dynamique permet de rendre concrète l’expérience d’un système, de « reconstituer progressivement une compréhension pour guider nos décisions ». Pour Maarten Lambrechts, ces dispositifs, qui permettent d’expliquer par l’exploration, sont l’avenir même de l’éducation.

Dans une récente conférence faite pour la Long Now Foundation, Nicky Case explique avec une réelle énergie que face à la complexité, il faut pouvoir voir les systèmes dans leur totalité : il parle d’ailleurs de « systèmes de visualisation », pour évoquer ces nouvelles interfaces ! Pour y parvenir, il est nécessaire de rendre les choses abstraites, concrètes. C’est-à-dire de faire descendre les idées abstraites au niveau de compréhension des gens. Et que pour cela, la visualisation ne suffit pas, il faut pouvoir manipuler le monde des données. Plus que les mots, ces systèmes permettent également de favoriser la communication, notamment parce qu’ils reposent sur de la visualisation qui est plus universellement accessible que le texte. Mais pour lui, c’est l’assemblage des deux – « montrer et dire » – qui prend du sens, car cela nous permet d’être guidé dans notre parcours de compréhension. Comme une carte, qui nous montre un chemin dans un territoire complexe.

Reste que cartographier et rendre accessible un système complexe n’est pas si simple, s’amuse le développeur. Bien souvent, on n’y comprend rien, à l’image de la célèbre cartographie de la stratégie américaine en Afghanistan, qui, comme s’en est amusé un général Américain, permettrait certainement de gagner la guerre pour qui la comprendrait. Trop souvent les cartes, graphiques et visualisations ne donnent aucune ligne directrice, oubliant de permettre de rendre les informations plus simples ou plus accessibles, mais également plus adaptables pour les expérimenter par soi-même. Pour comprendre, il faut aussi que les systèmes favorisent une forme de manipulabilité des paramètres, de jouabilité…

Pour Nicky Case, nos erreurs d’interprétations sont liées au fait qu’on utilise une pensée linéaire pour comprendre des systèmes complexes. Or ceux-ci ne sont pas linéaires, mais reposent sur des boucles de rétroactions qui les renforcent, qui les équilibrent ou créent du chaos. Comprendre la complexité nécessite donc de faire appel à des documents non linéaires. C’est tout l’enjeu de Loopy, un système de cartes mentales (mindmap) dynamiques permettant justement de représenter simplement des interactions entre systèmes, que le développeur a mis au point. Pour Nicky Case, ces systèmes de visualisation jouables doivent avant tout nous permettre de comprendre comment se joue la complexité.

Des systèmes de visualisation aux design de la médiation

Avec ces outils, la visualisation de données est en train d’évoluer. Elle n’est plus seulement un mode de représentation ou de compréhension : elle devient l’interface de gestion des données elles-mêmes. Elle propose de reconcevoir la médiation des systèmes eux-mêmes, en les rendant explorables, manipulables, paramétrables.

Et les perspectives qu’entrouve cette conception peuvent être particulièrement stimulants. Lors d’une conférence de 2014 (vidéo), Bret Victor imaginait que cela pourrait conduire à créer de nouveaux « espaces de création », des espaces qui ne soient pas seulement des moyens d’assembler des pièces entre elles, mais aussi des moyens de comprendre les comportements de systèmes.

Avec le numérique, expliquait-il, nous perdons le lien avec nos outils parce qu’ils ne nous entourent plus, contrairement à ce que nous vivons dans nos cuisines ou dans un atelier où les outils sont à notre disposition tout autour de nous. Pour lui, l’enjeu de nos outils numériques est qu’ils deviennent des espaces de création qui donne de la capacité d’action aux gens. Mais quand on accomplit des projets logiciels ou robotiques, la difficulté n’est pas tant d’assembler les pièces ensembles, mais de comprendre ce qu’elles font et comment leur faire faire ce que nous voulons. Si nous voulons faire se déplacer un petit robot vers une lumière, il faut regarder son code et comprendre ce qu’il voit et comprendre pourquoi il se comporte de la façon dont il se comporte. En fait, les outils de construction à notre disposition n’aident pas beaucoup. Il faudrait plutôt avoir des outils permettant de regarder ce qu’il se passe. Pourtant, certains métiers prennent la visualisation au sérieux, rappelle-t-il en évoquant les salles de contrôle de la Nasa et les tableaux de bord géants des salles de contrôle d’installation critique qui surveillent le trafic routier ou électrique, ou une régie télé. Pour comprendre ce qu’il se passe en temps réel, il faut souvent construire une pièce peuplée d’écrans montrant les résultats en temps réels de multiples capteurs. Pour Bret Victor, c’est ce type de pensée qu’il faut apporter à l’ingénierie numérique. Des outils de ce type, explique-t-il, permettraient de créer des « espaces de visualisation », c’est-à-dire de créer des environnements qui permettent de voir et de comprendre comment se comporte le projet qu’on construit. Et d’imaginer dans sa présentation comment manipuler un robot depuis les données produites et non plus seulement depuis son code. Voir à l’intérieur nécessite de projeter l’information, d’y avoir accès autour de soi, de l’afficher d’une manière accessible dans son environnement et pas seulement à l’intérieur de l’objet. Et bien sûr tout l’enjeu de cet affichage consiste à trouver les moyens de le représenter et de permettre à cette représentation d’être rétroactive, c’est-à-dire de pouvoir la manipuler en retour facilement pour qu’elle agisse sur les objets qu’elle pilote. En déployant les possibilités de l’information jouable, Bret Victor nous permet de comprendre la finalité des interfaces qu’il imagine, comment le jeu sur les paramètres devrait permettre de modifier les comportements des choses avec lesquels on interagit.

Image : un espace de visualisation, tel qu’imaginé par Bret Victor.

Pour lui, si ces perspectives très prospectives qu’il dessine sont importantes, c’est que des systèmes de ce type pourraient permettre de faire le lien entre le bricolage, l’ingénierie et la science. « Si vous ne donnez aux gens que des outils de construction et leurs apprenez à s’en servir, ils en resteront au bricolage. Si vous leur donnez des outils conceptuels et théoriques, ils peuvent atteindre un niveau d’ingénierie. Mais pour aller jusqu’à des outils scientifiques, il faut pouvoir apporter des outils de visualisation, de compréhension », explique-t-il. Pour lui, il nous faut passer des recettes aveugles que nous appliquons à une compréhension pleine et entière. Et c’est tout l’enjeu de ce design de la médiation qu’esquissent les explorations explorables.

De la complexité toujours plus accessible

Ces interfaces ne sont plus le terrain de jeu de quelques développeurs brillants, mais isolés qui produiraient des applications multimédias et interactives réussies. De grands acteurs font des efforts pour rendre leurs outils toujours plus accessibles. C’est notamment le cas de Google, avec Tensor Flow, son outil d’apprentissage automatique en open source, qui a développé des outils pour jouer avec un réseau de neurones et rendu accessible différents projets permettant de tenter de comprendre comment ça fonctionne. L’un des outils les plus accessibles de Google, sa machine à apprendre permet, sans avoir à programmer une ligne de code, d’apprendre à un système à utiliser ce que voit sa caméra pour déclencher des comportements ad hoc. Selon ce que votre caméra regarde et analyse, grâce aux techniques de reconnaissance d’images de Google, vous pouvez très facilement créer une rétroaction quand il détecte que vous riez ou que vous pleurez ou quand il voit passer un chat devant l’écran… par exemple de déclencher un son ou tout autre comportement. Un autre outil, Facets permet d’analyser des données depuis des techniques d’apprentissage automatique en utilisant la visualisation pour faciliter la compréhension et l’analyse (voir les explications de Google). Autant d’exemples et d’outils qui préfigurent un avenir où l’intelligence artificielle serait demain accessible à tous.

Mais Google n’est pas le seul acteur à tenter de rendre accessible l’apprentissage automatique. Uber a construit une plateforme de machine learning comme service, proposant là encore des outils de visualisation ad hoc : Michelangelo. Cet outil développé en interne pour ses équipes d’ingénieurs et de scientifiques de données a permis que tout le monde travaille avec des outils comparables, de stocker et comparer des résultats, et surtout de mettre en production de nouveaux services basés sur l’analyse de données permettant à Uber d’exploiter des systèmes de machine learning à grande échelle. L’un des exemples qu’évoque Uber a été l’utilisation de cette plateforme pour produire des modèles de prédictions pour optimiser Uber Eats, le système de gestion de livraison de repas.

Fast Forward Labs, une société de conseil spécialisée dans le machine learning, a publié cet été un prototype d’algorithme qui favorise l’interprétabilité. Pour l’instant, il y a une tension dans les systèmes d’apprentissage automatique : l’exactitude de la prédiction de certaines techniques est inversement proportionnelle à leur explicabilité. Fast Forward Labs se propose de résoudre cette tension, avec des algorithmes qui améliorent leur exactitude tout en garantissant leur interprétabilité… Tant et si bien que ses promoteurs estiment que demain nous ne parlerons plus de boîtes noires algorithmiques, mais bien plutôt de boîtes blanches capables d’expliquer ce qu’elles font à ceux qu’elles calculent. L’équipe de la plateforme de Deep Learning H2O.ai a publié, elle, cette année, une vidéo qui montre plusieurs approches pour développer l’interprétabilité des systèmes d’apprentissage automatique.

Bon, toutes ces initiatives ne s’adressent pas encore tout à fait à chacun d’entre nous. Retenons néanmoins que les programmes d’intelligence artificielle cherchent à se rendre toujours plus accessibles. De là à dire que demain tout a chacun pourra les utiliser, il y a peut-être un pas qui semble encore difficile à envisager. C’est pourtant bien, semble-t-il, l’objectif qui se dessine. La conception d’interfaces s’insinue toujours plus loin pour nous permettre de jouer avec les données et les traitements, quitte à faire disparaître le code lui-même sans réduire ce qu’il permet de faire.

De la jouabilité des systèmes

Dans une remarquable tribune pour Linkedin, Benoît Vidal, cofondateur de Dataveyes (@dataveyes), un studio de développement de projets spécialisé dans l’interaction hommes-données, invite à créer des « interfaces de médiation avec les algorithmes », comme les informaticiens ont créé des interfaces de médiation avec le code. Benoît Vidal parle de HDI (pour Human Data Interactions ou “interactions homme-données”) pour parler d’interfaces permettant de favoriser la discussion entre les données, leurs traitements et leurs utilisateurs.

« Les hommes et les machines doivent être chacun en charge de répondre à des besoins de natures et de complexités différentes : aux systèmes d’IA la responsabilité d’apprendre, de calculer, de classer, etc. Et aux humains la responsabilité de comprendre, d’analyser, de ressentir ou encore d’éprouver la réalité. Les deux devraient donc plutôt travailler de pair, en confiance. » Le but des HDI est d’apporter de la compréhension face aux systèmes riches en données par le biais d’interfaces qui misent non seulement sur la visualisation de données, mais aussi sur l’interactivité. La jeune pousse crée, inspirée par le travail sur les systèmes de datavisualisation, des systèmes d’interfaces pour interagir avec des données que ce soit dans le domaine des ressources humaines ou de l’énergie par exemple.

« De telles interfaces ne cherchent pas à nous apprendre à lire les formules mathématiques des algorithmes, mais elles nous montrent comment les algorithmes transforment les données, elles nous aident à appréhender ce que produisent ces algorithmes, à déduire le fonctionnement du système, en nous figurant visuellement les structures, les groupes, les hiérarchies, la distribution, les relations et les corrélations dans un jeu de données.

Souvent ces interfaces possèdent des filtres, des zooms, des curseurs à déplacer, des boutons à actionner, etc. Car un aspect important des interactions hommes-données se situe dans l’interactivité. Lorsqu’une visualisation simule des données qui évoluent au cours du temps, ou bien lorsqu’elle nous permet de faire varier des paramètres, elle nous donne à voir l’influence de variables d’entrée sur des variables de sortie. L’interface nous fait toucher du doigt la sensibilité des données, et nous donne une image mentale de leurs liens de dépendance. »

Tout l’enjeu est de produire non plus seulement des représentations (comme le faisait la datavisualisation), mais des systèmes permettant de moduler les représentations selon les données et les traitements. Une conception de la médiation entre données et humains.

L’enjeu n’est plus de produire seulement des visualisations de données, mais des systèmes qui permettent d’interagir avec les données et les traitements, qui permettent de comprendre les fonctionnements. L’enjeu n’est plus seulement de traiter les données, mais d’apporter des outils plus accessibles pour comprendre leurs fonctionnements, les traitements que les systèmes accomplissent et jouer avec leurs paramètres. Bref, de faire descendre des problématiques de gouvernance des données jusque dans le matériel qui permet de les traiter.

Au carrefour de la médiation, de l’explication et du jeu, ce design de la médiation entre les données, les calculs et les utilisateurs n’est certes pas nouveau, mais ses évolutions récentes dont nous avons tenté de rendre compte ici, montrent le rôle et l’importance de la jouabilité des systèmes techniques que nous évoquions dans les conclusions du groupe de travail Nos Systèmes de la Fing. L’enjeu de la jouabilité n’est pas seulement une façon de comprendre, mais bien une façon d’exploiter, d’utiliser et d’élargir le nombre de ceux qui seront capables d’exploiter les systèmes techniques aussi complexes soient-ils. A l’aune de ses premiers résultats en tout cas, le design de la médiation qui se structure peu à peu paraît être un puissant levier pour organiser le dialogue entre les données et la société. Il faudra assurément en suivre les développements.

Hubert Guillaud