Raphaël Troncy (@rtroncy) est enseignant chercheur à Eurecom à Sofia Antipolis et est surtout membre du W3C, l’organisme de standardisation du web (nous l’avions déjà entendu lors de la seconde édition de la semaine européenne de l’open data). Nos machines ne voient pas les pages web comme nous les voyons, explique-t-il sur la scène des Entretiens du Nouveau Monde industriel en introduction à sa présentation. C’est pourquoi il faut leur expliquer ce que sont les différents signes d’une page. C’est pourquoi on a créé le balisage HTML, à la fois pour structurer les documents et expliciter aux machines ce dont il s’agissait. Mais pour les machines, cela ressemble toujours à du russe. Le nom des balises ne porte aucun sens. D’où l’idée d’ajouter des données avec de la sémantique pour que la machine comprenne mieux ce dont il est question.

La présentation de Raphaël Troncy.

Indexer les documents multimédia est encore plus compliqué pour les machines, c’est pourquoi il est encore compliqué de retrouver des documents multimédia pertinents… Aujourd’hui, pour indexer des documents multimédias, les moteurs regardent le nom des fichiers et ce qu’il y a autour. Contrairement au texte, les documents multimédias n’ont pas d’alphabets permettant d’en déduire du sens. Il faut apprendre alors aux machines à reconnaître des formes… C’est ce que l’on fait par exemple en leur donnant plein d’images d’un même objet pour qu’elles deviennent capables de reconnaître les formes, les textures de ce qui s’affiche à l’image. Mais c’est un apprentissage compliqué. Il faut en moyenne 3 ans pour qu’une machine apprenne à classifier un objet sans trop d’erreurs. Alors, comment faire mieux ?

Depuis 2007, le W3C a beaucoup travaillé sur ces questions d’indexation vidéo et a proposé de mieux les adresser, d’améliorer leur description, leurs métadonnées et codecs. A cette époque, il existait des choses, mais qui n’étaient pas standardisées. Flickr par exemple permettait à ses utilisateurs de décrire des parties d’images en permettant d’ajouter des notes aux photos. YouTube proposait déjà un système pour lire une vidéo à partir d’un segment particulier en définissant le temps (#t=1m43s, une syntaxe qui, ajoutée à l’URL d’une vidéo permet de la faire démarrer à 1 minute et 43 secondes dans ce cas précis). Le groupe de travail du W3C a standardisé ces expériences et le code, permettant ainsi de mieux partager les médias et notamment des extraits… Désormais, on peut nommer des chapitres dans une vidéo, on peut définir des fragments temporels ou spatiaux sur une vidéo…, c’est-à-dire faire plusieurs types d’annotation en vidéo. Annoter ou taguer une partie d’image, mais également introduire des annotations sémantiques pour décrire via des identifiants normalisés une image. Ainsi, on peut identifier la présence d’une personne dans une vidéo, comme un personnage historique, indiquer que c’est une personne, lier son nom à sa biographie Wikipédia… On ne décrit plus avec des chaines de caractères, mais avec des choses, identifiées par des URI qui font donc appel à des bases de connaissances qui utilisent des vocabulaires communs en suivant le principe des données liées permettant de les interrelier entre elles. Le W3C travaille sur le projet Open Annotation, permettant de lier une image à des explications… Pour comprendre comment cela fonctionne, le mieux est de se référer à des systèmes qui utilisent déjà ce type de fonctionnalité comme MapHub, qui permet d’annoter des cartes historiques par exemple ou l’Open Video annotation Project et LinkedTV qui permettent de générer des annotations automatiques enrichissant des informations au format vidéo et permettant d’augmenter les vidéos de demains d’information contextuelle. A terme, ces enrichissements vont permettre aussi de réutiliser et mixer plus facilement des morceaux de média, comme commence à y travailler le projet européen community.mediamixer.eu.

Contrôler le temps

C’est à une tout autre forme d’indexation du monde que s’intéressait Frédéric Kaplan (@frederickaplan), qui a initié en juillet 2012 le Laboratoire des humanités numériques de l’Ecole polytechnique fédérale de Lausanne (voir sa présentation)… en nous invitant à visiter les archives de l’Etat de Venise. Ce bâtiment qui rassemble sur 80 km de rayonnages les 1000 ans d’histoire de la ville de Venise, conserve la mémoire de la ville, à la manière d’un Google du Moyen-âge, bâti pour en tracer les changements en assemblant toutes les informations disponibles : testaments, impôts, lois de la cité, délibérations du Sénat de Venise, évolution du trafic maritime… « Se promener dans ce lieu procure un sentiment physique d’appréhender les Big Data du passé… » Mais comment transformer cette archive en système d’information ?

La présentation de Frédéric Kaplan : L’historien et l’algorithme.

Les archives de Venise sont trop volumineuses pour être étudiées par des équipes isolées de chercheur, rappelle Frédéric Kaplan… « Partout désormais, pour l’analyse du génome, pour l’analyse des systèmes planétaires, pour celle du système cérébral, nous avons besoin d’une coordination mondiale… En histoire également, nous allons avoir besoin d’actions coordonnées dans lesquelles les algorithmes vont jouer un rôle central. »
Pourtant, si l’historien Emmanuel Le Roy Ladurie avait prédit que l’historien de demain serait un programmeur, force est de constater que la relation entre histoire et informatique est restée plutôt houleuse. Les méthodes quantitatives ont montré leurs forces dans certains domaines et leurs faiblesses dans d’autres. Les débats critiques sur l’apport de la numérisation ne cessent d’être relancés.

Si les nouvelles interfaces d’exploration du passé n’existent pas encore, peut-être peut-on regarder les nouvelles interfaces d’exploration de l’espace pour s’en inspirer, propose Frédéric Kaplan en nous invitant à observer les qualités de Google Maps. Comment pourrait-on le transposer à l’analyse historique ? Dans Google Maps, pour l’instant, le temps n’existe pas, mais les enregistrements de données satellitaires de Google Maps et celles des rues de Google Streeet ne sont pas coordonnées et montrent souvent deux images différentes d’une même réalité, dans laquelle toute référence temporelle semble avoir disparu au profit d’un « grand maintenant », d’un présent indéfini. « Comment construire les Google Maps du passé ? Comment proposer de voir des versions anciennes d’une même réalité ? Pourra-t-on demain voir la densité sociale et son évolution avec la même granularité ? »

L’information numérique est très disparate. Si la quantité de données disponibles sur les 10 dernières années est très forte, elle se raréfie à mesure que l’on recule dans le temps. Pour représenter le passé, il faut donc parvenir à en reconstruire la densité, ce que tentent de faire les archives par le biais de la numérisation. Mais à mesure que l’on remonte dans le temps, les logiques informationnelles changent et ne se superposent pas nécessairement : le nombre de documents disponibles se raréfie… Cela signifie que pour leur redonner de la densité, il va falloir combler les données existantes, les extrapoler en partie, « les simuler ». Et pour cela, informaticiens et historiens vont devoir s’entendre pour coordonner leurs hypothèses de travail et leurs pratiques.

C’est tout l’enjeu du projet Venice Time Machine, la machine à remonter le temps de Venise, sur laquelle travaillent Frédéric Kaplan et ses équipes. L’enjeu : construire une base de données pour faire de la modélisation de Venise à travers le temps un bien commun. Le projet est à la fois un programme de cours et de recherche, qui interroge son objet à mesure qu’il le construit. Comment numériser efficacement des archives anciennes ? Comment transcrire des documents numérisés avec des systèmes de reconnaissance de caractères qui fonctionnent mal, avec des dialectes ou des styles d’écritures multiples ? Comment utiliser les techniques du web sémantique quand les questions conceptuelles évoluent dans le temps ? Comment définir un peintre à Venise, quand dans le temps cette fonction évolue et demeure très variée ?…

Par la pratique, les étudiants sont invités à adapter les techniques générales de l’internet à des cas particuliers. Questionner le monde ancien permet aussi de se poser des questions sur le monde de demain : les systèmes sémantiques que nous développons actuellement ne seront-ils pas obsolètes dans 50 ans ? Comment créer de grands graphes de notions, de personnes ? Comment évolue le salaire moyen d’un apprenti ? Combien de fils de peintres sont-ils devenus eux-mêmes peintres ? Comment superposer des cartes de Venise dans le temps, alors que leur niveau de détail n’est pas superposable ?

« Reconstruire Venise, c’est comme résoudre un énorme Sudoku ! » concède Frédéric Kaplan. Pour le résoudre, la recherche doit s’appuyer sur les algorithmes, ces nouveaux médiateurs des sciences historiques… « Il faut transformer les hypothèses en algorithmes, mais également apprendre à représenter les incertitudes et les inconsistances avec une certaine éthique de la représentation… afin de donner vie non pas à une Venise, mais à des Venise », c’est-à-dire à une multitude d’images et de représentation de Venise interreliée entre elles.

… pour expliciter l’implicite

« Pour que le monde devienne indexable, il faut expliciter l’implicite à la machine. Par exemple, dans le cadre du jeu d’échec, il a fallu faire comprendre à la machine qu’on ne pouvait pas placer plusieurs pièces sur une même case. Dans le monde des ordinateurs, expliciter devient exécuter », rappelle Christian Fauré (@ChristianFaure) d’Ars industrialis. « La puissance opérante de l’explicitation numérique du monde se paye d’une contrepartie : il n’y a plus la moindre interprétation possible ». Or, il faut des défauts pour qu’il y ait des processus, il faut une possibilité d’interprétation, il faut des bugs pour créer des fonctionnalités, rappelle l’ingénieur philosophe.

L’explicitation des manières d’opérer nécessite donc d’expliciter les données, comme l’expliquait Raphaël Troncy en évoquant le besoin de normalisation des formats et modèles de données. Expliciter les données, le dataware, mais également les opérations, le software, rappelle Christian Fauré, car les deux sont intimement liés.

Les enjeux de l’explicitation du monde pour les machines se doublent d’un phénomène de récursivité et de mise en abîme à mesure que les données sont réutilisées par d’autres services. Nous sommes enfermés dans un cycle des données, une logique de profilage qui nous renvoie à nous-mêmes jusqu’à la nausée… Dans ce cycle des données, où est la part d’invention, d’autonomie qui nous reste ? Jusqu’à présent, nous nous accommodions de l’implicite, qui était même une condition de bon fonctionnement. L’affordance, cette faculté de l’objet à induire sa propre utilisation a toujours été un enjeu important de l’adoption des technologies : il n’y a pas de mode d’emploi à une poignée ou à un jeu vidéo… Or la transformation de l’implicite en explicite n’est pas sans générer de nouvelles tensions.

Contrairement à ce que semble vouloir nous faire croire le passage de la causalité aux corrélations, il n’y a jamais d’explicite sans implicite et inversement. Un monde complètement explicité n’aurait plus beaucoup d’intérêt, rappelle le philosophe.

Les algorithmes ne sont pas la solution au problème pas plus qu’ils ne sont le problème. Le risque est de laisser les outils des Big Data à l’industrie, au marketing, au risque de cautionner que l’État est le problème plus que la solution au problème, estime le philosophe. La question des Big Data n’a pas pénétré le monde académique notamment parce que les scientifiques n’ont pas les données à leur disposition : ce sont les industriels qui les ont. D’ailleurs, le développement de la science des données se fait aujourd’hui bien plus dans les industries du numérique que dans les universités. Dans l’industrie, elle est le fait d’équipes pluridisciplinaires, comme le montre la composition de l’équipe d’analyse des données de Facebook. Avec pour but de faire émerger un nouvel objet, un nouvel outil d’action sur le monde.

Faut-il utiliser les automates pour s’armer contre les automates ? Les solutions aux dérives de l’automatisation du monde résident-elles dans l’automatisation elle-même ?

Et le philosophe d’esquisser deux pistes pour répondre au défi de l’indexation et du contrôle du monde par les algorithmes. La technique des cartographies de controverses initiées par Bruno Latour ne cherche pas tant à regarder les polémiques qu’à armer la critique dans ses modes d’action. C’est la même approche « pharmacologique » que l’on retrouve dans l’open source logiciel qui fait la part belle au dissenssus, comme le montrent des outils critiques d’écritures tels que GitHub, qui permet d’accéder à toutes les versions d’un code. Mais peut-on, saura-t-on demain appliquer ces méthodes, ces démarches, ces outils aux manières dont on pense ? Pourra-t-on demain dresser la cartographie des algorithmes ? En créer des versions critiques ?

Lev Manovich (Wikipedia, @manovich), pour le Chronicle of Higher Education, ne disait pas autre chose récemment en nous invitant à nous intéresser aux logiciels. L’étude des logiciels demande de nouvelles méthodologies pour analyser des expériences interactives, pour représenter leurs performances, leurs fonctionnalités et leurs intrications… estime le chercheur. L’étude du code ne suffira pas, d’autant qu’elle est devenue compliquée. Or, nous avons besoin de comprendre les logiciels pour comprendre et discuter de leurs fonctions et de leurs actions sur le monde. Manovich et ses collègues ont récemment tenté de visualiser les modèles dans l’utilisation d’Instagram (voir le projet Phototrails) en analysant 2,3 millions de photos provenant de 13 villes du monde. Si l’utilisation d’Instagram est toujours cohérente, massive, quelque soit l’endroit sur la planète d’où on l’utilise, les chercheurs ont trouvé des différences significatives selon les villes et les cultures, notamment dans l’utilisation des lumières, des couleurs et des filtres. Pour Manovich comme pour Fauré pourrait-on dire, la question est de savoir comment le logiciel ou les algorithmes que nous utilisons influencent la manière dont on s’exprime, dont on imagine ? Que signifie être citoyen d’une société logicielle ?

Hubert Guillaud