Dans un stimulant syllabus (.pdf) d’un cours qui s’est tenu à l’automne 2020 à l’université de Princeton (voir le programme et les documents associés), les professeurs d’informatique Arvind Narayanan (@random_walker) et de sociologie Matt Salganik (@msalganik) se sont attelé à un sujet d’importance : la limite des prédictions automatisées.

Les chercheurs et les entreprises n’ont cessé de tenir des déclarations optimistes sur la capacité à prévoir des phénomènes allant des crimes aux tremblements de terre (des modélisations prédictives d’ailleurs très liées entre elles) en utilisant des méthodes statistiques et algorithmiques fondées sur les données, expliquent-ils. Un optimisme souvent largement partagé par le public et les décideurs politiques. Toutefois, l’analyse de la littérature sur ces sujets souligne combien ces méthodes se révèlent dans les faits produire des résultats bien en deçà des attentes. Pour les deux professeurs, l’enjeu du cours est de comprendre si les limites de la prédiction vont s’estomper à mesure que les ensembles de données s’agrandissent et que les capacités de calcul s’améliorent, ou si les limites fondamentales de la prédiction sont là pour rester. « Si nous entrons dans un monde où l’avenir est prévisible, nous devons commencer à nous préparer à ses conséquences, bonnes et mauvaises. Si, en revanche, les allégations commerciales sont exagérées, nous devons disposer des connaissances nécessaires pour les repousser efficacement. »

Manque de données, biais, dérives, limites des classements, degrés de précisions, comportements stratégiques…

Dans leur syllabus, ils exposent plusieurs limites (non exhaustives) de la prédiction. La dépendance sensible aux intrants, c’est-à-dire que toute limite fixée à la résolution des mesures implique une limite à la précision prédictive et ce d’autant que les évolutions dans le temps ne sont pas linéaires. Les chocs : quelle est la fréquence des chocs, des bouleversements imprévisibles (comme de gagner au loto ou d’être victime d’un accident) et dans quelle mesure limitent-ils la prévisibilité ? Comment les avantages s’accumulent et s’amplifient-ils ? C’est-à-dire comment un succès ou un échec par exemple en engendre d’autres, à l’image du succès d’un livre qui a des effets sur les livres du même genre, ou le fait de perdre son domicile influe sur la perte d’emploi et comment ces effets peuvent-ils être mesurés par rapport aux fluctuations aléatoires ? Bien sûr, il y a également l’enjeu des entrées non observées ou inobservables : tous les attributs pertinents ne sont pas toujours disponibles pour la prédiction, ce qui nécessite d’éclairer quels types d’éléments sont plus rétifs à la prédiction que d’autres… Au final, nous sommes également limités par les entrées observables comme par la correspondance entre ces données et leurs résultats, selon les contextes. Autre limite encore, la dérive : aucun phénomène n’est statique, les algorithmes doivent être capables de prendre en compte la dérive des prédicateurs et de la cible. D’ailleurs, la cible est souvent elle-même variable. Certaines variables cibles sont difficiles à prévoir parce qu’elles sont mal mesurées ou instables. Si vous essayez de prédire la performance d’un élève à un test de math, l’augmentation du nombre de questions au test devrait limiter les erreurs. Mais on sait que l’amélioration des mesures a souvent un rendement décroissant et que les performances prédictives finissent par se stabiliser souvent bien en dessous du seuil de la perfection. La prédiction produit également des comportements stratégiques difficiles à faire entrer dans les calculs : quand on prédit un conflit armé par exemple, les forces en présence ont tendance à prendre des mesures pour l’éviter, tout comme un politicien peut réagir aux sondages. Enfin, la question de la prédiction est fonction du temps : comme le bruit s’accumule, il est plus difficile de prévoir les états les plus éloignés des états observés (la météo est ainsi plus précise à quelques heures qu’à plusieurs semaines).

Dans leur introduction, les chercheurs listent également nombre de pièges qui limitent l’apprentissage machine désormais pleinement mobilisé pour produire de la prédiction, en s’appuyant sur un article du mathématicien et statisticien britannique David J. Hand (auteur du récent Dark Data, un livre qui explore justement les limites des data sciences – Princeton University Press, 2020, non traduit) qui pointait les limites de la classification. Là aussi, entre les erreurs dans le classement des données, leur labellisation, leur précision, les biais statistiques (et les différences de performances selon la taille des échantillons), les dérives, les biais d’échantillonnages, les risques que les décisions prises aient un impact sur les résultats… Enfin, et non des moindres, il y a les biais induits par le choix des systèmes de notation, c’est-à-dire comment sont attribuées des valeurs à des attributs (ce que nous avions appelé ailleurs, une signose, le fait d’interpréter un signe en signal en lui donnant notamment une valeur qui repose souvent sur une appréciation subjective – et on pourrait ajouter le fait que certains attributs ne soient pas comptabilisés ou comptabilisables).

Enfin, soulignent les auteurs, d’autres problèmes se posent encore, comme le fait de comprendre, selon les contextes ou les secteurs dans lesquels ils s’appliquent, quel est le bon niveau de précision et donc comment la prédiction peut-être améliorée (ou pas). Les chercheurs prennent l’exemple de la différence entre la prévision d’un succès entre le domaine du livre et du cinéma : le fait que la prévision du succès dans le domaine du livre puisse être plus prévisible, signifie-t-elle que l’édition est plus méritocratique que l’industrie cinématographique… ? Ou que cette différence tient seulement des différences entre les données disponibles ?

Les deux chercheurs tirent d’intéressantes questions de ces enjeux. Comme celle de la précision. À partir de quand la précision devient-elle suffisamment bonne pour produire des prédictions efficaces, à l’image de la prévision météorologique par exemple ? Et ce peut être le cas, même quand la précision est relativement basse, comme dans le cas de la publicité en ligne. Selon les secteurs spécifiques et les contraintes, à quel niveau de précision faut-il arriver pour « prédire l’avenir de la prédiction » ? «  »Prédire l’avenir de la prédiction » est une compétence importante pour anticiper et se préparer aux perturbations à venir dans des industries et domaines spécifiques comme dans la société dans son ensemble. » Ici, l’écueil consiste à la fois à être incapable d’anticiper les progrès nécessaires dans un secteur, comme de réagir de manière excessive en supposant qu’une percée est sur le point de se produire. Sans compter qu’améliorer la précision n’est pas toujours positif, notamment quand elle se fait au détriment de la vie privée, comme c’est le cas avec la reconnaissance faciale. Enfin, il n’y a pas toujours besoin que la technologie soit parfaite pour poser des problèmes, par exemple quand des chercheurs estiment qu’on pourrait prédire l’orientation sexuelle des gens depuis les images de leurs visages.

Prédire, n’est pas toujours la bonne réponse !

Arvind Narayanan et Matt Salganik rappellent que si les modèles prédictifs sont surutilisés en informatique et dans l’industrie, c’est parce qu’ils sont faciles et pratiques à appliquer. Reste que la prédiction n’est pas toujours la bonne réponse ni la bonne question. « Souvent, ce qui est présenté comme un problème de prédiction peut être mieux compris comme un problème d’explication, d’intervention ou de prise de décision ».

Ainsi, la question de la prédiction recouvre souvent un problème d’explication. Bien souvent, la prédiction sert à mettre en avant un processus et son fonctionnement. Les observations astronomiques de Ptolémée ont permis d’affiner des paramètres et d’obtenir un modèle de calcul et d’explication du mouvement des objets célestes, utilisé pendant des siècles dans la navigation notamment.

Bien souvent, la prédiction recouvre un problème d’intervention, c’est-à-dire comment améliorer un processus plutôt que de réellement le prédire. C’est le cas notamment des systèmes de prédiction des risques de récidive pour la libération sous caution dans la justice américaine (voir notamment « Machines à biais » ou les propos d’Angèle Christin, spécialiste de ces sujets). Ces systèmes utilisent des facteurs tels que l’âge ou le revenu pour prédire la probabilité de ne pas se présenter à un procès et punissent des gens pour des crimes qu’ils n’ont pas encore commis, avec un impact disproportionné sur les minorités. Ici, la prédiction est particulièrement injuste, quand la question pourrait être résolue par d’autres interventions, par exemple en proposant un système de garde d’enfants pour que les gens convoqués à leur procès puissent s’y rendre (la question de la garde d’enfant semble être l’une des principales raisons – mais pas la seule – au fait que les libérés sous caution ne se présentent pas à leur procès), permettant d’éliminer une prédiction injuste et qui ne fonctionne pas.

Enfin, la prédiction trop souvent vient remplacer la prise de décision, oubliant qu’ici, la prédiction influe sur la décision. Les systèmes de recommandation par exemple sont souvent conçus comme des systèmes prédictifs qui maximisent la recommandation produite. Recommander par exemple certains types d’articles aux utilisateurs modifie leurs intérêts et préférences au fil du temps. Or, on ne modélise pas beaucoup ces conséquences, qui ont pourtant des effets concrets comme on le voit sur les réseaux sociaux, favorisant les bulles de filtres ou la polarisation politique par exemple.

Pour Narayanan et Salganik, l’enjeu bien sûr est de s’interroger sur comment concevoir des systèmes prédictifs et les améliorer. Mais il faut également se poser la question de savoir si un système prédictif est toujours la bonne réponse. Or, avancent les deux spécialistes, bien souvent des formules statistiques simples, calculables à la main, avec seulement quelques variables prédictives… font presque aussi bien que des systèmes de machine learning enfermés dans des boites noires, tout en évitant nombre de leurs inconvénients. En tout cas, ils soulignent très bien que La prédiction n’est assurément pas la solution à tous les problèmes de nos sociétés.

Hubert Guillaud