L’économiste Tim Harford (@timharford) signe un long papier pour le Financial Times où il revient sur la longue série d’échecs des prévisionnistes et autres futurologues à prédire le futur.

Prévoir l’avenir n’est pas simple ce qui ne l’empêche pas d’être devenu un énorme marché, omniprésent, évalué à quelques 300 millions de dollars. Certes, de réelles avancées ont été réalisées dans certains domaines, en particulier ceux où de vastes ensembles de données sont devenus disponibles comme la météo, la vente en ligne, la gestion de la chaîne logistique… – même si les données ne sont pas suffisantes, nous rappelait avec raison notre collègue Rémi Sussan, en évoquant la méthode de Nate Silver (Wikipédia), spécialiste des pronostics sportifs et politiques, qui élargit désormais sa méthode à nombre d’autres domaines.

Reste qu’en ce qui concerne la géopolitique ou la macro-économie, les prédictions des experts à prévoir une crise économique, un nouveau conflit ou une révolution sont loin d’être exactes et fiables.

Dans son article, Tim Harford revient sur l’étude menée par le spécialiste en management et en psychologie de l’université de Pennsylvanie Philipp Tetlock (Wikipedia) qui avait analysé sur 18 ans les prédictions de centaines d’experts pour montrer combien elles tombaient presque invariablement à côté de la plaque.

« La plupart des gens qui ont entendu parler des recherches de Tetlock, en ont conclu simplement que soit le monde était trop complexe à prévoir, soit que les experts étaient trop stupides pour le prévoir, ou les deux. Tetlock lui, a refusé d’embrasser si facilement le cynisme ambiant. Il voulait laisser ouverte la possibilité que, même pour des questions humaines difficiles de macroéconomie et de géopolitique, une approche reposant sur la prévision puisse exister qui porterait ses fruits. »

La sagesse des foules est-elle plus efficace que les agences de renseignement ?

En 2013, Tim Harford a été invité par Tetlock a participer à un nouveau programme de recherche financé par l’IARPA, une agence de renseignement américaine : un programme de prévision des événements économiques et géopolitiques lancé en 2011 baptisé le Good Judgement Project (voir également le blog du projet). Le but : exploiter la sagesse des foules pour prévoir les grands événements mondiaux. Les prédictions y prennent la forme d’un tournoi auprès de milliers de participants, consistant pour chacun à donner son sentiment sur des questions économiques et géopolitiques, à les mettre à jour si besoin et à comparer ses prédictions avec celles d’autres experts, le tout sous forme de pari d’argent, l’agence rémunérant les meilleurs prévisionnistes. Les questions auxquelles les participants doivent répondre sont souvent binaires : l’économie de la Grèce va-t-elle s’effondrer ? Bachar al-Assad sera-t-il encore président de la Syrie le 31 décembre 2014 ? L’armée russe rentrera-t-elle en Ukraine avant le 10 mai ?…

Image : l’interface du participant au Good Judgement Project qui pose ici la question de savoir si avant le 1er avril 2014, l’agence de l’énergie atomique internationale inspectera le complexe militaire de Parchin en Iran.

Tim Harford n’a pas participé, mais 20 000 « experts » ont joué le jeu. Plusieurs groupes ont été constitués. Des groupes d’experts du renseignement, des groupes d’experts et des groupes d’amateurs – d’ailleurs, si cela vous intéresse et si vous remplissez les conditions – de diplôme notamment -, vous pouvez postuler ! Certains participants recevaient une formation, d’autres jouaient en équipe, certains jouaient en vase clos et d’autres recevaient des informations sur les prédictions d’autres groupes.

Les premières années du projet ont donné des résultats plutôt intéressants.

La formation pour donner une probabilité à une prévision est visiblement efficace et améliore durablement les prédictions des participants. Celle-ci est assez simple. Elle consiste notamment à comprendre l’importance des comparaisons et l’importance d’utiliser des comparaisons pertinentes comme point de départ. Elle consiste également à prendre en compte les tendances historiques et les modèles mathématiques quand ils existent, ou la moyenne des avis quand les experts sont en désaccord. Mais surtout à se défier de ses propres biais : ne pas se laisser influencer par ses espoirs ni s’accrocher à ses vieilles prévisions.

Autre enseignement : les prévisions les plus réussies provenaient d’équipes où les experts ont pu discuter et argumenter entre eux. Enfin, certains participants se sont révélés être des “superprévisionnistes” capables de prédire les événements géopolitiques avec une précision étonnante et même capables d’améliorer leur performance avec le temps. L’un des amateur qui a donné les meilleurs résultats est une pharmacienne du Maryland de 60 ans, Elaine Rich, rapporte la NPR. Elle a obtenu des résultats supérieurs de 30 % à ceux des agents du renseignement qui ont pourtant accès à des informations confidentielles, simplement en prenant le pouls des questions posées par une recherche sur les premières pages de résultat de Google !

L’outil suit les résultats des prévisions de plusieurs types de population. Et le plus surprenant est que ce ne sont pas les experts qui ont toujours raison. « La sagesse des foules est une partie très importante de ce projet et c’est un facteur important de la précision », estime Tetlock. Le projet montre que si vous prenez une grande masse de personnes différentes ayant accès à des informations différentes, vous obtenez de meilleurs résultats que si vous comptez sur une seule personne très intelligente voire même un petit groupe de gens très intelligents. En fait, le projet démontrerait presque l’inutilité des agences de renseignement… Il faut y voir « un complément plutôt qu’un substitut », insiste un des experts de l’IARPA, qui souligne aussi que les résultats de ce programme sont en train d’améliorer les méthodes des agences de renseignement…

Prédire l’avenir : un simple jeu !

L’explication la plus fondamentale du succès des superprévisionnistes est le fait qu’ils se soient focalisés sur un seul objectif : prédire l’avenir ! Le fait que le système leur envoie une rétroaction continue sur le succès ou l’échec de leur prévision était également primordial. En fait, contrairement aux prédictions faites sur un bord de table, ici, le système ne laisse pas de place pour les opinions, les idées radicales, originales ou décalées. Ce qui importe est de donner la bonne réponse. Comme dans un jeu. D’où la présence de récompenses sonnantes et trébuchantes pour certains participants…

Image : un exemple de rétroaction sur une question fournie à un participant par le GJP.

Pour bien prédire l’avenir, il faut savoir changer d’avis !

Les meilleurs prévisionnistes étaient ceux que Tetlock appelle des « renards » plutôt que des « hérissons » (deux formes de comportement face à la prise de décision, comme nous l’expliquait Venkatesh Rao sur la scène de Lift 2013), c’est-à-dire ceux qui utilisent leur intuition plutôt que la logique, l’autocritique plutôt que l’assurance. Au début du projet, les renards n’étaient pas vraiment meilleurs que les hérissons pour prédire l’avenir, mais la logique méthodique des hérissons ne les a pas aidés à s’améliorer. Pour la psychologue Barbara Mellers qui copilote le projet, le style de pensée la plus associée aux meilleures prédictions était ce que les psychologues appellent avoir “l’esprit activement ouvert”, c’est-à-dire des gens qui n’ont pas peur de changer d’avis, sont heureux de chercher des points de vue divergents, sont à l’aise avec le fait que de nouvelles preuves pourraient les amener à abandonner ce qu’ils pensaient.

Ce que montre en tout cas le Good Judgement project c’est qu’une formation de base en raisonnement probabiliste permet de produire de meilleures prévisions, que les équipes travaillent mieux que les bons probabilistes isolés, et que les gens qui ont l’esprit activement ouvert sont meilleurs que les autres.

Et surtout, souligne Harford, que les professionnels de la prévision ne sont souvent pas suffisamment sérieux et qu’ils devraient garder à l’esprit leurs résultats pour améliorer leurs prédictions en prenant en compte leurs erreurs passées. Quand la situation change, il faut apprendre à modifier ses conclusions !

Hubert Guillaud