Quel meilleur moyen pour repérer les terroristes que recourir à l’intelligence artificielle ? Dans un article pour le site Lawfare, Walter Haydock, spécialiste du terrorisme, suggère d’utiliser des chatbots susceptibles de discuter en ligne avec divers interlocuteurs et de rapporter aux autorités ceux qui pourraient avoir des tendances à l’agressivité et au passage à l’action. Mais nous apprend Boing Boing, la data scientist Cathy O’Neil et l’experte en sécurité Susan Landau ont rédigé, également pour Lawfare, une tribune expliquant pourquoi ce serait une très mauvaise idée.

Les raisons en sont multiples : tout d’abord, ce serait une forme supplémentaire de surveillance généralisée, avec la génération d’une multitude de faux positifs et de manipulations possibles. Utiliser une armée de tels bots, disent les auteures, serait « multiplier par un facteur mille la controverse qui a eu lieu avec Tay », le fameux chatbot de Microsoft, qui s’était converti au racisme à une vitesse spectaculaire.

Côté technique, Boing Boing résume très bien ainsi les arguments des auteures :

« Le problème principal du « machine learning » est que celui-ci ne fonctionne seulement que lorsque ses modèles prédictifs peuvent être comparés à ce qui se passe dans le monde réel et modifiés en conséquence. Si le système de Machine Learning d’Amazon prédit qu’améliorer le processus de paiement d’une certaine manière permettra d’augmenter les ventes, Amazon peut tester cette hypothèse et retourner les résultats au système. Mais le terrorisme est un phénomène incroyablement rare. La grande majorité des gens ne sont pas des terroristes. Un chatbot serait très peu susceptible de rencontrer un terroriste, et même s’il le faisait, il n’en rencontrerait pas un nombre statistiquement significatif (parce qu’il n’existe pas de nombre statistiquement significatif de terroristes). »