Beaucoup a déjà été dit sur la surveillance des plus pauvres par les technologies de contrôle (voir notamment “Pourquoi les Big data nous angoissent”). Et l’article de The Atlantic signé par Kaveh Waddell n’apprendra pas grand chose à la plupart d’entre vous. Il rappelle que les communautés les plus démunies sont aussi les plus surveillées : on contrôle leur capacité à obtenir des prestations sociales, on surveille leurs comportements (enfance, délinquance, consommation de stupéfiants, visites à domiciles…)… Les plus pauvres s’inscrivent dans un cycle de surveillance où les aides qu’ils peuvent recevoir dépendent de leur acceptation de la surveillance. Dans ce cycle qui se referme sur eux, il suffit d’une défaillance (une arrestation notamment) pour que toute la machine des prestations se grippe. Si une personne est interpelée par la police par exemple, il lui devient d’un coup bien plus difficile de trouver un emploi, d’obtenir un prêt ou de louer une maison. 

Pour le spécialiste des questions éthiques, Ian Kerr, le croisement de données viole le principe juridique de la présomption d’innocence. Or, rappelle ce dernier, les gens sont considérés comme innocent jusqu’à preuve du contraire. La procédure établie veut que les gens puissent être entendus, qu’ils ont le droit de participer à leur audition, le droit de savoir quelles informations sont recueillies sur eux et le droit de contester ces informations. Mais à l’heure des décisions opaques fondées sur les données, à l’heure de la justice algorithmique, certains de ces droits élémentaires commencent à s’éroder. 

La professeure de droit de l’université de Baltimore, ancienne avocate des droits civiques au ministère de la Justice américain, Michele Gilman, et ses étudiants, aident les gens en difficulté à faire effacer les données de fichiers qui leurs nuisent. Elle évoque ainsi un de ses clients, un afro-américain sans abri, arrêté 14 fois, sans aucune condamnation qui ne bénéficiait de plus aucun droit du fait de ces signalements et que son équipe a accompagné pour faire effacer ses arrestations des fichiers où il était mentionné afin de lui permettre de recouvrir d’autres droits. Pourtant, ce travail de fourmi ne suffit pas toujours. Des erreurs et des informations erronées peuvent persister dans d’autres bases de données, même si elles ont été corrigées dans les fichiers principaux. “Si un enregistrement d’arrestation a déjà été partagé avec un courtier de données privées par exemple, le courtier ne saura probablement pas être averti une fois que le dossier aura été modifié.”

La commission fédérale du commerce américaine a visiblement organisé des ateliers sur ce sujet récemment (voir le rapport). On y apprend que les algorithmes savent désormais refuser des droits à des personnes sur la base des actions des autres. Une société de carte de crédit a ainsi réduit les capacités de crédits de gens parce que d’autres clients qui allaient dans les mêmes magasins q’eux avaient des antécédents de retard de paiement ! A l’inverse, le rapport montre aussi que l’analyse des données peut également être utilisée pour trouver de meilleurs indicateurs. Certaines entreprises de crédit ont ainsi ouvert des crédits à des gens qui n’y avaient pas accès en prenant d’autres critères, comme le fait de payer son loyer dans les temps ou le fait de posséder une voiture… (voir “Réinventer l’évaluation du risque”).