La « commission éthique des données » du gouvernement allemand a publié un rapport de 240 pages (pdf) (voir la synthèse en anglais de 32 pages) qui contient 75 recommandations pour améliorer la numérisation de la société, dont beaucoup ont trait à la prise de décision algorithmique, rapporte l’association européenne et militante Algorithm Watch (@algorithmwatch). Le rapport recommande notamment d’abandonner toute idée visant à traiter les données personnelles comme des biens pouvant être achetés et vendus. Mais il est surtout intéressant pour ses recommandations sur l’autonomie des systèmes.

Le rapport propose de classer les systèmes de décisions automatisés selon leur impact sur une échelle de 1 à 5, en distinguant :  

• Les systèmes à faible risque potentiel, tels que les distributeurs de boissons, qui ne devraient pas être réglementés.
• Les systèmes potentiellement nuisibles, tels que la tarification dynamique dans le commerce électronique, qui devraient être légèrement réglementés avec des contrôles aléatoires.
• Les systèmes présentant un risque potentiel régulier ou évident, comme la tarification personnalisée, qui devraient faire l’objet d’une procédure d’approbation associée à des contrôles réguliers.
• Les systèmes présentant un risque potentiel considérable, comme les entreprises qui ont un quasi-monopole en matière d’évaluation du crédit, qui devraient être contraintes de publier les détails de leurs algorithmes, y compris les facteurs utilisés dans les calculs et leurs pondérations, les données traitées et une explication de leur logique interne. Des systèmes pour lesquels les contrôles devraient pouvoir être effectués via une interface en temps réel.
• Les systèmes présentant des risques potentiels injustifiés, tels que les armes autonomes, devraient eux être « totalement ou partiellement » interdits.

Les médias sociaux, comme Facebook ou YouTube pourraient entrer dans les catégories 1 à 4, selon la partie de leurs plateformes qui est prise en compte. Une option pourrait être d’attribuer des licences, comme pour les chaînes de télévision ou de radio, nécessitant de renouveler régulièrement leur approbation auprès d’autorités centrales.

Le rapport invite également à travailler à un « Codex de responsabilité algorithmique », obligeant les entreprises à nommer un responsable de la responsabilité algorithmique sur le modèle des délégués à la protection des données mis en place par le RGPD.