Intéressante tribune de Steve Jones, responsable des Big Data de Capgemini, pour Quartz sur l’aveuglement éthique des algorithmes. A l’heure où de plus en plus de données sont disponibles, le risque d’erreurs (sic) éthiques devient plus difficile à éviter. A l’ère numérique les clients sont définies par ce sur quoi ils cliquent et par les informations qu’ils laissent sur eux. C’est une chose d’être étiqueté comme étant susceptible d’acheter une paire de ski, s’en est une autre d’être considéré comme étant moins susceptible de payer une facture de carte de crédit parce que vous avez un nom à consonance éthnique. Or, il y a très peu de réglementation pour protéger les consommateurs de l’usage abusif de leurs données à cet égard et peu d’indications pour les entreprises sur le risque éthique de leurs données. Comme le souligne Frank Pasquale dans son livre La société de la boite noire (voir son interview sur Rue89), certaines catégories de consommateurs définies par les algorithmes sont pourtant éthiquement douteuses comme “probablement bipolaire” ou “personnes âgées crédules”. 

La Cour européenne de justice a rappelé que les entreprises d’assurance automobile ne pouvaient pas considérer le sexe des conducteurs dans leur calcul des primes. L’analyse de données vise à agréger des gens en groupe. De fait, cette agrégation a tendance à recréer des groupes spécifiques liés au genre, à l’appartenance communautaire, aux niveaux de revenus… Le risque est bien sûr de renforcer les ségrégations existantes. La réponse à la décision de justice européenne d’un fournisseur d’assurance britannique a été de lancé une prime d’assurance pour les clients qui conduisent en douceur sans faire vrombir leur moteur : drive like a girl (consuisez comme une fille), qui n’est donc plus réservé aux femmes, mais basé sur le comportement de conduite via une boite qu’on installe dans sa voiture pour surveiller votre comportement au volant.  

L’enjeu de l’analyse des données n’est donc pas tant qu’il catégorise la société que de permettre de trouver les moyens pour rétroagir sur le comportement de tous.