Défense de l’algovernance : pour une cogestion des systèmes algorithmiques qui impactent les travailleurs

Sur Social Europe (@socialeurope), un média qui milite pour le retour d’une Europe sociale lancé par le sociologue et politologue britannique Colin Crouch, Christina Colclough (@Cjclough) – spécialiste des effets de la numérisation sur le travail et les travailleurs, initiatrice du Why Not Lab, qui défend la nécessité d’une gouvernance numérique et d’un contrôle sur la manière dont les systèmes intelligents doivent être façonnés par les travailleurs et les collectifs, initiatrice de WeClock, un outil pour permettre aux travailleurs de documenter leurs expériences de travail pour mieux faire valoir leurs droits – signe une vibrante tribune pour expliquer que les systèmes algorithmiques sont la nouvelle frontière des syndicats.

Home page de l'outil WeClockIt
Image : Page d’accueil du projet WeClockIt, permettant aux travailleurs de documenter leurs expériences de travail.

La pandémie a clairement montré combien les systèmes numériques sont devenus primordiaux pour le travail, notamment pour la surveillance et le contrôle des travailleurs que ce soit à distance ou sur leurs lieux de travail. À l’heure du retour sur les lieux de travail, sous prétexte sanitaire, ce contrôle s’accélère, comme le soulignait un récent rapport de l’association américaine Public Citizen (@public_citizen). La crise sanitaire a élargi un « fossé de pouvoir » permettant aux entreprises d’extraire et capitaliser de plus en plus de données sur leurs employés.

Pour rééquilibrer cette asymétrie, des réponses syndicales fortes sont nécessaires, plaide Christina Colclough, qui appelle à améliorer les conventions collectives et les environnements réglementaires, pour résister à l’oppression des algorithmes et aux analyses prédictives. Les syndicats doivent s’engager pour limiter ces menaces en s’intéressant aux différentes phases du cycle de vie des données personnelles utilisées par les environnements de travail et en assurant la cogouvernance des systèmes algorithmiques. Elle invite à s’intéresser à chaque étape de la collecte des données, tout d’abord pour que les délégués syndicaux et travailleurs soient informés des outils déployés, afin d’éviter que cette extraction de données ne soit cachée aux travailleurs, et qu’ils aient le droit d’y consentir, c’est-à-dire de les refuser.

Pour un « droit à des conclusions raisonnables »

Dans le cadre réglementaire du RGPD, les entreprises sont obligées de mener des évaluations d’impacts sur les systèmes qu’elles mettent désormais en place, évaluations qui doivent notamment permettre de consulter les salariés. Reste que pour l’instant, bien peu de salariés et de syndicats ont accès à ces évaluations ou sont informés de leur existence, alors qu’ils devraient faire valoir leurs droits à y participer. Pour Colclough, travailleurs et syndicats doivent s’intéresser à toutes les étapes de l’utilisation des données en entreprise.

Les différentes phases de l'utilisation des données en entreprise
Image : les 4 étapes de l’utilisation des données personnelles en entreprise, selon Christina Colclough.

Dans la phase d’analyse des données, les syndicats doivent travailler activement à combler les lacunes réglementaires qui ont été identifiées, à savoir, comme le soulignait le travail de Sandra Wachter (@SandraWachter5) et Brent Mittelstadt (@b_mittelstadt) de l’Oxford Internet Institute, la faiblesse du RGPD sur le traitement des données et notamment sur la question de l’inférence, c’est-à-dire la manière dont les données personnelles sont utilisées pour tirer des conclusions sur les gens. Dans leur article, les deux chercheurs expliquent que le RGPD ne prévoit pas de protection suffisante sur les déductions sensibles, ni de modalités de recours pour contester les déductions ou décisions importantes qui en découlent. Les droits des personnes à connaître, rectifier, effacer, s’opposer ou porter des traitements inférés sont considérablement restreints dans ce cadre. Pour le dire plus simplement, il est facile de pouvoir connaître par exemple son adresse et de la faire rectifier ou effacer, mais si l’entreprise qui la collecte infère depuis cette adresse votre niveau de revenu, il est bien plus difficile d’être au courant de cette inférence et de la rectifier ou de la faire effacer – c’est ce que nous appelions, dans le cadre du programme NosSystèmes, l’enjeu de symétrie de la parité des traitements. Dans leur article, les deux auteurs défendent un très intéressant « droit à des conclusions raisonnables » pour écarter les traitements prédictifs d’autant plus qu’ils sont utilisés dans des décisions importantes. Un droit qui nécessiterait que le responsable du traitement justifie le caractère raisonnable et proportionné du traitement, notamment en montrant que les inférences sont statistiquement fiables et en permettant aux usagers de contester les conclusions déraisonnables ou non fiables. Un moyen qui pourrait permettre par exemple de contester l’utilisation des systèmes de reconnaissance de l’émotion, particulièrement faillibles, pour surveiller les employés ou décider d’embauche. Pour Christina Colclough, les travailleurs devraient avoir un meilleur accès et une meilleure information de ces inférences, ainsi que des droits pour les rectifier, les bloquer et les supprimer.

Aujourd’hui, ces inférences peuvent être utilisées pour déterminer les horaires de travail, les salaires, et, dans les ressources humaines, pour embaucher, promouvoir et licencier. Elles sont aussi utilisées pour prédire des comportements ou inférer des sentiments. Pour les travailleurs et syndicats, il est nécessaire d’avoir accès à ces calculs. Sans accès ni contrôle, il y aura peu de garantie et contrepoids sur leur utilisation, les discriminations et les préjugés que ces données vont créer et amplifier.

La question du stockage des données est également importante et ce d’autant que ce stockage sur des serveurs peut être déplacé dans des espaces géographiques et légaux où la protection de la vie privée est plus laxiste. L’important ici est notamment de pouvoir contrôler l’utilisation de ces données par des tiers, notamment leur revente. Si la récente décision de la Cour européenne de justice d’invalider le bouclier de protection de la vie privée entre l’Union européenne et les États-Unis peut être considérée comme une gifle pour les partisans de la circulation illimitée des données, la demande de sa révision est toujours sur la table des négociations entre l’Europe et les États-Unis. Si cette révision se concrétisait, l’accès et le contrôle des données par les travailleurs pourraient être considérablement abaissés.

Les syndicats doivent également être vigilants dans la phase de débarquement, c’est-à-dire sur la question de la suppression des données, de leur vente et transferts à des tiers, notamment pour être informé des entreprises qui disposent d’accès, afin de pouvoir s’y opposer, voire les bloquer. Ils devraient également être attentifs à ce que les données et inférences soient supprimées dès que leurs objectifs sont atteints, conformément au principe de minimisation des données reconnu dans le RGPD.

Cogouverner les systèmes : l’équité ne s’évalue pas unilatéralement !

Pour Christina Colclough, l’enjeu de ces questions nécessite d’envisager l’obligation à une co-gouvernance des systèmes, une « algovernance » comme elle l’appelle aussi. « De nombreux délégués syndicaux ne connaissent pas les systèmes mis en place dans leurs entreprises. Mais la direction aussi ignore souvent les détails de ces systèmes et ne comprend pas les risques et les défis qu’ils présentent, ni leur potentiel. Pour répondre à aux directives éthiques sur l’Intelligence artificielle de confiance émise récemment par l’Union européenne, qui prône que l’humain soit aux commandes des systèmes, les syndicats doivent avoir un siège à la table de la gouvernance des systèmes ».

Les délégués syndicaux doivent participer aux évaluations ex ante et, surtout, ex post des systèmes algorithmiques, afin de savoir si ces systèmes remplissent leurs objectifs, s’ils sont biaisés ou partiaux… La gouvernance des systèmes techniques nécessite de nouvelles structures de gouvernance et un renforcement du pouvoir des syndicats pour coconstruire et cogérer ces systèmes et en renforcer la transparence. « Sans ces changements, le risque d’effets négatifs des systèmes algorithmiques sur les droits des travailleurs et les droits de l’homme est tout simplement trop important ». « Aucun employeur ne peut évaluer l’équité unilatéralement – ce qui est juste pour l’employeur n’est pas nécessairement juste pour les travailleurs », rappelle avec beaucoup de bon sens Christina Colclough.

Dans un entretien pour Five Media, l’ancienne syndicaliste rappelle que « le fait de négliger les travailleurs dans la législation sur la protection des données est une expression de la valeur que ces données ont pour les entreprises ». Or, « si nous n’observons pas attentivement les algorithmes, ils s’intensifient et peuvent devenir extrêmement biaisés ». L’idéal, explique-t-elle, serait que ce soient les syndicats qui détiennent les données sur le travail des employés, qu’ils pourraient ensuite permettre aux employeurs de consulter (mais pas nécessairement de conserver) à des conditions convenues. Pour elle, l’enjeu n’est pas une question technique, mais bien une question de contrôle. Les travailleurs doivent s’interroger sur ce qu’on leur demande d’accepter comme nouvelle norme de suivi sur le lieu de travail. « La numérisation est là, donc les données seront créées », rappelle-t-elle. « Mais qui devrait avoir le contrôle et l’accès à ces données ? Pourquoi ce contrôle et cet accès devraient-ils être exclusivement réservés aux employeurs ? »

En ne construisant pas avec les salariés les conditions numériques qu’imposent les outils de travail, le risque est surtout de voir se démultiplier les injustices, les contestations et les recours.

Hubert Guillaud

Signalons que sur son blog, Christina Colclough évoque un intéressant questionnaire mis au point le syndicat britannique Prospect, afin d’aider les syndicats à faire eux-mêmes attention aux données qu’ils mobilisent de plus en plus.

MAJ : L’Electronic Frontier Foundation (@eff) s’intéresse également à la surveillance des travailleurs et au développement de ce qu’ils baptisent le « bossware », « le matériel des patrons », qui vise à aider les employés mais met en danger leur vie privée et leurs données (en capturant par exemple des informations médicales, bancaires, des mots de passe…), par une surveillance de chaque instant, souvent invisible à ceux qu’ils traquent, conçus pour lire leurs activités « à leur insu et sans leur consentement », disproportionné à l’objectif. L’EFF milite pour une collecte proportionnée, une collecte réduite, une information claire sur la collecte effectuée et un droit de recours collectif et individuel pour les employés.

MAJ : Shipt, une plateforme de livraison liée au géant de la grande distribution américaine Target, subit une fronde de ses employés suite à une modification algorithmique qui décide désormais des horaires et rémunérations des employés – et ce, dans la plus grande opacité. Ils constatent que leurs horaires sont devenus très compliqués et que leurs salaires ont diminué. « Ceux qui sont soumis à ces systèmes sont généralement ignorés dans les conversations sur la gouvernance et la réglementation algorithmiques. Et lorsqu’ils sont inclus, c’est souvent à titre symbolique ou stéréotypé, et non en tant que personne dont l’expertise est considérée comme centrale dans la prise de décision en matière d’IA », souligne Meredith Whittacker, cofondatrice de l’AI Now Institute, dans une tribune pour le Boston Globe. « Ces systèmes sont en grande partie produits par des entreprises privées et vendus à d’autres entreprises, gouvernements et institutions. Ils sont soumis aux incitations de ceux qui les créent et, quoi qu’ils fassent, ils sont conçus pour accroître les profits, l’efficacité et la croissance de ceux qui les utilisent. Autrement dit, ce sont les outils des puissants, généralement appliqués par ceux qui ont du pouvoir sur ceux qui en ont moins. » Des outils de pouvoir. Or, souligne la chercheuse : « ceux qui disposent d’informations bien gardées sur le fonctionnement interne de ces systèmes sont aussi souvent mal placés pour prendre ce type de décisions ». « Le savoir-faire technique, que ce soit au sein du gouvernement ou de l’industrie technologique, ne peut se substituer à la compréhension du contexte et aux expériences vécues pour déterminer s’il est approprié d’appliquer des systèmes d’IA dans des domaines sociaux sensibles », et ce d’autant plus quand ces outils ne cessent de reproduire et d’amplifier les discriminations.

Quand les gens déterminent l’impact des systèmes, cela ne ressemble pas à un réunion d’un conseil d’administration, ni à une charte de grands principes, ni à une conférence d’experts qui pérorent sur le bienveillance de l’IA. Cela ressemble plutôt à des espaces de luttes sociales, à des mouvements sociaux, comme à la grève des salariés de Shipt, à des manifestations d’étudiants britanniques… Nous ne pouvons hélas pas savoir quand il est approprié d’utiliser des algorithmes pour prendre des décisions sur les autres, tant que les personnes impactées par ces décisions n’auront pas le pouvoir de répondre à cette question. Quoiqu’ils tentent d’en dire, les experts ne répondront pas à la place des gens, conclut avec à propos l’experte.

MAJ : Microsoft 365 (l’abonnement à l’offre online de Microsoft Office) vient d’introduire un « score de productivité », explique son concepteur dans une vidéo promotionnelle. Pour le chercheur et activiste autrichien, Wolfie Christl, l’outil introduit des métriques ésotériques pour mesurer l’activité numérique individuelles et collectives des salariés et offre un contrôle sans précédent tant aux organisations qu’à Microsoft, explique-t-il sur Twitter ! Parmi les annonces, les indicateurs permettront de mesurer le nombre de mails envoyés, l’activité passée à tchater, l’utilisation de mentions dans les mails… L’option sera activée par défaut dans l’offre et permettra de comparer les employés entre eux, les organisations entre elles… Outre les problématiques de consentement, d’ingérence dans la vie privée, de nouveau seuil dans la surveillance des employés, le coeur du problème, souligne Christl, repose bien sûr sur la définition très arbitraire de ces métriques et leurs impacts directs sur les individus et les collectifs. Microsoft propose un outil particulièrement intrusif et extensif des données et métadonnées, qui rappelle combien la datafication des lieux de travail progresse, comme le pointait récemment un rapport (.pdf) du Data Justice Project, des articles (le premier et le second) de Data & Society, un rapport de la Century Foundation comme un récent article de recherche de la chercheuse Angele Christin sur l’impact des données sur le contrôle organisationnel. Ce dernier article d’ailleurs décrit que l’utilisation des algorithmes au travail fonctionne selon 6 mécanismes : le dirigisme (en restreignant ou recommandant), l’évaluation (par l’enregistrement et la notation), la discipline (par le remplacement ou la recommandation). Pour la chercheuse, les systèmes facilitent un contrôle rationnel distinct des formes de contrôle techniques et bureaucratiques existant jusqu’alors. Elle pointe avec ses consoeurs le développement de professions dédiées à l’utilisation de ces outils et l’émergence de tactiques de résistance individuelle et collective qu’elles baptisent sous le nom d’algo-activisme.

MAJ : Face aux critiques, Microsoft rétropédale sur le score de productivité : sans y renoncer, la firme annonce qu’il ne sera pas possible d’avoir une vue sur les statistiques d’un employé en particulier.

À lire aussi sur internetactu.net