Le dernier livre du chercheur Tarleton Gillespie (@TarletonG, blog), Custodians of the internet (Les gardiens de l’internet, 2018, Yale University Press, non traduit) livre une plongée très documentée dans le monde de la modération des plateformes des grands réseaux sociaux… et offre bien des prises pour comprendre les enjeux ce débat récurrent sur les règles et le droit qui doivent présider nos échanges en ligne.

La modération – cette invitation à la pondération, à trouver les bonnes règles d’échanges et de débats en ligne – désigne souvent cette capacité à gérer les communautés d’utilisateurs, le public (« l’ensemble de ceux qui sont affectés par les conséquences indirectes de transactions qu’il est jugé nécessaire de veiller systématiquement à ces conséquences », disait John Dewey dans Le public et ses problèmes) est une préoccupation centrale depuis le début du web. Des premiers forums aux listes de discussions sur Usenet, les communautés en ligne ont toujours eu besoin qu’on prenne soin d’elles, que ce soit en développant des formes de gouvernance pour les protéger, des procédures claires et démocratiques d’usages, ou en trouvant les modalités pour traiter les préjudices et infractions. Les plateformes n’échappent pas à ces règles ni à ces débats.

La modération est le coeur du travail des plateformes

Pourtant, les grandes plateformes comme les médias sociaux se présentent foncièrement comme « ouvertes, impartiales et non interventionnistes ». Neutres et universelles, elles fondent leur légitimité sur leur capacité à relier les gens et s’affirment comme les parangons de la liberté d’expression. Ce n’est pourtant pas le cas explique pas-à-pas le chercheur. Au contraire, la modération est le coeur d’un travail invisibilisé. La modération nécessite beaucoup de travail et de ressources pour traiter les plaintes, analyser les contenus, les évaluer, imposer les décisions, répondre aux contestations… « La modération façonne les plateformes » : elle est au coeur de leur proposition de valeur et au fondement de l’essentiel du travail des équipes qui les conçoivent. Les règles et procédures s’imbriquent dans la technique et dans leur architecture institutionnelle. « Les plateformes de médias sociaux se présentent comme des services universels adaptés à tout le monde », alors que ce n’est pas le cas. La modération se cache, mais elle se cache plus à certains utilisateurs qu’à d’autres.

Le problème est que la modération est difficile, car elle consomme beaucoup de ressources, car elle nécessite de faire des distinctions sur des contenus difficiles à catégoriser, parce que les normes ne sont pas toujours faciles à définir et parce qu’un échec peut engendrer suffisamment d’indignation pour occulter les millions de petites victoires qu’elle réalise chaque seconde. La modération est toujours imparfaite par nature et est toujours remise en cause à chaque appréciation, explique Tarleton Gillespie. Elle ne vise pas seulement à « déterminer ce qui est inacceptable, mais à équilibrer l’infraction à son importance, à réconcilier des systèmes de valeurs concurrents, à créer une médiation difficile parce qu’elle interroge l’intention, à délimiter des frontières du goût ou du discours… et le tout depuis des inégalités structurelles de genre, de sexe, de race, de classe, de pouvoir, à étendre des obligations aux frontières nationales, culturelles, linguistiques… et à faire tout cela autour des questions les plus brûlantes du jour… » Toute règle bien intentionnée peut y être contournée. Les lignes claires ne le sont jamais : à partir de quand une image du corps humain passe-t-elle d’une image artistique, éducative ou salace ?

Image : Tarleton Gillespie présentant son ouvrage lors de la conférence Civil Servant Summit, via OpenTranscript.

La modération que proposent les grandes plateformes repose sur une vision très américaine de la liberté d’expression et impacte des utilisateurs ayant des valeurs et des normes culturelles très différentes. Au final, les stratégies de modération reposent sur des formes de compromis toujours inadaptées aux utilisateurs ayant des valeurs et des attentes très différentes.

La question de la modération et de la liberté d’expression que ces plateformes encadrent, délimitent et déterminent nécessite d’observer l’appareil de modération qu’elles ont développé. Pour Gillespie, la modération est le produit des plateformes de médias sociaux, et leur réglage détermine leur modèle économique.

Au début de l’internet, rappelle Gillespie, la modération a été assumée par les utilisateurs les plus actifs, producteurs de contenus, administrateurs de forums. Ils ont vite compris qu’une communauté nécessitait d’en prendre soin, même s’ils avaient des utilisateurs relativement homogènes qui partageaient le même souci de protection des forums dont ils participaient. Avec la massification des utilisateurs et leur diversification, le travail de modération est devenu plus compliqué, plus important… ce n’était plus un travail commun, mais un service qu’on demandait à la plateforme et à ses administrateurs.

Pour Gillespie, la modération n’est pas un aspect accessoire du travail que réalisent les plateformes. Elles ne sont pas des plateformes sans modération, sans règles de distribution des interactions et des contenus. Par nature, elles transmettent ce que nous publions pour constituer ce que nous voyons. Les plateformes choisissent en permanence et en continu. Tout est conçu et orchestré. Twitter par exemple réunit des individus indépendants avec leurs audiences, coordonne leurs interactions selon les règles que la plateforme met en place et prélève ses honoraires (sa rente) sous forme de données qu’elle monétise.

Des origines de la modération

Gillespie rappelle que dès l’origine, les modérateurs ont adopté une posture non interventionniste. La nétiquette ou les règles de communauté de Geocities invitaient les utilisateurs à être leurs propres modérateurs. Mais la répétition incessante de ces règles et valeurs montrait aussi leurs limites intrinsèques… Autour des années 2000, les quelques affaires de poursuites juridiques sur des sujets de diffamation ou de diffusion de contenus illicites ne s’en prenaient pas tant à l’utilisateur qu’au fournisseur de service ou de contenu. Pourtant, pointe très justement Gillespie, les discours de haine, l’homophobie, les violences à l’égard des femmes… s’implantaient déjà très bien dans ces environnements qui proclamaient une utopie de la participation égalitaire, sans préjugés ni hiérarchie.

Peu à peu, les intermédiaires ont été encouragés à intervenir. La jurisprudence a fourni aux fournisseurs d’accès, aux moteurs de recherches, aux hébergeurs et éditeurs un cadre d’intervention, leur permettant d’intervenir selon les termes qu’ils choisiraient tout en se proclamant neutres pour éviter les obligations qu’ils préféraient ne pas respecter. Comme on le trouve encore dans nombre de CGU, les plateformes s’arrogent le droit de supprimer utilisateurs ou contenus, mais pas la responsabilité qui repose sur des infractions qui ne sont pas de leurs faits. Pour Gillespie, les politiques ont privilégié le droit des fournisseurs au détriment de l’intérêt du public. Le droit européen illustre bien cela : les plateformes ne sont pas responsables de ce que les utilisateurs affichent ou partagent, tant qu’ils n’ont aucune connaissance réelle du caractère illégal ou illicite des contenus et doivent se soumettre aux injonctions de justice voire de police. D’un autre côté, les plateformes ont des modèles commerciaux qui dépendent de la publicité depuis les données générées par les utilisateurs… ce qui les incite à faire la chasse aux contenus « troublants » (enfin pas tous, certains plus que d’autres assurément). La surveillance des contenus a été intégrée comme un moyen de faire la promotion de son image publique pour attirer des utilisateurs et pour protéger ses revenus publicitaires.

Les plateformes de médias sociaux sont des intermédiaires : « elles servent d’intermédiaires entre des utilisateurs qui parlent et ceux qui pourraient vouloir les entendre ». Pour Gillespie, nous sommes là dans un espace qui se situe entre d’un côté les canaux de communication interpersonnels de confiance traditionnels, comme le téléphone ou la poste, qui doivent délivrer un contenu sans le surveiller à la manière d’un service et de l’autre des canaux de communication éditorialisés (sur le modèle de la presse, de la télé…) qui font une sélection pour nous. Avec les plateformes, nous avons affaire à une troisième catégorie, hybride des deux précédentes, qui entretient la confusion entre fiabilité et éditorialisation. En basculant à une éditorialisation algorithmique plutôt que seulement antéchronologique (à la manière des blogs ou le dernier billet vient en tête), les plateformes sont passées « d’une fourniture de contenu pour la personne qui publie à la fourniture d’un service pour les personnes qui accèdent à ces contenus ». La promesse d’impartialité des plateformes est à double sens : elles se présentent comme impartiales en prétendant ne pas intervenir et elles se veulent impartiales dans leur manière d’intervenir.

L’octroi d’un monopole à une compagnie de téléphone s’est accompagné d’obligations : comme celle de servir tous les utilisateurs. L’octroi d’une licence de radiodiffusion également avec des obligations sur les programmes. Les plateformes, elles, ont le droit sans la responsabilité. Et cette ambivalence hante les limites de la modération, insiste Gillespie. Sur les plateformes, la responsabilité incombe à l’utilisateur, comme le montrent les conditions générales d’utilisation qui sont le plus souvent des listes d’interdictions et de limites.

Comment définir ce qui est interdit ?

Gillespie interroge rapidement le sens des interdictions et limites. Par exemple, souligne-t-il avec beaucoup d’à-propos, l’interdiction des représentations de la violence est toujours jugée comme étant un moyen de décourager la violence elle-même, alors que ces représentations servent aussi de moyens pour les dénoncer.

« Le harcèlement n’est pas une aberration, mais une condition des médias sociaux ». Toutes les plateformes interdisent les discours de haine dans leurs CGU, qui sont assez semblables d’une plateforme l’autre parce que malgré leurs différences, « les plateformes sont en concurrence sur les mêmes positions ». Elles réagissent de manière similaire, car partagent les mêmes positions et tactiques. Reste que ces règles se redéfinissent constamment, preuve que, contrairement aux discours tenus, elles sont poreuses aux pressions extérieures. Elles délimitent par transformation successive un cercle de prohibition et de justification qui s’auto-renforce. Reste qu’il y a de réelles différences entre les règles dont ces entreprises se dotent et les décisions qu’elles finissent par prendre. Le gros problème, c’est que les catégories prohibées, parce qu’elles reposent toujours sur une appréciation, comme le sexuellement explicite, le vulgaire ou l’obscène, la haine… ne ferment pas la contestation, mais l’attisent !

La modération n’est pas un problème de taille, sur les plateformes géantes, c’est un problème différent. Pour les plateformes mondiales, la modération est devenue industrielle et cette industrie est bien loin de l’artisanat des BBS. Pour se faire, les plateformes ont toutes recours à des outils de détection automatique. Mais si ces techniques promettent d’éviter les biais humains sous des règles précises, elles introduisent par nature leurs propres biais. Alors que le public s’attend à ce que les plateformes modèrent de manière juste et cohérente, cette cohérence est introuvable. « Il n’y a pas de choix qui ne soit pas politique pour quelqu’un ». « Toute modération, surtout lorsque le processus est opaque, reste sujette à interprétation et à critique » et ce d’autant quand la révision éditoriale est liée à l’impératif de protéger non seulement les utilisateurs, mais également une marque. Pour les plateformes, le défi est de savoir comment mettre en oeuvre un tel processus de modération à si grande échelle.

La modération, une imbrication de techniques

La modération repose sur une imbrication de techniques. Il y a d’abord le signalement par d’autres utilisateurs. Ce signalement fait penser que les plateformes écoutent leurs usagers. En réalité, explique Gillespie : « cela permet aux plateformes de conserver le pouvoir de modérer à leur guise, tout en leur permettant de faire croire que c’est à la demande des utilisateurs, puisque le suivi d’un signalement est tout entier à la discrétion de la plateforme ». Pour Gillespie, le problème de cette « auto-modération » repose sur l’absence d’homogénéité des utilisateurs, qui ont des valeurs, des croyances, des cultures différentes… Bien souvent, ces signalements ne proposent pas d’espace d’expression pour en expliciter la raison et quand c’est le cas, les catégories proposées sont relativement étroites. On ne peut pas voir qui ou combien de personnes signalent un contenu et il est impossible de se raviser. Ces centaines de milliers de signalements sont mis en file d’attente pour être traités ensuite par des machines ou des humains. Certaines catégories de signalement (quand elles existent) sont prioritaires (notamment les contenus sexuels impliquant les mineurs, le terrorisme, etc.), soulignant par là qu’il y a une hiérarchie invisible des modérations.

La plupart des plateformes offrent peu d’explications sur ce qu’il se passe une fois qu’un contenu a été signalé. La manière dont il est réceptionné, trié, agrégé, traité et résolu demeure parfaitement opaque. Autre problème bien sûr, alors que ces plateformes ne cessent de nous parler de communautés, le signalement demeure un mécanisme fondamentalement individualisé. Même si le signalement est souvent instrumentalisé de manière coordonnée par des groupes pour atteindre des objectifs sociaux et politiques (et donc qu’il peut-être utilisé de façon abusive), le mécanisme ne montre pas aux utilisateurs qui sont ceux qui utilisent ces modalités de signalement.

La détection automatisée en ses limites

À ces systèmes de signalement s’ajoutent des systèmes de détections automatisés. Ici, insiste Gillespie, la détection automatisée est diversement efficace selon les objets à détecter sur lesquels elle a été entraînée. Si certains systèmes d’analyses d’images sont très efficaces, leurs limites est de rester très spécifiques, très spécialisés. Ces techniques permettent surtout de résoudre le problème de l’échelle de la modération, c’est-à-dire de passer à une échelle industrielle, d’autant plus nécessaire quand on parle de millions de contenus. Ce que permet également cette automatisation c’est de « détacher le jugement humain » de la tâche à réaliser. Le grand problème c’est qu’ils sont diversement efficaces selon les objets qu’ils ont à traiter. S’ils sont relativement fiables pour la détection d’image, ils ont plus de mal à discerner les méandres du sens des textes et notamment à identifier un contenu ou un comportement offensant. Leurs limites fondamentales reposent sur le manque de contexte qui limite leur compréhension, les tactiques évasives des utilisateurs et la nature fluide de l’infraction. Dans de nombreux cas, la détection automatique produit trop de faux positifs. D’où le fait que les plateformes associent leurs techniques de détection automatique à des formes de supervisions éditoriales humaines, lentes et coûteuses.

Bien sûr des techniques basiques existent, comme le filtrage de certains termes répertoriés sur des listes noires, mais les résultats de ces techniques simples de recherche de correspondances ne sont pas très probants. En 2009, YouTube a ainsi utilisé un filtre à blasphèmes baptisé « Filter W*rds ». Des automates de modération ont aussi été utilisés sur Reddit, Slack ou Instagram… Mais la censure a été trop forte. Ces outils rudimentaires ont d’autres défauts : ils ne savent pas identifier un terme qui n’a pas déjà été identifié. Ces listes noires finissent par être facilement contournées par des techniques d’obfuscation élémentaires comme d’introduire des fautes d’orthographe ou des caractères étranges.

Gillespie souligne que la pornographie infantile est à peu près le seul cas où les plateformes ont des obligations légales strictes, et où elles ne subissent quasiment aucune controverse politique. D’où le fait qu’elle ait pu s’automatiser plus facilement, notamment via un outil développé dès 2009 par Microsoft, PhotoDNA, proposé gratuitement aux grands fournisseurs de contenus en ligne. L’outil est relié à une base de données d’images pédopornographiques gérée par le Centre national pour les enfants disparus et exploités (NCMEC)… Les nouveaux signalements d’images par les plateformes sont transmis au NCMEC pour évaluation par des humains qui intègrent ou non ces images dans leur base.

Fin 2016, Microsoft, YouTube, Facebook et Twitter se sont associés pour développer et partager une base de données de contenus terroristes identifiés afin de faciliter leurs pratiques de modération automatisée. Mais ces techniques sont surtout fiables pour identifier du contenu déjà signalé pas pour identifier de nouveaux contenus. Le rêve de la modération automatisé est pourtant de pouvoir identifier de nouveaux contenus sans avoir besoin de modérateurs humains. Les filtres automatiques utilisés pour détecter des images liés à la nudité par exemple sont à la recherche de zones de couleurs proches de celles de la peau… On comprend vite qu’elles peuvent être trompées et que repérer une image avec de la peau nue ne signifie pas qu’elles sont inacceptables. Beaucoup d’outils associent aussi le paratexte d’une image (commentaires, métadonnées, #hastags…). Pour la recherche de contenus haineux, les logiciels mettent l’accent sur des mots spécifiques ou sur la proximité entre certains mots. Certains utilisent également des informations sur les comptes émetteurs et les informations de profils ou leurs comportements passés.

Les efforts et moyens investis dans le domaine de la modération automatisée sont colossaux, tant l’enjeu est important. Le meilleur algorithme de détection de la nudité affiche un score de 94 % (et un taux de faux positif de 5 %) : c’est-à-dire qu’il parvient à identifier presque toutes les images de nus qui lui sont soumises tout en identifiant à tort une image sans nus sur 20. En 2015, Twitter a acheté Madbits une entreprise de détection d’images à risque (porn, violence, gore…) avec un taux de précision de 99 % et un taux de faux positif de 7 %. Ces outils ont fait des progrès indéniables… Mais quand il s’agit de culture, d’expression, de liberté… quelques erreurs, quelques faux positifs peuvent vite devenir un réel problème, selon que ces erreurs sont systémiques ou anecdotiques. Le problème est que dans nombre de cas qui n’ont cessé de déchainer les chroniques, les problèmes étaient graves, à l’image de visages de noirs qualifiés de gorilles… qu’ils sont souvent systémiques et peinent à être corrigés (comme la pruderie de FB, ses biais de genre ou son incapacité à distinguer certaines oeuvres d’art). Pour Gillespie, l’efficacité vient questionner l’équité et la représentation. Ces outils ont pour vocation d’identifier la pornographie, mais ils identifient surtout la nudité. Le succès d’un outil d’apprentissage automatique dépend de la façon dont il apprend à reproduire les distinctions qu’on lui apprend. C’est une approche par nature conservatrice. Certes, les plateformes accumulent toujours plus de données pour permettre à leurs outils d’apprendre, mais plus de données ne signifie pas nécessairement des données plus variées. À terme, le risque est surtout de voir se développer des angles morts et de renforcer les priorités existantes. Le machine learning est toujours appelé à remplacer l’évaluation humaine, mais il ne peut être développé que sur la base d’une évaluation humaine antérieure. Pour Gillespie, c’est là une course sans fin, où, à mesure que les outils progresseront, progresseront aussi les demandes de modération qui nécessiteront donc toujours une surveillance et un jugement humain. « Ces outils sont efficaces pour gérer des cas simples, identifier les instances et les modèles pour une enquête plus approfondie et noter les utilisateurs sur leurs comportements antérieurs ».

Les éboueurs du web : le défi de l’interprétation

Gillespie s’intéresse bien sûr à la principale solution de modération : la modération humaine.

En 2017, le Guardian a publié un ensemble de documents ayant fuité de Facebook, les Facebook files. On y trouvait notamment un guide pour les modérateurs humains. Car si une machine a des difficultés à apprécier un contenu, c’est tout autant le cas d’un humain. Un opérateur qui scanne et juge un contenu en quelques secondes a besoin d’instructions pour juger. En quoi consiste exactement une « violence sexuelle » ? Qu’est-ce qu’un discours de haine ? Dans ces documents, ont découvre via les exemples qu’un texte tel que « Pour claquer le cou d’une salope, veillez à appliquer toute votre pression bien au milieu de sa gorge » est une publication que Facebook considère comme acceptable. Pour Gillespie, ces documents regorgent d’exemples de ce type… qui montrent la difficulté à tracer des lignes claires dans les contenus répréhensibles. « Quand la modération passe des principes aux détails, force est de constater que plus rien ne paraît noble ». Les contenus et les comportements que les nettoyeurs, ces éboueurs du net, doivent prendre en compte sont certes d’une laideur sans nom, mais aussi variés, souvent ambigus pour échapper justement à une interprétation claire. Il n’y a pas de moyens simples pour faire ces jugements. Ils peuvent parfois être difficiles à défendre, certes, mais quelqu’un doit finir par les prendre.

Image : exemple d’explications données par FB à ses modérateurs, révélée par le Guardian qui explique quand les appels à la violence devraient être interdit (en rouge) et quand ils sont autorisés (en vert). Ainsi, il est interdit de dire « Que quelqu’un bute sur Trump ! », mais autorisé de dire « Allons tabasser des gros lards ! ». Le journal britannique avait également proposé un petit jeu en ligne pour permettre à chacun d’éprouver les règles de modération d’images sur Facebook.

Au final, cette modération humaine est complexe et difficile. Son instanciation pose plus de questions qu’elle n’en résout. Quelles formes de discours sont interdites et quelles formes de discours ne le sont pas ? Pour qui le discours de haine est-il interdit – pour qui ne l’est-il pas ? Le négationnisme par exemple est autorisé, mais géobloquée pour certains pays qui l’interdisent. Quelles formes de discours passent à travers les fourches caudines des systèmes de modération ?

La plupart des plateformes ont une petite équipe qui définit la stratégie de modération, en ordonne les techniques, l’infléchit ou la durcit, la supervise, définit les règles, supervise leur application, statue sur des cas difficiles ou chauds, révise les politiques… et délèguent à des prestataires extérieurs la réalisation des prestations de modérations. Ces équipes bien souvent ne sont pas joignables. Ce sont un petit nombre de gens qui imposent des règles qui affectent des millions d’utilisateurs. Les entreprises de sous-traitance de la modération sont nombreuses. FB sous-traite sa modération à plusieurs milliers de personnes répartis sur plusieurs continents. Lors d’une annonce récente, Zuckerberg a promis d’ajouter 3000 modérateurs aux 4500 qu’il employait déjà… Mais parlait-il seulement de ceux directement embauchés par FB ou de tous ceux mobilisés via des sous-traitants extérieurs ?

Ce travail des éboueurs du net est éloigné, distancié, au propre comme au figuré, du reste du travail de l’entreprise. Un modérateur de contenu travaillant pour Google estimait évaluer 15000 images par jour ! Comme l’explique Sarah Roberts (@ubiquity75), dans un livre à paraître Derrière l’écran : la modération de contenu dans l’ombre des médias sociaux, les responsables de plateformes souhaitent que le processus de modération demeure opaque. La justification de cette opacité repose sur une vieille crainte de la technique : faire que les utilisateurs ne connaissent pas les règles afin qu’ils ne puissent pas les contourner. Mais elle vise aussi à minimiser l’impression de contrôle. « L’opacité cache non seulement le fait de choisir, mais aussi les valeurs qui motivent cette sélection ». Or, rappelle Gillespie, ne nous y leurrons pas : les égouts du web sont évalués pour leur valeur potentielle en tant que marchandise. Le choix se fait selon une balance qui évalue son potentiel de viralité d’un côté et sa dangerosité de l’autre.

Gillespie évoque d’autres briques de ces dispositifs de modérations, comme les community managers, qui ne servent pas tant des objectifs de modération, que de fusibles pour gérer des conflits, faire remonter des problèmes techniques ou des informations… et surtout sont là pour valoriser et faire accepter les politiques des entreprises.

Les utilisateurs, piètres régulateurs dans la division du travail de la modération

Enfin, il y a bien sûr le rôle des utilisateurs eux-mêmes, à qui on demande de plus en plus de travail de police. Les utilisateurs sont transformés régulateurs bénévoles. Cette force de travail est invitée bien sûr à signaler du contenu… Reste que seule une minorité d’entre eux participe, notamment les plus motivés, ce qui pose des questions sur la nature de cette motivation. Les biais des signalements faits par les utilisateurs sont multiples : outre qu’ils peuvent masquer des finalités particulières, l’utilisateur trouve toujours que son propre contenu semble toujours plus acceptable que celui des autres ! Dans une analyse des signalements de harcèlements faits sur Twitter, une majorité des signalements répertoriée s’est révélée fausse, inexacte ou délibérée. L’autre moitié des signalements provenaient majoritairement de gens préoccupés par le sort de victimes que des signalements émis par les victimes elles-mêmes. Le signalement semble bien souvent le plus perméable à beaucoup de relativisme. Si certaines plateformes accordent des pouvoirs de signalement spécifiques à des organisations avec lesquels elles collaborent (association de protection de l’enfance notamment, service de police, organisation de santé, médias spécialisés dans la vérification des faits…), le problème de cette délégation et de son financement reste entier. Au final, le signalement n’est pas plus fiable que la modération automatique ou que la modération humaine. Toutes introduisent leurs propres biais qui se cumulent plus qu’ils ne se résolvent les uns les autres.

Gillespie nous montre combien vaste et faillible est le chantier de la modération des contenus. Une division ou plutôt une coordination du travail y apparaît néanmoins. La qualification des contenus repose plutôt sur les producteurs de contenus qui sont le mieux à même de l’apprécier. Le signalement des abus relève plutôt du travail des victimes. Les litiges spécifiques remontent des endroits où ils ont lieu, selon leurs particularités culturelles. Et le règlement des affaires les plus difficiles incombe à la direction de la société, qui maintient la cohérence globale selon les modalités de modération spécifiques et locales. La modération consiste à transformer un jugement humain de valeur en instructions modulaires pour accélérer le travail de chacun des opérateurs chargés de cette longue chaîne de surveillance. Cette chaîne complexe rend la compréhension des décisions difficiles et rend l’amélioration du processus difficile également. Qu’est-ce qui explique une plus grande sévérité d’un coup sur certains types de contenus ? Le fait que plus de contenus de ce type aient été postés ? Le fait que les utilisateurs les aient plus signalés ? Le fait que les équipes de modération d’un sous-traitant aient changé ? Le fait d’un contenu viral très médiatisé qui a modifié l’appréciation des utilisateurs ? Le système d’évaluation est en constante évolution… alors que « les échelles d’interventions sont irréconciliables » estime Gillespie. Les interventions prises à un niveau se heurteront toujours à l’expérience vécue à un autre niveau… Les tensions sont difficilement solubles, pointe le chercheur. Que ce soient celles entre l’objectif des plateformes pour des règles simples, claires et universelles et l’hétérogénéité des valeurs et des croyances des utilisateurs.

La révolte : cette force qui fait bouger les règles

Les questions de modérations ne sont pas simples : on glisse vite d’une condamnation morale à une condamnation politique. Gillespie évoque l’exemple des controverses sur l’allaitement. « Les conflits autour de ce sujet sont l’un des plus anciens différends sur les politiques des plateformes et l’un des plus persistants ». C’est à partir de 2007 que naissent les différends sur les images de femmes en train d’allaiter, quand FB commence à les supprimer et à suspendre des comptes d’utilisatrices qui ont posté ces images. Ces suspensions sont parfois accompagnées d’un message assez vague qui invite à prendre contact avec FB sans qu’il soit facile d’en trouver la modalité. Beaucoup n’indiquent même pas quelle image est en cause. Le problème est que la norme que semble appliquer FB apparaît largement incompréhensible quand bien souvent le sein d’une mère est caché derrière la tête d’un enfant. Or, les victimes de cette censure se retrouvent, se contactent et articulent une critique des politiques de modération de Facebook (« Ce que vous permettez, vous le promouvez », ou, comme le disait très bien la cofondatrice de Flickr, Caterina Fake : « ce que vous tolérez indique ce que vous êtes vraiment »). Pour les femmes victimes de cette censure, le soin maternel est sexualisé par la politique de classement des images de FB dans un amalgame intolérable. Confronté à des critiques grandissantes, FB a essayé diverses tactiques, notamment en tentant de rester ferme sur les règles énoncées, en tentant d’expliquer qu’il ne condamnait pas l’allaitement, mais la nudité qui l’accompagnait. La simplicité discursive de la règle (« pas de tétons ! ») rendait encore plus facile la critique quand nombre de ces photos n’en montraient pas. C’est bien la révolte des usagers qui va conduire FB a revoir sa politique, montrant que celle-ci ne cesse d’évoluer dans le temps, selon le contexte, l’actualité… et pointant par là même combien la modération, même fermée derrière l’opacité des plateformes, demeure une discussion publique. Il n’empêche qu’en 2012, la question de l’allaitement redevient polémique, avec la campagne Free the Nipple !, une campagne féministe contre l’interdiction des images de poitrines féminines soulignant combien celle-ci pénalise la visibilité des femmes. Là encore, la campagne médiatique fera bouger un peu les lignes par une révision des CGU de FB qui s’ouvrira aux images partagées à des fins médicales ou liées à l’allaitement. En 2015, la campagne de Courtney Demone, un homme en court de transformation en femme, qui décide de publier chaque jour une photo de sa poitrine en pleine métamorphose pour savoir à partir de quand elle sera censurée et donc à partir de quand FB la considérera comme une femme et non plus comme un homme. Pour Gillespie, ce sont les règles de modération elles-mêmes qui, en établissant une ligne rouge, incitent les gens à les préciser. Comme il le dit très bien « la modération est un espace de contention politique ». Les décisions qui président aux politiques de modérations sont prises derrière des portes closes et se construisent derrière les infrastructures fermées des plateformes elles-mêmes, alors qu’elles adressent la société dans son ensemble. Du fait de leur importance croissante dans la vie des gens, les plateformes sociales sont devenues le terrain d’une lutte politique et culturelle. Les utilisateurs doivent se battre contre les mécanismes et la gouvernance des plateformes qu’ils ne sont pas conviés à discuter.

Image : Courtney Demone, via Mashable.

Cet exemple rappelle également que la modération est une négociation continue, jamais statique. Que les valeurs que les plateformes affichent contreviennent toujours à d’autres. Reste que cette révolte est longue et lente, tant les utilisateurs ont peu de prise sur les politiques unilatérales décidées par les plateformes. Il a fallu une décennie de désobéissance et de combats pour faire évoluer (timidement) FB sur la question de l’allaitement !

Des plateformes qui se veulent démocratiques sans processus démocratiques

Gillespie est intervenu récemment sur les changements de politiques de Tumblr, qui a longtemps été l’une des plateformes les plus permissives sur les contenus en terme de nu et de sexuellement explicite, jusqu’à ce que, pour convenir aux règles très strictes d’acceptation de l’Apple Store, Tumblr décide fin 2018 d’abaisser ses critères d’acceptation en la matière. Tumblr a lancé un système de détection automatique des contenus qui manquait visiblement d’entraînement et qui a censuré un peu tous les contenus. Pour le dire autrement, la modération n’est jamais uniquement morale, alors qu’elle se présente ainsi, mais toujours politique. Bloquer le terme #gay pour masquer la pornographie réduit un terme aux sens multiples (politiques, sociaux, émotionnels…) à son seul usage pornographique. Bloquer un tel terme invisibilise une communauté déjà trop souvent marginalisée d’innombrables autres manières.

Image : En 2015, le photographe Allemand Olli Waldhauer poste une photo sur Facebook, très partagée et très vite censurée par la plateforme du fait qu’on y trouve une femme aux seins nus alors que l’homme tient une pancarte avec un slogan raciste. Une illustration très parlante des limites de la censure automatisée, via Presse-Citron.

Gillespie pointe très bien le problème démocratique des plateformes. Les fournisseurs de services privés n’ont aucune obligation légale à permettre à leurs utilisateurs d’exprimer librement leur opinion et n’ont aucune obligation à édicter les règles de censure ou de restriction qu’ils désirent, quand bien même elles peuvent être fantaisistes ou injustes. Alors que pour un utilisateur, être suspendu ou banni peut avoir de nombreuses conséquences bien réelles, comme des impacts sur sa vie professionnelle, rendre difficile l’accès à d’autres services ou à son cercle de contacts.

La modération est partout rappelle enfin Gillespie. Discrète. Dans l’autocomplétion nombre de suggestions sont enlevées pour de bonnes comme pour de mauvaises raisons. L’application de traduction de Google refuse de traduire certains termes grossiers, quelle que soit la langue. L’iPhone d’Apple ne corrige pas automatiquement certains gros mots mal orthographiés voir parfois des mots sensibles, mais non obscènes comme avortement ! Des utilisatrices de TripAdvisor ont noté qu’il était impossible d’utiliser les mots féministes ou misogynes dans les commentaires. Des femmes ont critiqué Instagram pour avoir bloqué le mot #curvy (ronde) ainsi que le mot #goddess (déesse), mais pas le mot #god (dieu)… Sur Amazon, en 2009, des utilisateurs se sont rendu compte que des livres gay et lesbiens qui se vendaient pourtant bien n’étaient pas référencés sur les listes des meilleures ventes ! Sans compter les multiples histoires de censure nationales qui font disparaître certains services ou pages d’une pays l’autre (le moteur de recherche de Microsoft, Binge, n’envoie aucune réponse si vous faites une recherche « adulte » depuis la Chine et plusieurs pays du Moyen-Orient)… La censure est variable. Elle est éminemment politique.

Quand les plateformes refusent de servir les résultats et offrent une page blanche, les utilisateurs comprennent qu’il se passe quelque chose, qu’une intervention est rendue visible. Mais combien nous sont invisibles ?

Gillespie offre peu de pistes de réponses à la question de modération. En le lisant, on pourrait penser que l’avenir de la modération pourrait être personnalisé selon les profils, au risque d’enfermer plus avant l’utilisateur dans une bulle. L’utilisateur pourrait signifier ses préférences de modération selon différents degrés… une forme de « modération by design ». Mais, comme il le reconnaît, cette solution est plus que risquée. Si j’ai aimé mon église évangélique locale, l’algorithme pourrait décider d’adopter une modération stricte et masquer un nu, même artistique… Si mes données d’activités montrent que je n’aime pas les contenus violents, les plateformes doivent-elles s’adapter ? Le problème est que le nombre de critères à prendre en compte peut-être innombrable. En fait, le risque est plutôt que les algorithmes décident sans l’avis ou le consentement de l’utilisateur. Et que même cet avis ou ce consentement est limité aux innombrables micro-choix de la catégorisation des contenus, qui dépendent justement de catégorisation stricte plus que d’échelles de valeurs.

C’est sur la question algorithmique que se termine l’ouvrage du chercheur et notamment sur la question des fake news. Ces plateformes nous abandonnent sans objets stables, sans corpus commun à partager… Nous n’accédons qu’à un bout de l’ensemble, sans plus aucune version commune, sans plus aucune version de référence. Les plateformes ne sont pas plates. L’enjeu de la modération n’est pas seulement celui de la censure, c’est-à-dire l’invisibilisation de ce qui peut en être ôté, mais également la question de la mise en supervisibilité de certains éléments au détriment d’autres.

À la fin de son ouvrage, Gillespie dresse une rapide série d’améliorations possibles : plus de modérateurs humains. Des modérateurs humains plus experts. Des modérateurs humains plus diversifiés. Plus de transparence dans le processus. De meilleurs outils pour les utilisateurs pour bloquer les mauvais acteurs. De meilleurs logiciels de détection. Un engagement plus empathique avec les victimes. Faire que les plateformes travaillent plus avec des experts formés à la haine et à la violence sexuelle. Faire que les plateformes soient plus à l’écoute des pressions sociales et qu’elles aient des obligations légales plus fortes, pas seulement à modérer, mais aussi dans les contreparties liées aux défauts de modération dans lesquelles elles butent. Mais Gillespie reconnaît en même temps qu’il les fait que ces propositions sont insuffisantes.

La modération est opaque, mais ce n’est pas par accident. L’enjeu estime Gillespie consiste à rendre la modération plus visible, à expliquer pourquoi l’on voit ce que l’on voit. Nous avons besoin de lentilles collectives pour comprendre ce qu’il se passe dans ces espaces, alors que nombre de nos actions sont individualisées et individualisantes. On devrait pouvoir choisir le niveau de curation auquel nous souhaitons accéder, c’est-à-dire avoir la main sur les préférences. Le harcèlement et la haine profitent de la popularité, cette métrique toxique qui est au coeur des modèles économiques des plateformes… Pourtant, le chercheur finit par jeter toutes ces solutions. Aucune de ces suggestions ne réglera le problème. Il revient alors sur le phénomène des fake news qui a pollué la campagne présidentielle américaine en 2016, mais aussi bouleversé le Myanmar, le Kenya… Le terme de fake news a effacé les distinctions nécessaires entre propagande, surestimation, théories du complot, sensationnalisme, mensonges, désinformation, clickbait… Par leurs algorithmes, les plateformes ont facilité la circulation des mensonges, de la haine, favorisé la polarisation, le journalisme le plus populaire par rapport au plus substantiel. « Nous avons vendu la promesse de la culture de la participation, pas au plus offrant, ni aux marques établies ou aux acteurs institutionnels, mais à n’importe qui ».

Ces plateformes fonctionnent désormais à une échelle et depuis des attentes qui demandent, par nature, de plus en plus d’automatisation… Alors que les décisions que les plateformes devraient prendre, notamment en matière de modération, relèvent précisément de décisions que ne devrait pas être automatisées et qui ne peuvent peut-être pas l’être, car elles relèvent de jugement de valeur, de sens, d’importance et d’appréciation de l’offense. Les plateformes facilitent, amplifient, exacerbent le harcèlement coordonné, la propagande fondée sur la popularité, la polarisation, l’automatisation des relations… Les plateformes considèrent la modération comme un problème à résoudre de manière privée et réactive. Or, supprimer le contenu ne suffit plus. FB et Twitter n’ont jamais promis de délivrer des informations fiables. Reste qu’ils doivent désormais intervenir.

Même si la modération devient de plus en plus compliquée et coûteuse, les attentes des utilisateurs sont devenues non plus indulgentes, mais plus exigeantes. Pour y répondre, souligne Gillespie, il va falloir faire monter la participation des utilisateurs dans la gouvernance, dans la prise de décision, dans la conception collaborative et dans l’orchestration des valeurs collectives… Gillespie rappelle qu’en 2012, Facebook avait demandé à ses utilisateurs de voter sur une politique sur laquelle ils avaient un droit de véto si 30 % des utilisateurs qui participaient le décidaient. Le vote de 2012 n’a recueilli que 0,038 % de participation. Facebook a modifié sa politique et a fait disparaître l’idée de vote et de droit de véto des utilisateurs. Au lieu de considérer cela comme un échec, FB aurait pu décider d’améliorer le processus, de travailler à sa gouvernance avec les utilisateurs au-delà du vote. Les plateformes pourraient développer des processus pour solliciter les avis de ceux qui les utilisent… Mais n’est-ce pas déjà ce qu’elles font en regardant et mesurant en continu ce que font leurs utilisateurs, en les bombardant de test A/B ? Le problème, c’est que la démocratie, le vote, nécessite le débat, pas le silence. Que la délibération est une fonction qui ne se réduit pas à une instrumentalisation, bien au contraire. On innove bien plus pour servir la publicité et le ciblage que pour rendre les plateformes démocratiques… L’IA pourrait être utilisée pour comprendre ce que nous pensons de la pornographie et son rôle plutôt que pour l’identifier et la supprimer, pour nous aider à progresser plutôt que pour le contrôle. Plutôt que de nettoyer nos égouts, elle pourrait nous aider à grandir.

Les plateformes sont plus vastes, dispersées, sophistiquées, intriquées que les institutions qui pourraient les réguler. Qui a l’autorité suffisante pour obliger FB à devenir un « bon » FB ? C’est peut être à nous citoyens, d’être les gardiens des gardiens, d’être les surveillants des surveillants, assure Gillespie. Assurément, en tant qu’utilisateurs, nous devrions demander à accéder à des outils de gouvernance collective.

Que faire ?

Dans l’interminable débat sur la modération et la condamnation de la haine en ligne… on confond toujours plusieurs choses. La modération d’un côté et la condamnation de l’autre. L’enjeu n’est pas tant de donner plus de pouvoir de modération aux plateformes, mais qu’elles le fassent selon des règles claires, transparentes, discutées avec les utilisateurs eux-mêmes, le plus explicites possibles. Une plus grande possibilité de modération (de censure) offerte aux plateformes sociales nécessite aussi d’améliorer les contreparties offertes aux utilisateurs.

Confier plus de pouvoir de modération aux plateformes pose un double problème. Comme le souligne très bien la Quadrature du net, les acteurs privés n’ont pas la légitimité de traiter tous les signalements (c’est aussi le rôle de la police). De plus, il semble difficile de leur donner un blanc-seing sur le caractère licite d’un contenu, qui relève de l’autorité judiciaire. Deux acteurs particulièrement absents du plan d’action annoncé par le gouvernement. Déléguer les limites de la liberté d’expression aux plateformes et à leurs architectures techniques toxiques n’est pas une solution, même s’il est nécessaire de les confronter à leurs défaillances, notamment en terme de délais de réponses et d’accessibilité de solutions de signalements comme de plaintes.

Alors qu’on aurait pu attendre que dans la lutte des utilisateurs contre les plateformes, le gouvernement vienne en aide à ces derniers, c’est à l’inverse qu’on assiste : une alliance de la surveillance et du contrôle. Comme le pointe très bien l’infatigable Marc Rees, journaliste à l’excellent NextInpact, le projet de loi nous fait passer « d’une obligation de retrait du manifestement illicite à une obligation de retrait du possiblement illicite », un glissement qui ne sera pas sans conséquence sur la liberté d’expression. L’autre risque bien sûr est de condamner l’avenir en fermant toute alternative et en obligeant nombre d’acteurs à utiliser les outils mis en place par les grands acteurs du web, malgré leurs imperfections.

Reste la question de la condamnation. Le rapport « Ambition numérique » du CNNum (.pdf) de 2015, proposait l’idée d’un parquet spécialisé, numérique, permettant de recueillir les signalements et de les traiter plus efficacement, pas seulement d’ailleurs par la condamnation à des peines lourdes et parfois légitimes, mais aussi en faisant preuve de pédagogie par des notifications de rappelle à la loi provenant des autorités, des utilisateurs comme des plateformes. La prévention et la pédagogie semblent les grands oubliés des mesures annoncées.

Ce qui est sûr, c’est que les modalités pour améliorer les choses sont déjà là. L’arsenal législatif pour s’attaquer aux pires propos existe déjà. Le problème, depuis longtemps, c’est leur application, qui ne consiste pas tant à durcir les règles qu’à trouver les moyens de les appliquer. Et ce n’est pas en déléguant la police et la justice aux plateformes qu’on améliorera la démocratie et la qualité du débat public, surtout quand le problème n’est peut-être pas tant ce qui est interdit que les zones d’ombres et les frontières de ces interdictions.

Hubert Guillaud