La peur des fusillades dans les écoles aux États-Unis fait prendre à la société américaine des décisions absurdes, estime le journaliste Benjamin Herold (@BenjaminBHerold) dans une longue enquête pour Education Week (@educationweek).

Surveiller les réseaux sociaux pour prévenir les fusillades ?

Dans une des banlieues de Houston au Texas, le district scolaire de Brazosport a fait appel à l’entreprise Social Sentinel pour surveiller les réseaux sociaux à la recherche de menaces potentielles qui y seraient postés. Le système a délivré quelque 140 alertes en 8 mois, allant de tweets sur un film à l’annonce d’une intervention d’une entreprise de travaux publics dans une école élémentaire… « Telle est la nouvelle réalité des écoles américaines, qui construisent à la hâte une infrastructure de surveillance numérique massive, souvent sans se préoccuper de son efficacité ni de son impact sur les libertés civiles. »

De plus en plus d’entreprises comme Social Sentinel proposent de surveiller les publications sur les médias sociaux des élèves ou publiées à proximité des écoles. D’autres proposent de scanner les contenus partagés sur les réseaux scolaires jusqu’aux ordinateurs que les élèves utilisent… Pour Education Week, ces offres commerciales plongent les institutions scolaires dans une « zone éthique grise ». Pour l’avocate du programme pour la liberté et la sécurité du Centre Brennan pour la Justice (@BrennanCenter), Rachel Levinson-Waldman (@RachelBLevinson), ces solutions créent plus de nouveaux problèmes qu’ils n’en résolvent. Depuis la fusillade de Parkland en Floride, où le tueur, ancien élève de l’école, avait posté sur les réseaux sociaux des menaces avant de passer à l’acte, l’inquiétude a grimpé d’un cran. Des milliers d’écoles d’une trentaine d’États américains utilisent Social Sentinel. Le logiciel ne sert pas seulement à prévenir les fusillades, l’application sert également à surveiller les problèmes des élèves, notamment le harcèlement ou le risque de suicide. GeoListening, une autre entreprise de ce secteur, se positionne par exemple plus clairement sur l’identification des problèmes émotionnels des élèves (drogue, dépression, intimidation…) afin d’améliorer la réponse des autorités scolaires.

Après la fusillade de Columbine, il y a 20 ans, nombre d’écoles s’étaient lancées dans des programmes de vidéosurveillance qui n’ont pas vraiment tenu leurs promesses (voir Vidéosurveilance : où avons-nous failli ?). La tendance récente est plutôt à surveiller les réseaux pour tenter de détecter des possibles signaux d’alerte. Securly par exemple, est une entreprise née en 2013 pour proposer aux écoles des outils de filtrage de contenus. Puis l’entreprise a proposé des outils d’analyse sur les réseaux sociaux pour détecter les violences entre élèves. En 2016, l’entreprise a étendu sa surveillance aux messageries scolaires et a créé une application pour envoyer aux parents des rapports hebdomadaires analysant les recherches et les historiques de navigation de leurs enfants. En 2017 enfin, elle a lancé un outil de détection des risques de violences et d’attaques. Gaggle est une autre de ces entreprises qui surveille les contenus numériques de quelque 5 millions d’élèves américains, via les outils numériques que leurs fournissent les écoles, à la recherche d’indices inquiétants et informent les responsables scolaires lors de problèmes potentiels. Gaggle et Securly, par exemple, proposent de surveiller tous les outils qui composent l’offre scolaire de Google : à savoir les documents partagés, les agendas, les contacts… et bien sûr la boite mail des élèves !

Dans le détail des signalements

L’entreprise a récemment publié un rapport global sur les incidents signalés par sa plateforme.

Le problème bien sûr reste d’évaluer la réalité de ces menaces. L’article d’Education Week revient par exemple sur un incident dans le district de Grand Rapids, dans le Michigan. En décembre, Gaggle a détecté un message menaçant provenant d’un élève qui a partagé dans la messagerie interne de l’école une de ses publications sur Snapchat. Suite à cette publication, l’élève a été arrêté puis expulsé. Or, explique le responsable de Gaggle, l’élève a seulement reconnu avoir voulu faire une mauvaise blague… Ce n’était là qu’un des 3000 incidents signalés dans ce district scolaire et nombre d’entre eux relèvent de ce type de faux signalement… Plus de 2500 de ces signalements sont des problèmes mineurs, explique Benjamin Herold qui relève le plus souvent de « discours de haine », du blasphème ou du simple juron ! Reste que ces systèmes détectent d’autres types d’incidents. Sur ces incidents, 36 ont signalé des étudiants comme susceptibles de se suicider ou de se mutiler (généralement pour avoir stocké ou envoyé des messages contenants des mots comme « je me déteste » ou « c’est la fin de ma vie »…). Une vingtaine ont été signalés pour avoir stocké ou envoyé des images ou vidéos pornographiques ou offensantes. Et quelques-uns ont été signalés comme victime potentielle pour avoir stocké ou échangé des fichiers contenant les mots « maltraités » ou « viol ». Parmi ceux signalés pour blasphème ou discours de haine : une douzaine d’élèves ont été signalés pour des messages ou des fichiers contenant le mot « gay », un élève parce que son projet de biologie contenait le mot « merde », un autre parce que son exposé de poésie contenait le mot « chatte », un autre parce qu’un de ses essais contenait le mot « bâtard » ! Autant d’exemples qui montrent la simplicité de ces solutions techniques qui fonctionnent principalement sur la vieille technique de détection de listes de mots… Une technique qui a pourtant montré toutes ses limites, comme l’expliquait le chercheur Tarleton Gillespie.

Face à autant de fausses alertes, comment équilibrer les avantages et inconvénients de tels systèmes, où les alertes sont souvent ridicules ou ambiguës, bien plus qu’inquiétantes ! Pour le responsable de la sécurité du district scolaire de Grand Rapids, le système fait effectivement perdre beaucoup de temps et menace les droits à la confidentialité et la liberté d’expression des élèves… Mais, contre-balance-t-il, les remerciements des parents alertés sur les propos suicidaires de leurs enfants, eux, ont été nourris. « Devons-nous surveiller des millions d’élèves pour empêcher qu’un seul ne soit blessé ? » s’inquiète l’avocat Chad Marlow (@ChadAaronMarlow) de l’American Civil Liberties Union (@ACLU), la grande association de défense des libertés américaine. L’association de défense des libertés civiles s’est inquiétée des menaces liées à ces systèmes de surveillance des enfants et des écoles, qui menace la liberté d’expression même des élèves, qui en traumatisent certains par de fausses accusations, qui sapent la vie privée et qui plongent une génération d’élèves dans une surveillance généralisée. Comme le souligne l’alerte de l’ACLU, aucun lien n’a été démontré entre le fait d’accroître la surveillance des élèves et la diminution des violences par arme à feu dans les écoles !

Les écoles publiques d’Evergreen dans l’État de Washington ont également utilisé ce système : entre septembre et mars, c’est plus de 9000 incidents qui ont été remontés par le système pour 26 000 élèves scolarisés : 84 % concernait des infractions mineures relatives aux blasphèmes et gros mots ! Ces alertes ont laissé les responsables et les professeurs assez démunis pour trouver des réponses à des situations inédites : comment l’institution doit-elle réagir quand elle est confrontée à l’utilisation d’un langage inapproprié dans un devoir de ses élèves, quand il évoque une situation personnelle difficile ? Mais comment réagir quand un élève écrit à un autre : « tout sera fini demain ! » Dans ce cas précis, le district a envoyé la police chez la famille au milieu de la nuit pour effectuer un contrôle alors que ce n’était qu’une crise amicale ! Autre gros problème : quand les élèves connectent leurs dispositifs personnels aux ordinateurs fournis par l’école et que les filtres de Gaggle analysent leurs photos et vidéos privées ! Photos de bagarres, nus… Les administrateurs du district ont répondu en avertissant les parents, la police et l’aide sociale ! Pourtant, suite à cette expérience, le district a finalement désactivé les filtres de Gaggle relatifs au blasphème et aux discours de haine. Pour Chad Marlow, nous sommes là dans des situations scandaleuses. Que se passe-t-il quand des élèves d’une communauté conservatrice posent des questions de sexualité par exemple ? Pour Marlow, le pire est que ces techniques risquent surtout d’aggraver les choses et conduire les enfants en difficulté à encore plus cacher leurs pensées quand ils auront pris conscience de cette surveillance !

La surveillance… sans limites

Les écoles ne devraient pas surveiller le contenu numérique privé, estime Marlow. En tout cas, les élèves semblent bien conscients de cette nouvelle réalité. Un élève a ainsi écrit un document pour décrire ses inquiétudes au sujet d’un garçon de sa classe qui agissait étrangement et a nourrit son document de gros mots pour déclencher l’alarme du système s’est-il expliqué. Pour ceux qui promeuvent cet outil, c’est une preuve que les élèves apprécient l’outil comme un moyen d’obtenir de l’aide. Pour Rachel Levinson-Waldman, avocate du Brennan Center for Justice, nous habituons les enfants à accepter une surveillance constante comme normale, sans que les responsables scolaires n’aient de conversation sur ce sujet, et ses limites. Cette année, une jeune diplômée du district de la banlieue de Houston a tweeté une photo d’elle avec un fusil de chasse… se félicitant de l’avoir utilisé pour la première fois. Mais visiblement, ni Social Sentinel ni les responsables de l’école n’ont pris de mesures suite à ce message. Pour tous, ce message, bien que détecté par le logiciel, ne justifiait pas de mesures spécifiques : quelqu’un partant à la chasse ne semble pas constituer une menace ! À l’inverse, un district scolaire du New Jersey a suspendu deux lycéens qui avaient partagé sur Snapchat des images d’armes à feu après un week-end passé sur un stand de tir privé. L’ACLU a d’ailleurs intenté une action en justice pour contester la suspension. Pour le PDG de Gaggle, l’enjeu est que ses outils empêchent la prochaine tuerie. Pourtant, a reconnu son PDG, il y a 5 ans, il n’aurait jamais envisagé d’ajouter un service de surveillance des médias sociaux à son offre commerciale : tout le monde aurait trouvé cela trop envahissant ! Aujourd’hui, il voit ces outils comme inévitables !

Dans un autre article, Herold explique que la Floride envisageait de mettre en place un système de surveillance tentaculaire pour prévenir toute fusillade dans les écoles, via un système qui aspirerait les publications des médias sociaux en les croisant avec des fichiers sur des enfants placés en famille d’accueil, victime d’intimidation ou ayant commis des crimes, voir mentionnés dans des témoignages nons vérifiés faits à la police, ou ayant subis des examens psychiatriques… Les retards bureaucratiques et la difficulté de savoir qui pourraient accéder à cette base, ont visiblement fait reporter le projet. L’État de Floride vient de relancer un appel d’offres, même si la portée du dispositif pourrait être revue à la baisse…

Le Forum sur l’avenir de la protection de la vie privée est l’une des 40 ONG à avoir promu un ensemble de «principes pour la sécurité, la confidentialité et l’équité dans les écoles», qui met en garde contre les dangers d’une collecte et d’une surveillance aussi étendues des données au nom de la sécurité des écoles. Reste que cette surveillance n’a pour l’instant pas beaucoup inspiré l’institution scolaire à définir un cadre clair et partagé.

Dans un autre article encore, Herold concède que la pression à agir par quelques moyens que ce soit est intense, et bien compréhensible. À défaut de parvenir à régler autrement la question des armes à feu aux États-Unis, ces outils apparaissent à beaucoup comme une solution. Depuis deux ans, le nombre de services de surveillance des contenus a explosé. Reste que, malgré les exemples montés en épingles par ces services pour promouvoir l’efficacité de leurs solutions, rien ne prouve que ces outils fonctionnent, comme le pointe le Centre pour la Justice dans un article analysant le phénomène des outils de surveillance scolaire (qui souligne qu’au moins 63 districts scolaires sur les 13 000 que comptent les États-Unis auraient acheté ce type services). Or, soulignent les experts du Brennan Center, en raison des problèmes d’analyse de la langue notamment, les outils de surveillance des médias sociaux sont susceptibles d’étiqueter de façon disproportionnée certains élèves plus que d’autres, et notamment les élèves de couleurs ou d’origines minoritaires, qui sont souvent punis plus sévèrement que les élèves blancs identifiés de façon similaire. Ils rappellent d’ailleurs que les recherches montrent qu’à mesure que les mesures de sécurité scolaires prolifèrent, les élèves se sentent souvent moins en sécurité. De plus, une surveillance excessive et inutile (absolument pas proportionnelle à ses finalités, dirions-nous de ce côté de l’Atlantique) risque d’avoir un impact négatif sur la vie privée des élèves et nuire à leur capacité de s’exprimer.

Pour Herold, ces outils génèrent trop d’alertes dont la grande majorité est ambiguë, non pertinente ou trop problématique pour être utilisée. On ne trouve pas d’aiguille dans une botte de foin, dit Marlow, et encore moins quand vous augmentez la taille de la botte de foin ! Pour le journaliste, il est plus que nécessaire d’avoir un débat sur le sujet et de fixer des limites et des règles à ces nouvelles formes de surveillance. « Nul n’accepterait une situation où les autorités scolaires auraient le droit d’entrer dans la chambre de n’importe quel élève, de fouiller partout et de lire les lettres ou les journaux qu’ils tiennent », estime Marlow. Violer la vie privée des gens par voie électronique semble moins traumatisant que de le faire physiquement, pourtant il ne devrait y avoir aucune distinction !