Le livre de la psychologue, économiste et philosophe Shoshana Zuboff (@shoshanazuboff), L’âge du capitalisme de surveillance paru en 2019 aux États-Unis, vient d’être traduit en français (Editions Zulma, 2020). Cette somme de 700 pages a fait très vite référence. C’est le signe effectivement que son analyse est importante, notamment parce qu’elle offre des concepts essentiels pour comprendre les transformations numériques. Pourtant, si l’analyse est brillante, la thèse de Zuboff se révèle fragile…

Pourquoi la surveillance s’est-elle imposée ?

Cette thèse est assez simple. Le numérique a changé la nature du capitalisme. Nous voilà plongés dans une nouvelle forme de capitalisme, le « capitalisme de surveillance », qui vise à exploiter non plus seulement le travail et les ressources naturelles, mais l’expérience humaine elle-même pour la traduire en données comportementales, un « surplus comportemental propriétaire », utilisées sur des chaînes de production avancées, pilotées par l’IA, pour être transformées en « produits de prédiction » via des « moyens de modification des comportements » toujours plus sophistiqués. Ces produits de prédictions et moyens de modifications sont négociés sur un nouveau marché, largement invisible aux yeux des individus qui en sont la matière première, au bénéfice d’un nouveau pouvoir : « l’instrumentarisme ».

L’informatique s’est transformée. Pour illustrer cette transformation, Zuboff convoque notamment l’exemple du projet Aware Home, un projet pionnier de l’informatique ambiante du Georgia Tech, qui dans les années 2000 imaginait la maison du futur. Mais, à la différence des innombrables capteurs domotiques d’aujourd’hui, cette maison du futur mettait l’accent sur la souveraineté de l’individu et l’inviolabilité des données. Dans l’Aware Home, aucune donnée collectée pour l’analyse ne sortait de la maison : la production de traitements ne devait profiter qu’à ses habitants. Tout l’inverse de ce qu’on connait aujourd’hui, où le moindre capteur domestique communique des données comportementales à l’extérieur, à des serveurs et d’autres appareils, à des tierces parties et les vend sans notre consentement à d’innombrables autres acteurs que nous ne connaissons même pas…

La surveillance est bien le modèle d’affaires du numérique. Pour Zuboff, cette surveillance érigée en modèle est devenue parasitaire : la tech a profité de l’absence d’obstacles législatifs et réglementaires pour utiliser la surveillance intrinsèque au numérique et la détourner à son profit. « Les produits et services du capitalisme de surveillance ne sont pas les objets de l’échange de valeurs. Ils n’instaurent pas de réciprocités constructives entre producteurs et consommateurs. Ce sont au contraire les « hameçons » qui appâtent les utilisateurs dans les opérations d’extraction par lesquelles notre expérience personnelle est captée et emballée pour que d’autres atteignent leurs objectifs. Nous ne sommes pas les « clients » du capitalisme de surveillance. Bien que l’adage nous dise : « Si c’est gratuit, vous êtes le produit », c’est faux. Nous sommes les sources du surplus crucial du capitalisme de surveillance : les objets d’une opération, technologiquement avancée et de plus en plus inéluctable, d’extraction de matière première. Les véritables clients du capitalisme de surveillance sont les entreprises qui achètent les comportements futurs sur ses marchés. » Dans ce marché, nous sommes ce qui est exploité. « Le capitalisme de surveillance sait tout de nous, alors que ses opérations sont conçues pour que nous n’en sachions rien. (…) Il prédit notre avenir pour que d’autres en tirent profit, et pas nous ». La technologie a été orientée vers une recherche inédite de profit, de gains de productivité, que le capital a mis à profit par un droit d’invasion dans nos existences inédit et continue où chaque clic devient « un actif à traquer », sous la bannière d’une commodité simpliste, d’un mythe : la personnalisation. Notre satisfaction est liée à notre dépossession. Plus nous sommes dépossédés de nos moyens d’action, plus nous serons comblés des bienfaits de la surveillance et des services toujours plus commodes qu’elle génère.

La surveillance au fondement de l’asymétrie des traitements

Dans cette description éclairante, Zuboff appuie sur un point essentiel : cette transformation crée une asymétrie de pouvoir inédite. Nous sommes non seulement dépossédés de nos données, mais plus encore de leurs croisements et traitements. Les calculs dont nous sommes l’objet créent une asymétrie de pouvoirs parce qu’ils ne nous sont jamais rendus !

Les entreprises du capitalisme de surveillance fondent leurs croissances et leurs profits sur l’analyse, l’affinage et le croisement de nos données comportementales. L’impénétrabilité et l’exclusivité des techniques mobilisées pour cette extraction et cette analyse sont la valeur ajoutée qui permet d’améliorer continuellement l’efficacité des prédictions. Zuboff signe, notamment dans la première partie, des pages d’une réelle clarté sur comment Google s’est transformé en entreprise d’exploitation de notre surplus comportemental en découvrant la valeur de la publicité ciblée. Elle décrit très bien comment les inventions de Google ont détruit les relations de réciprocité originelles avec ses utilisateurs. Très tôt, Google a investi dans d’innombrables services pour améliorer la production de ce surplus comportemental, instituant une opacité pour masquer l’expropriation produite par la surveillance. Pour Zuboff, la surveillance commerciale n’est pas un accident, mais est au contraire au fondement de l’exploitation comportementale. Elle est le cœur du marché, le cœur de ce qui est échangé, le cœur de ce qui permet de produire un nouveau type d’actif et de revenu.

Elle souligne combien la surveillance, dans ce marché, est le mécanisme fondamental qui permet la logique d’accumulation. Nous sommes expropriés de nous-mêmes. « Le capitalisme de surveillance est devenu le modèle par défaut du capitalisme de l’information ». Servir les besoins des utilisateurs est moins lucratif que de vendre les prédictions de leurs comportements. Il faut lire les pages où elle analyse la transformation du modèle économique de Google, montrant comment l’entreprise a extrait une matière première de nos requêtes sur son moteur pour en produire un sous-produit et un nouveau marché (des « actifs de surveillance »). Nous ne sommes ni les sujets de la réalisation de la valeur, ni les produits des ventes de Google, mais seulement « les objets d’où sont extraites les matières premières que s’approprient les usines de prédiction de Google ». « Nous sommes les moyens permettant à d’autres d’atteindre leurs objectifs ». L’essence de cette exploitation, de cette extraction, consiste à « améliorer le contrôle que d’autres ont sur nous », sans que nous ayons le moindre droit de regard ni sur cette extraction ni sur ce qui en est produit. Pour produire ce surplus, les géants mobilisent l’intelligence machine qui ne cesse de se complexifier et de se raffiner, oubliant trop vite leurs défauts et limites (nous y reviendrons). Pour Zuboff, l’enjeu des nouveaux barons voleurs consiste à consommer toujours plus de données pour produire toujours plus de produits de prédiction pour améliorer les taux de clics. Les entreprises, au final, ne vendent pas tant nos données personnelles que des prédictions qu’elles fabriquent depuis celles-ci.

Elle dénonce également très bien la transformation capitalistique qui a eu lieu. De nouvelles structures actionnariales se sont mises en place pour asseoir ce pouvoir, initiées par l’entrée en bourse de Google en 2004 et copiées par Facebook en 2012 notamment, permettant à ces entreprises de construire une gouvernance forclose, notamment avec des actions sans droit de vote (en fait, cette transformation du capitalisme est plus ancienne comme le rappelle Wikipédia, mais elle a été particulièrement accélérée par les entreprises technologiques, pointe Zuboff : aux États-Unis, 1 % des entreprises entrant en bourse en 2005 proposaient des structures d’actions à 2 paliers comme on les appelle, contre 15 % en 2015, pour moitié étant des entreprises technologiques). Ce contrôle leur a permis également de procéder à de nombreuses acquisitions agressives pour acquérir à la fois des talents capables d’affiner les traitements (les data scientists) et surtout de nouvelles modalités d’extractions comportementales. Leur puissance financière leur a permis d’exploiter et d’entretenir un vide juridique pour faire reculer toute régulation à leur égard et faire reculer également toute critique visant à renforcer la démocratie économique. S’appuyant sur la défense d’un fondamentalisme de la liberté d’expression libertarienne qui ne dépendrait que de leur seule autorégulation, l’extraction que ces entreprises réalisent est protégée de tout regard critique qui leur permet justement de créer une asymétrie de pouvoir inédite. Cette asymétrie de pouvoir a été facilitée bien sûr par les conséquences et transformations qu’a induit le choc des attentats du 11 septembre 2001, qui ont accéléré la réponse par la surveillance. Alors que la Commission fédérale du commerce américaine envisageait d’accroître la sécurité des données personnelles, les attentats ont renversé la donne, souligne-t-elle. Avec le Patriot Act, le Congrès américain ouvrit la vanne à une collecte sans mandats des données personnelles pour les agences du gouvernement, mais en lien avec les acteurs privés qui exploitaient déjà cette matière première à leur profit. Les agences fédérales démultiplièrent les programmes pour recueillir et analyser les données personnelles, avec l’aide des Gafam, créant ce que Zuboff appelle un « exceptionnalisme de la surveillance » dont nous ne sommes jamais sortis. Elle rappelle ainsi que l’alliance des Gafam à la surveillance d’État a été précoce, durable et continue : les agences aspirant à profiter à leur tour du vide juridique dont bénéficiaient déjà les acteurs du numérique. « L’exceptionnalisme de la surveillance » a modelé l’évolution du capitalisme de l’information en créant un contexte où les pratiques naissantes de surveillance de Google étaient « convoitées plus que contestées ». Cette affinité élective a permis au capitalisme de surveillance de s’enraciner sans être réglementé. Elle a renforcé l’opacité. Les campagnes présidentielles d’Obama de 2008 puis de 2012 vont continuer ce travail en trouvant de nouveaux débouchés à la modélisation prédictive. Le rôle des data scientists pour produire des scores de persuasion afin de cibler les indécis ont montré de nouvelles voies à l’exploitation du surplus comportemental, et là encore, sous le sceau du secret : le traitement des données des utilisateurs leur est resté largement invisible, non pas tant pour préserver les avantages concurrentiels de l’un ou l’autre camp, mais bien plus parce que ces analyses auraient pu mettre mal à l’aise les électeurs s’ils en avaient été conscients.

De notre dépossession : l’extractivisme comme méthode

L’architecture d’extraction a depuis quitté le monde en ligne pour conquérir le monde réel, via l’internet des objets. Dans le même temps, les entreprises ont étendu leurs monopoles, en favorisant leurs contenus et en développant leurs appareils, notamment leur présence sur les appareils mobiles. Avec le smartphone, les Gafams ont développé à la fois l’omniprésence de leur tracking et son intensification.

La dépossession réussie a consisté par une incursion dans des espaces insuffisamment protégés. Elle commence par un pur vol, argumente sans ambages Zuboff : s’immiscer dans votre ordinateur, votre téléphone, vos recherches sur le net… Ces vols de données des utilisateurs ont tous donné lieu à des oppositions juridiques et des protestations, rappelle-t-elle. De Google Street View à Google Books en passant par les innombrables dénonciations des manipulations des résultats de recherche ou par les tout aussi nombreux scandales autour des fuites données… ce vol se cache souvent sous des manœuvres de séduction pour démontrer la valeur des nouveaux services que ces vols induisent, par exemple l’accès à de nouvelles qualités d’information (Gmail qui classe et tri l’importance vos mails). Elle se prolonge par une accoutumance : dans le temps très long des enquêtes, procès et protestations, on s’habitue à l’usage des dispositifs, avec plaisir, impuissance ou résignation. On devient dépendant. On s’engourdit. Les contestations s’apaisent. Enfin, quand Google est forcé de modifier ses pratiques par des décisions de justice, ses adaptations sont souvent cosmétiques, superficielles. Pour Google comme pour tous les services numériques, nous ne sommes pas tant des citoyens qu’une « population d’utilisateurs distants », c’est-à-dire tenus à distance, explique-t-elle en détaillant le déploiement de StreetView. Le service, né en 2007, a ainsi été très tôt contesté. Les enquêtes de la FCC américaine ou des tribunaux allemands par exemple ont pris 5 à 6 ans avant de rendre leurs conclusions : un temps long qui a permis aux utilisateurs de se résigner au vol, tout en nous démontrant les qualités du produit. Au final, les enquêtes ont donné lieu à des adaptations anecdotiques (comme le floutage des visages des passants et des plaques d’immatriculation). L’extraction cartographique de Google par ses voitures, ressemble aux premiers robots d’indexation du moteur de recherche, réquisitionnant discrètement les pages web pour les indexer et faciliter leur accès. Google a depuis bâti sur StreetView un empire, par acquisition (comme celle Waze, le service d’analyse de la circulation en temps réel, ou Skybox, une startup d’imagerie temps réel), et par le développement sans cesse de nouvelles fonctionnalités s’intégrant les unes aux autres (comme Business View pour acquérir des données et images de l’intérieur des bâtiments ou l’intégration de la notation des commerces et lieux donnant lieu à un calcul de taux d’affinité depuis vos préférences). Les services de Street View ont servi à bâtir d’autres services… « Chaque niveau d’innovation repose sur le précédent » pour bâtir un extractivisme à grande échelle, foncièrement monopolistique. Tant et si bien que si vous tentez de supprimer Google Maps de votre téléphone, votre téléphone vous menace : « les fonctionnalités de base de votre appareil peuvent ne plus fonctionner comme prévu ». « L’instance de Google reflète la politique autoritaire de l’impératif d’extraction ainsi que le propre asservissement de Google aux exigences implacables de son économie ».

Les Gafams sont en compétition pour nous déposséder. Ils n’ont eu de cesse de générer des problèmes, de mentir, de nous tromper, de nous voler… On nous a vendu de la pertinence pour mieux nous masquer la surveillance, l’innovation pour mieux nous déposséder, assène Shoshana Zuboff.

Les Big Techs ont construit un marché pour vendre le surplus comportemental en imposant le logiciel comme service, qui tient bien plus d’une surveillance comme service. Derrière la publicité en ligne, le marché le plus éloquent, il y en a bien d’autres, comme l’analyse de notre solvabilité que pointait très bien Frank Pasquale, en soulignant l’opacité du vaste marché noir des données personnelles pour calculer nos scores de crédit par exemple. Les entreprises de ces secteurs n’échangent pas tant les données que les innombrables calculs produits depuis celles-ci. Ces marchés sont particulièrement lucratifs, assure Zuboff : les approvisionnements sont gratuits, la régulation y est largement tenue à l’écart et les marchés d’échanges de données nous sont complètement invisibilisés.

Ce nouveau savoir sur nous-mêmes nous est confisqué

Travailler désormais c’est contrôler des données. Pour Zuboff, nous sommes passés d’une division du travail à une division du savoir. Or, alors que la division du travail avait donné lieu à compensation par les patrons paternalistes du XXe siècle comme Henry Ford, la division du savoir, elle, n’est plus partagée ni compensée. Le contrat social semble brisé. Cette captation du savoir produit des asymétries extrêmes de pouvoir qui rendent toute lutte impossible, puisqu’« on n’est même pas admis à combattre ». Le capitalisme de surveillance produit une ombre de données et de traitements qui ne nous sont pas rendus ! Un « texte fantôme » nous échappe, au-delà de nos interactions avec les services. Un texte fantôme secret et croissant qui nous exclut de ce qui est tiré des récits et données que nous produisons. Un texte à propos de nous, mais pas pour nous. « Bien au contraire, il est créé, conservé et exploité à notre insu au bénéfice d’autres que nous ». L’intellect et l’expertise sont désormais concentrés entre quelques mains, le nouveau clergé des data scientists. Ils ne sont pas recrutés pour mettre fin à la faim dans le monde, s’énerve Zuboff, mais pour transformer l’expérience humaine en données et les convertir sur ces nouveaux marchés. Alors qu’internet promettait une diffusion du savoir sans précédent et sa démocratisation, c’est-à-dire promettant un accès à plus de savoir à un plus grand nombre de personnes… au final, estime Zuboff, il n’en est rien. Ce sont « les entreprises capitalistes de surveillance qui savent« . C’est la forme du marché qui décide. C’est la lutte concurrentielle entre les capitalistes de surveillance qui décide qui décide. Nous sommes face à une nouvelle logique d’accumulation qui se dérobe à nous. Et pour l’instant, ni les réglementations pour protéger la confidentialité ni l’imposition de contraintes aux pratiques de monopoles n’ont mis fin à ces mécanismes d’extraction inédits et puissants.

Pour Zuboff, cette extraction ne va pas cesser de s’étendre. La disparition des technologies promet leur séparation des appareils dédiés pour produire toujours mieux cet impératif de prédiction, nouveau moteur économique du capitalisme de l’information. Elle décrit d’ailleurs ces économies d’échelle comme une « économie de gamme » et « une économie d’action ». L’économie de gamme repose sur la variété des opérations d’extraction et leur profondeur, c’est-à-dire la production sans fin de nouvelles voies d’approvisionnement en données jusqu’à la plus profonde intimité : de la circulation sanguine à nos conversations… L’économie d’action, elle, vise à les faire rétroagir sur le monde, à inciter (nudger) voire manipuler. Elle vise à modifier les comportements dans des directions spécifiques, de la suggestion d’achat d’un produit dont vous avez parlé, au blocage de votre voiture à distance si vous n’avez pas réglé votre prime d’assurance. La gamme et l’action s’immiscent jusqu’au « commerce du réel », c’est-à-dire l’implantation d’architectures informatiques dans le monde réel pour le contraindre aux calculs réalisés par le numérique. L’extraction se couple d’une nouvelle « architecture d’exécution » qui permet de valider, rétroagir et garantir les résultats. Le capitalisme de surveillance a besoin de l’internet des objets pour encore plus se réaliser. Demain par exemple, nos assurances seront comportementales afin de réduire l’incertitude et le risque… Qu’importe si cela conduit à la démutualisation, c’est-à-dire si l’individualisation détruit le corps social. Les contrats d’assurance ne vont pas seulement minimiser les risques, mais laisser place à des processus automatisés capables de répondre immédiatement à toute infraction, promouvant des comportements prescrits. L’individualisation conduit à une forme de responsabilité totale, individualisée, sans solidarité collective. Elle transforme radicalement notre société, en change la nature, c’est certainement en cela qu’elle parle d’un nouveau capitalisme.

Le décontrat social : la coercition plus que l’efficacité ?

Dommage pourtant que Zuboff ne s’intéresse pas du tout aux limites de ces prescriptions automatisées, qui reposent sur des métriques opaques et qui risquent d’être profondément inégalitaires et discriminatoires (par exemple avec des règles plus strictes pour un jeune conducteur ou des personnes économiquement fragiles). Les critères risquent d’être de plus en plus spécifiques, individuels, mais également changeants, adaptatifs en permanence (définissant individuellement ce qu’est une bonne accélération ou des zones où certains peuvent se déplacer et d’autres non…). Depuis ces calculs, les prédictions sont réifiées pour en éliminer l’incertitude en influant toujours plus avant sur les comportements des usagers. Ces produits de prédictions sont eux-mêmes vendus à d’autres pour produire d’autres calculs : les traits de caractère de votre conduite peuvent être appliqués à d’autres calculs, comme déterminer votre capacité de crédit…

Pour Zuboff, ce cauchemar de la surveillance omniprésente et omnisciente produit une annihilation du contrat social, un « décontrat », qui remplace « l’indétermination des processus sociaux par le déterminisme des processus issus de la programmation automatisée ». La société est remplacée « par des actions automatiques dictées par des impératifs économiques ». « Le décontrat n’est pas un espace de relations contractuelles, mais une exécution unilatérale qui rend ces relations superfétatoires. Lé décontrat désocialise le contrat ; il fabrique de la certitude en substituant des procédures automatisées aux promesses, au dialogue, au sens partagé, à la résolution de problèmes, au règlement des conflits et à la confiance (…). Le décontrat contourne tout ce travail social au profit de la compulsion, dans le seul intérêt de produits de prédiction plus lucratifs, qui se rapprochent au maximum de l’observation et, par conséquent, garantissent les résultats ». Nous sommes contraints à des comportements qui favorisent les objectifs commerciaux définis par d’autres, accentuant toujours plus l’asymétrie de pouvoir. Comme les CGU, les décontrats déclinent toute responsabilité sur les politiques de confidentialité des tierces parties qui sont pourtant le lot des échanges de données et des traitements. Ils légalisent la dépossession.

Mais alors qu’on s’attendait à ce qu’elle observe précisément le marché des données et des traitements, de ce surplus comportemental, son livre passe totalement à côté. Elle passe également à côté de la critique de ce marché prédictif. Shoshana Zuboff présuppose son efficacité, sans jamais la remettre en question, comme si finalement elle adhérait aux propos marketing et aux promesses autoréalisatrices de la tech. Or, de la publicité ciblée aux scores de crédits, en passant par la reconnaissance faciale à celle des émotions, la recherche n’a cessé de montrer les limites de ces calculs. Elle oublie également de dire que la perspective que tout le monde réel soit transformé en données est un objectif certainement irréaliste eu égard notamment à la condition environnementale.

Pour Shoshana Zuboff, la connexion de toute chose que promettent les technologies produit une inévitabilité, une idéologie de l’inévitable. Tôt ou tard, tout sera connecté, c’est-à-dire accessible à la connaissance et à l’action automatisée. Mais en se faisant l’écho de cette idéologie, elle oublie de la critiquer pour ce qu’elle est : une erreur de raisonnement systémique, qui pense qu’il suffit de produire toujours plus de données pour comprendre le monde ou que la société est réductible à sa modélisation. L’inévitabilité est bien « un cheval de Troie au service d’impératifs économiques puissants » ; elle est bien une rhétorique qui vise à nous rendre impuissants et passifs et surtout à dissimuler la réalité du capitalisme de surveillance.

Pour Zuboff, l’Aware Home est bien le souvenir d’une voie que nous n’avons pas prise et qui nous aurait donné du pouvoir. Désormais, explique-t-elle peut-être d’une manière pessimiste, nous n’avons plus le choix (c’est peut-être oublier un peu vite la puissance de certaines alternatives, certes rares, mais toujours stimulantes, de Wikipédia à Open Street Map en passant par Signal… des services dont l’une des caractéristiques communes tient justement de ne pas être des entreprises sur le modèle de celles qui façonnent le capitalisme de surveillance, mais fondamentalement des associations ! À croire que pour s’extraire du capitalisme de surveillance, il est nécessaire de s’extraire de ses formes instituées !). Si vous n’acceptez pas que votre aspirateur Roomba cartographie vos maisons, vous serez privé de ses fonctionnalités. La coercition de l’automatisation est pesante ! Si vous ne l’acceptez pas, le monde vous sera dégradé ! Le monde numérisé non seulement nous dépossède, mais impose la dépossession par la coercition. « L’efficacité et la sécurité des produits sont instrumentalisées de manière éhontée par les fabricants pour que les clients se soumettent à la restitution ». Nous sommes de plus en plus coincés dans les rets d’un réseau de la coercition « non autorisé, unilatéral, avide, secret et sans scrupules » où le high-tech de l’hypersurveillance s’impose de plus en plus face à un low tech durable et respectueux des utilisateurs. Si Zuboff livre d’innombrables exemples à cette dépossession, ceux-ci finissent cependant par être un peu répétitifs. Pourtant, la description de cette dépossession est puissante. Comme elle le souligne encore : « autrefois, les innovations dans le domaine de la production de biens et de services de moindre coût provoquaient une croissance de la production et de l’emploi, des salaires plus élevés et une amélioration des conditions de vie pour de nombreuses personnes ». Ce n’est pas le cas du capitalisme de surveillance, coupé des utilisateurs qu’il monitore en permanence sans leur rendre la moindre information ou la moindre rémunération. Reste que Zuboff reste trop collée aux promesses du monde numérique. Elle rapporte par exemple les espoirs des entreprises dans le déploiement de leurs assistants vocaux, oubliant tout de même que ces promesses sont bien loin des réalités. Toute cette « intelligence » sert au final surtout à programmer son réveil ou lancer une chanson ! Elle semble croire à la fable de la personnalisation, qui n’est pas tant une production spécifique à chaque individu, mais au contraire une catégorisation pour gérer la massification. Certes, « ce n’est pas notre substance qui fait l’objet de la surveillance, c’est notre forme », c’est-à-dire la manière dont on s’exprime plus que ce qu’on exprime, oubliant néanmoins les taux d’erreurs et d’approximation des calculs. Bref, Zuboff oublie que tout cela ne fonctionne pas si bien. Elle finit par répéter le discours marketing qu’elle entend critiquer, comme finalement fascinée par ce que la technologie permet. Elle prend ainsi très au sérieux les perspectives sur l’informatique émotionnelle sans montrer les limites intrinsèques de ces perspectives (voir notamment « Peut-on rendre le ciblage psychologique productif ? »). Au final, elle valorise des formes de conditionnement, comme s’ils étaient opérants. Comme si la dérive pavlovienne de la publicité était la condition subliminale de sa réalisation parfaite. Or, les effets de contagion émotionnelle, les dispositifs de manipulation produisent des effets qui sont très discutés et qui paraissent surtout assez faibles (voir ce que nous disions par exemple sur les rendements de l’A/B testing). En fait, Zuboff peine à démontrer et mesurer l’efficacité du capitalisme de surveillance. Or, le ciblage lui-même produit peu. Bien souvent, la publicité s’impose plus par la coercition que par sa qualité. Sur YouTube toute vidéo nécessite de dérouler une publicité dont le contenu n’a souvent aucun lien avec la vidéo. Sur Facebook ou Instagram, la publicité est bien plus partout que si parfaitement ciblée. Le modèle économique promu par les Gafams ne fonctionne pas aussi bien qu’ils le clament. En prenant et détaillant l’exemple de Pokémon Go comme manifestation ultime de notre manipulation, comme laboratoire vivant pour la « téléstimulation à grande échelle », comme réalisation parfaite du programme du surplus comportemental et du contrôle des comportements, Zuboff semble oublier que le succès du jeu proposé n’est pas la preuve de sa réussite. Si cela avait été le cas, nous y jouerions encore ! Quant au fantasme des assurances comportementales, une étude récente souligne que les assureurs ont bien du mal à évaluer le risque autrement que mutualisé. Pas sûr donc que l’impact de la personnalisation s’impose aussi facilement que prédit !

Finalement, pourrait-on dire, si la coercition s’impose partout, c’est certainement parce que les traitements ne sont pas si bons.

Nous sommes dépossédés des bénéfices sociaux du calcul

Plutôt que de questionner la réalité du marché du surplus comportemental, Zuboff enquête longuement sur ses origines théoriques. Zuboff livre enfin une analyse assez stimulante (bien que plus anecdotique pour nombre de lecteurs) du rôle central des travaux de B. F. Skinner, le père de l’économie comportementale (voir notre dossier de 2010 et sa mise à jour de 2017) pour qui l’environnement détermine notre comportement, jusqu’à ses prolongements les plus actuels, notamment en les confrontant aux propos d’Alex Pentland, chercheur clé de l’écosystème numérique actuel, comme nous l’avions fait nous-mêmes à la lecture de son livre. Pour Zuboff, les propos de Pentland réactivent ceux de Skinner et donnent corps à la théorie de la société instrumentarienne dans laquelle nous plonge le numérique. Pour elle, Pentland complète Skinner : ce n’est plus seulement le comportement qui détermine nos comportements, mais un environnement calculé autour de nos comportements et donc instrumenté pour leur analyse. « Les entreprises créées par Pentland sont des extensions de son utopisme appliqué », explique-t-elle. Ce sont des terrains d’expérimentations pour des techniques instrumentariennes de contrôle et de modification des comportements. Humanyse (dont nous avons souvent parlé quand elle s’appelait encore Sociometrics Solution) comme Endor, sont des entreprises fondées par Pentland qui appartiennent toutes à la surveillance et à l’extraction de surplus comportementaux… Comme il le disait déjà dans son livre, l’enjeu est de fournir des services pour produire des symbiotes humain-machine permettant aux humains de mieux comprendre leurs propres interactions par le biais des machines. Reste que bien souvent, la encore, même pour Pentland, cette production de savoir est confisquée à ceux qu’elle surveille. Comme Skinner, Pentland envisage la société sous l’angle des comportements plus que sous l’angle des différences de classes, de revenus, de genre ou de race… Pentland justifie une « société totalisante élaborée », pointe-t-elle, soumise à des théories prédictives de la prise de décision humaine. Avec raison, Zuboff est plus critique que nous ne l’étions à l’époque de notre lecture du livre de Pentland. Pour elle, le totalitarisme soft de Pentland défend une société omnisciente, capable de voir tous les comportements et de les façonner… Mais il omet soigneusement de définir au profit de qui. Cette surveillance, cette société de vigilance permanente qui veille à sa propre réplication, se fait au bénéfice de certains, pas de tous : la pression sociale est par nature instrumentée au profit de ceux qui la dirigent et l’orientent. Nos comportements sont orientés par une ingénierie sociale qui façonne un bien commun décidé unilatéralement. Pentland ne répond pas à la question de savoir à qui il profite, hormis aux data scientists tels que lui. Pour lui comme pour Skinner, le savoir parfait remplace la politique. La science, malgré ses lacunes, est totale, oubliant ce qu’elle ne sait pas prendre en compte. Nous devons nous soumettre aux calculs, aux systèmes automatisés. « L’informatique remplace la vie politique d’une communauté en tant que socle de la gouvernance »« , mais seuls ceux qui ont un regard omniscient peuvent agir sur les comportements des autres. L’harmonie se fait par le biais de la pression sociale, mais certains plus que d’autres savent où appuyer. Pour Pentland, la physique sociale repose sur la coopération de tous : « l’identité se soumet à la synchronie ». Comme l’a pointé Pentland encore dans un article pour le New Scientist, l’individualité est une menace. Le libre arbitre comme la vie privée sont dans ce schéma une menace assez proche de celle qu’expriment sans cesse les patrons des Gafams. Nous devrions renoncer à la liberté au profit du savoir !

Reste bien sûr que c’est oublier combien ce savoir est imparfait, combien les métriques sont partout défectueuses, voire purement vaniteuses (comme la mesure du visionnage chez Netflix par exemple) ou comment l’évaluation ne produit pas nécessairement des résultats fiables ou robustes. Qu’importe ! La promesse des données propose de contourner les lacunes de la confiance par des « machines de certitudes », c’est-à-dire des machines qui produisent des prédictions efficaces, comme la blockchain et l’IA… qu’importe si cette efficacité laisse à désirer ! Nous sommes comparés en permanence aux autres. L’ingénierie comportementale produit des boucles d’obsession et de compulsion, des formes d’addiction aux comportements des autres, comme on les trouve dans les réseaux sociaux où nous sommes invités à imiter ceux qui nous ressemblent. Nous sommes plongés dans la zone de la machine, c’est-à-dire à être « joués nous-mêmes par la machine » plus qu’inviter à jouer avec la machine. Nous sommes capturés par des formes de renforcement variables permanents comme l’expliquait Nir Eyal qui visent à produire toujours plus de prédictions toujours mieux adaptées. C’est-à-dire, comme le dit Zuboff, d’ajuster le gant à la main invisible : accroître la valeur prédictive des signaux, tout comme accroître l’engagement au temps passé et inversement. Pour Zuboff, nous sommes coincés dans des processus de comparaison sociale toxiques, dont Facebook est le plus célèbre prototype. Dans Huit clos, Sartre nous rappelait déjà que « l’enfer, c’est les autres ». L’équilibre entre soi et les autres ne peut-être atteint si les autres vous regardent en permanence, rappelle Zuboff. Nous avons besoin de nous garder des exigences performatives de la vie sociale qui nous empêchent d’être en étant tout le temps inhibés par autrui.

Cet idéal de la société pour elle-même se focalise sur la « bonne vie », dont la qualité justement est décidée par d’autres pour le bien de la société. Elle nécessite de sacrifier tout idéal individuel à sa réalisation : la liberté, l’autonomie, la vie privée, le droit à l’autogouvernement… sont autant de valeurs qui nuisent à l’idéal performatif de la société numérique. Pour Zuboff, sur un plan philosophique, « le comportement a remplacé l’esprit humain comme lieu de maîtrise », la liberté se soumet au savoir instrumental possédé par d’autres, qui vise à nous bénéficier certes, mais sans qu’il nous soit rendu ni que nous ayons notre mot à dire sur ce qu’il en est de ce bénéfice. Nous sommes réduits à notre instrumentation par d’autres, dans un pouvoir qui est indifférent à la signification de l’expérience que nous en tirons. Pour Zuboff, nous ne sommes pas tant dans un totalitarisme dirigé par un Big Brother, que dans un instrumentarisme dirigé par un « Big Other », par le pouvoir de rétroaction du regard social. Notre comportement n’est pas tant conduit pour étre rééduqué comme dans 1984, mais modifié. On n’exige pas notre loyauté, mais notre transparence. Nous ne sommes pas soumis à l’État, mais aux résultats. Nous ne sommes pas tant dépossédés, soumis à un pouvoir, que calculés d’une manière qui se dit infaillible. Le pouvoir n’est plus tant dans le contrôle de sa propre violence comme dans un régime totalitaire, que dans le contrôle de la division du savoir dans la société, accaparé par quelques-uns pour produire de la certitude. En cela, l’analyse de Zuboff rejoint les constats d’Achille Mbembe (« Non, nous ne sommes pas le produit, nous sommes la carcasse abandonnée. Le « produit » provient du surplus arraché à notre existence », dit-elle avec un accent proche de celui du philosophe camerounais). Nous voici entrés dans une condition de « certitude sans terreur », alors que Big Brother, lui, s’impose par la terreur.

Mais est-ce si juste ? Le fait d’être expulsé d’un système, d’être banni vous enlève accès à ce système comme à tous ceux auquel il est relié. Un faux pas vous exclut bien souvent sans recours. Un défaut de paiement vous coupe votre accès à votre voiture et, par cascade, à plein d’autres services par exemple. La documentation des inégalités produites par les systèmes techniques (de classes, de genre, de race…) montre bien que la terreur est déjà là, elle n’est juste pas répartie de manière uniforme (pour paraphraser Robert Metcalfe).

Reste que cette analyse de notre dépossession des calculs est certainement une clé majeure pour reprendre du pouvoir sur ceux-ci. Le fait que les traitements qui ont lieu depuis nos données nous soient confisqués est certainement un levier d’action à mobiliser pour retrouver du pouvoir d’agir sur ce dont nous sommes dépossédés.

Sommes-nous modifiés ?

Pourtant, nous l’avons dit, le raisonnement de Shoshana Zuboff a plusieurs écueils. La première béance argumentative est que la chercheuse peine à démontrer notre modification comportementale.

Pour Zuboff, l’instrumentarisme serait désormais notre malédiction, car elle aurait « magnifiquement pris soin des problèmes ». Mais est-ce si vrai ? L’instrumentarisme n’a rien résolu ! Ni crise écologique, ni crise économique, ni mis fin aux contestations, ni mis fin aux inégalités… Il tente juste de les recouvrir, de les éloigner en offrant des solutions individuelles plus que collectives. Cela n’empêche pas à cet instrumentarisme (qui ressemble beaucoup à un solutionnisme) d’être de plus en plus convoqué pour produire des solutions, que ce soit pour lutter contre le terrorisme, pour améliorer les systèmes d’affectation ou les systèmes judiciaires ou policiers. Mais c’est oublier qu’il ne résout rien ! C’est oublier combien le calcul, la prédiction justement, vient se substituer à tout autre mode d’intervention, comme si toute solution devait être désormais calculée. La journaliste Kashmir Hill avait évoqué par exemple l’idée d’algorithmes de radicalisation qui permettrait de calculer une cote de crédit pour évaluer la radicalisation et le risque terroriste. Au risque de produire surtout de la signose, c’est-à-dire à prendre les signes pour des signaux, le fait d’avoir une barbe pour une caractéristique de radicalisation. Le risque est bien sûr de produire nombre de calculs individualisés sans fondements, dont les qualités n’ont pas été évaluées. Pour Zuboff, le modèle de crédit social chinois est l’apothéose du pouvoir instrumentarien, son horizon, sa réalisation autoritaire. « La liberté sera sacrifiée au savoir », prophétise Zuboff… Mais elle oublie de pointer combien ce savoir n’en est pas. Combien il est instrumenté, fragile, peu fiable, combien il repose bien souvent sur du bluff plus que sur une démonstration sans faille. Cela ne l’empêche pas de poser la machine comme un modèle, nous invitant à devenir nous mêmes machines, à nous imiter les uns les autres, pour, comme les voitures autonomes, apprendre des erreurs de chacun. Dans l’ère des machines, nous sommes invité à ne plus être l’ouvrier impuissant des Temps modernes, mais à être en symbiose les uns les autres, comme les machines le sont elles-mêmes entre elles.

Trop collée à son objet, Shoshana Zuboff oublie de voir que le discours des Gafam masque surtout leurs échecs. Que les modifications comportementales promises sont surtout marginales. Que les gains de productivité sont forts, mais reposent sur des erreurs et des biais qui ne permettront pas de faire société. En se faisant la Cassandre de leur toute-puissance, Zuboff oublie de montrer qu’ils sont des colosses sur des pieds d’argiles. Si Zuboff nous livre un éclairage puissant et structurant sur le fonctionnement du numérique, elle pense trop puissamment que tout cela marche, quand ce n’est peut-être pas tant pas le cas…

Elle ne dit d’ailleurs pas grand-chose de la valeur du marché du surplus comportemental, de sa structure, de ses modes d’échanges… Or, les effets du ciblage publicitaires par exemple, sont souvent ténus. Ces progrès sont plus incrémentaux que radicaux. Certes, le capitalisme de surveillance produit des effets très problématiques , mais la puissance des algorithmes de placements publicitaires est-elle si forte qu’annoncée ?

Le capitalisme de surveillance est-il un nouveau capitalisme ?

Le second point argumentatif qui ne convainc pas pleinement, c’est la question de savoir si ce capitalisme de surveillance est un capitalisme fondamentalement différent du précédent.

Certes, le capitalisme de l’information déplace la logique interne d’accumulation, ses impératifs de maximisation des profits, son extractivisme…, mais change-t-il pour autant de nature ou permet-il seulement de franchir un nouveau seuil dans son hégémonie ? Certes, il accapare le savoir, mais n’était-ce pas déjà le cas du capitalisme industriel qui produisait son efficacité sur des métriques tayloristes ou financières dont il se réservait l’implémentation et l’exploitation ? Certes, il a coupé les liens organiques de réciprocité que le capitalisme entretenait avec les individus, mais n’est-ce déjà pas le cas depuis longtemps ? Le capitalisme des Gafams ne tient-il pas surtout d’une accélération et d’une intensification du capitalisme actionnarial et globalisé que l’on connaît ? Depuis l’avènement d’un néolibéralisme que décrivait très bien le philosophe Grégoire Chamaillou dans La société ingouvernable (La Fabrique, 2018) par exemple ? Quant à son indifférence au monde qu’il détruit, on constate plutôt que nous sommes là dans une continuité plus que dans un changement. Le capitalisme de surveillance ne semble pas plus responsable des dommages qu’il produit que le capitalisme industriel ou que le capitalisme de marché ne l’ont été. Son autoritarisme est certes toujours plus affirmé, mais, malgré ce qu’il annonce, il ne produit pas de bien commun, seulement son propre bien. La société qu’il vise à construire par l’analyse comportementale demeure la reproduction de la société qui lui permet d’exister. Derrière une fausse neutralité, il s’impose certes à tous. Derrière les ajustements permanents que produisent les calculs, les enjeux nous sont seulement un peu plus confisqués. La « main invisible » devient de plus en plus un « modèle invisible ou insondable », masqué par les calculs optimisés pour produire son seul dessein économique. « L’indifférence radicale » à ses effets produit une société sans société, « asociale ». Pour Zuboff, la « corruption de l’information » (la désinformation, la violence, l’escroquerie…) finalement n’est qu’une stratégie de croissance pour ces entreprises. Le capitalisme de surveillance est profondément antidémocratique, conclut-elle. En annexant l’expérience humaine aux dynamiques de marché, cette tyrannie annihile la politique. Mais si cela accélère le néolibéralisme pour parvenir à sa propre réalisation, cela ne signifie pas que cette accélération tient d’un nouveau stade. Les autoroutes de l’information ont surtout bénéficié aux sociétés d’autoroutes, tout comme les chemins de fer aux barons voleurs !

Comment dénumériser ?

Le livre de Shoshana Zuboff se termine par cette interjection : « Assez ! »

Pour elle, l’enjeu est d’interrompre notre dépossession. Là où il est possible d’intervenir, souligne-t-elle, c’est que notre consentement nous est bien souvent arraché. Mais plutôt que proposer des pistes pour réaffirmer notre droit à consentir et donc à refuser, pour Zuboff, la solution semble plutôt consister à s’échapper. Quand tout le monde bavarde dans nos brosses à dents ou dans nos réfrigérateurs connectés, nous devons retrouver des « sanctuaires », estime Zuboff. Certes, elle invite à renforcer la protection des données, en renforçant le consentement, en rejetant les marchés qui nous dépossèdent de nos données. Mais elle ne dit pas grand-chose des moyens qui permettraient de nous réapproprier les traitements et croisements. On garde l’impression que les individus ne peuvent pas grand-chose contre les asymétries de plus en plus stupéfiantes de savoir et de pouvoir, face auxquels ils restent seuls et isolés. Elle évoque avec raison les travaux du mathématicien et militant Paul-Olivier Dehaye (blog, @podehaye) qui fit en 2016 une demande d’accès aux traitements que Facebook avait collectés sur lui ou le combat de Max Schrems (@maxschrems), militant des libertés numériques, fondateur de None of Your Business, dont la mission est d’imposer le respect de la vie privée aux plateformes. Mais c’est pour souligner que l’accès aux traitements produits par les plateformes nous échappe. Si nous parvenons à récupérer nos données, nous n’accédons pas aux coulisses, aux calculs produits, à ce « texte fantôme » qui relève de la propriété de celui qui le calcule et demeure son avantage concurrentiel spécifique. Elle évoque également des projets artistiques qui se jouent de la surveillance (comme le travail de Leo Selvaggio, d’Adam Harvey, de Benjamin Grosser ou de Trevor Paglen), comme si finalement, seuls les artistes étaient capables de nous aider à prendre conscience de l’impasse où nous sommes arrivés…

L’hypersurveillance que produit le numérique est certes devenue le combustible de l’hypercapitalisme, mais aussi du renouveau autoritaire des États et organisations. Elle est devenue le mode de réponse à tout enjeu. Elle produit les économies d’échelles des entreprises, comme celles de la science, de l’administration publique ou des mouvements associatifs et militants. Plus qu’un capitalisme de surveillance, nous voilà dans une massification de la surveillance, par nature délétère. Plus que ralentir l’hypercapitalisme de la surveillance, c’est bien ralentir l’hypersuveillance à laquelle il va nous falloir nous attaquer. Trouver les moyens et les leviers d’une dénumérisation. Zuboff esquisse quelques pistes, comme celle, essentielle de récupérer l’accès aux produits de données pour en discuter du bien-fondé. Mais c’est encore accéder à un calcul pour l’inspecter et l’orienter autrement, plus que de le limiter. Dans son livre, Zuboff finalement, est plus critique du capitalisme que de la tech ou que de la surveillance, comme le pointait très bien la critique nourrie d’Evgeny Morozov. Dans le capitalisme de surveillance, le double enjeu est certainement de contraindre à la fois la dérive d’un capitalisme sans limites et à la fois la dérive d’une surveillance technologique elle aussi hélas sans limites.

Hubert Guillaud