Forces et faiblesses de l’approche collaborative : l’exemple de Wikipédia

Ce nouveau texte du groupe Intelligence Collective de la Fing se penche sur la production des collectifs. Il cherche à distinguer les points forts et les points plus faibles par rapport à une approche plus classique où un texte est produit par un expert (avec éventuellement une relecture collective mais une décision finale individuelle). L’analyse a porté sur les articles rédigés collectivement dans l’encyclopédie Wikipédia, mais il serait intéressant d’aller plus loin en étudiant la production de plusieurs collectifs.

L’hypothèse qui ressort de ce travail va dans le sens d’autres études similaires. Un texte produit collectivement pourrait être évalué de manière automatique en terme de maturité et de convergence, donnant ainsi une indication au lecteur des cas où se dégagent de l’intelligence collective (le tout est plus que la somme des parties), par rapport à une production d’experts individuels. Pour tester cette hypothèse, elle sera soumise au projet Autograph dans lequel la Fing s’est associé à plusieurs laboratoires afin de développer des outils de visualisation pour aider à la gouvernance des grands collectifs à base coopérative sur Internet.

Les forces de l’approche collaborative
Le nombre de contributeurs et les règles entre eux
Une des différences principales entre les deux formes repose dans l’approche par l’expertise pour les encyclopédies traditionnelles et par le nombre et la complexité pour l’encyclopédie Wikipédia.

Selon James Surowiecki (1), la moyenne des points de vue d’une masse importante de personnes – quelles que soient leurs compétences – est une information nettement plus pertinente que celle du meilleur des experts. Mais au-delà du simple nombre, c’est la conjonction entre le nombre (qui permet aux mécanismes d’auto-organisation de se développer) et les règles qui sont appliquées entre les membres du groupe, qui feront que le groupe pourra prendre en compte plus de facettes d’un problème complexe qu’une seule personne… ou au contraire s’aligner sur le moins disant. Les interactions expert / masse permettent surtout de pousser beaucoup plus loin les points de vue de chacun, tout en disposant des connaissances et de l’expérience nécessaire pour traiter le problème dans de bonnes conditions.

Mais pour cela il faut que le mécanisme d’extraction des points de vues d’une masse importante de personne ne soit pas biaisé et offre quelques-unes des garanties suivantes :

Apporter des regards neufs sur les questions même anciennes
Il s’agit d’un point important car sinon on reste figé sur une seule vision sans faire « avancer le savoir ». C’est tout l’intérêt de ceux que l’on a appelé ici les « cavaliers seuls » qui partent sur de nouvelles solutions et ouvrent les possibles. Le fait de ne pas trancher dans tous les cas litigieux (ce qui n’est tout de même pas la majorité des articles mais sûrement ceux où il est le plus nécessaire de regarder de près…), mais au contraire de donner les éléments sur les thèses en présence, part d’un présupposé qui n’existait pas à l’époque de Diderot : « Le rêve de l’encyclopédie absolue n’est pas atteignable ».

Une gestion fine et claire du conflit d’intérêt
Pour surmonter les conflits d’intérêts, l’approche collaborative permet de cumuler les avis et même de faire cohabiter les divergences qui sont aussi des éléments de l’Histoire (voir l’exemple de l’article secte dans Wikipédia). Cela n’est valable que pour les articles qui ne sont pas le fait d’un petit groupe fermé de contributeurs mais qui, au contraire, ont été revus par un grand nombre de personnes. C’est le cas pour des articles perçus comme sensibles où les relecteurs sont nombreux. Cela peut poser plus de problèmes pour des articles très pointus sur lesquels il y a peu de spécialistes et dont seulement un ou quelques spécialistes, d’accord entre eux, se sont intéressés à l’article. La solution repose sur l’évaluation du conflit d’intérêt, peut être en faisant ressortir un indicateur qui montrerait si il y a eu débat ou non lors de la rédaction de l’article ?

On voit en pratique une distinction entre :

  • Les articles sur lesquels l’approche de chacun est convergente, dont les corrections proposées sont clairement considérées comme corrigeant une erreur et ne prête donc pas à discussion. Dans ce cas, le nombre simple permet de corriger un certain nombre d’erreurs objectives.
  • Pour les articles où il peut y avoir divergence de vues (par exemple sur les sectes ou, aux Etats-Unis, sur l’évolutionnisme), alors les approches des deux encyclopédies sont radicalement différentes. Dans le cas de l’encyclopédie traditionnelle, l’affirmation n’est pas donnée par le « meilleur des experts » (chose impossible à savoir tant que l’information n’est pas devenue incontestable) mais par les « experts reconnus » (ce qui veut dire que si l’encyclopédie avait existé au XVIe siècle alors il n’y serait donné que la thèse officielle : « le Soleil tourne autour de la Terre »). Pour Wikipédia, au contraire, dans ce cas, lorsque les avis sont irréconciliables (comme c’est le cas pour la définition de ce qu’est une secte), on y trouve les différentes approches (avec la possibilité de savoir le plus souvent qui affirme quoi). Il est ainsi possible pour le lecteur : soit de décider que c’est la thèse « officielle » qui est la bonne, soit d’accepter l’incertitude et d’avoir une idée des thèses qui s’affrontent. Ces deux exemples (la Terre au XVIe siècle et la controverse entre créationnisme et évolutionnisme) sont pertinents car ils montrent deux cas extrêmes : le cas où la thèse officielle est infirmée par la suite (entre autre par Galilée qui n’aurait peut-être pas été choisi comme contributeur d’une encyclopédie s’il y en avait eu une à l’époque) ; et le cas ou la thèse alternative est plus que probablement biaisée par des enjeux religieux (dans le cas du créationnisme).

Nous pouvons donc considérer deux aspects où :

  • dans un cas non litigieux, on s’achemine vers un article de plus en plus juste (même si des premiers articles peuvent comprendre des erreurs comme c’est le cas dans toute encyclopédie) à condition que le nombre de lecteurs/contributeurs sur un article soit suffisamment grand ;
  • dans l’autre cas, le traitement des articles litigieux ne part pas du principe qu’il existe une vérité absolue mais plutôt de plusieurs avis qui, à ce stade, peuvent être considérés comme plus ou moins probables (sans que cette probabilité soit complètement mesurable dès que l’on introduit dans l’article des éléments subjectifs, des conflits d’intérêt, etc.)

Les faiblesses de l’approche collaborative
L’approche collaborative ne converge pas toujours vers l’objectif attendu, on peut parfois converger vers une mauvaise solution (en cas de conflit par exemple).

On peut chercher à décrire un mécanisme de « réparation spontanée » qui permet :

  • de faire converger de façon itérative vers des solutions toujours meilleures ;
  • de « réparer » les articles qui ont fait l’objet de contributions dégradant leur qualité (vandalisme, prosélytisme, suppression des visions alternatives).

La réparation spontanée ne peut exister et être fiable que si les lecteurs ont la volonté et la motivation de « lire d’un oeil critique », c’est-à-dire avec une culture du doute. Pour éviter le vandalisme et les faux articles et rumeurs, la confiance réciproque est primordiale. Une confiance qui fonde cette entreprise collective sur un contrôle a posteriori, et donc sur la confiance a priori.

Comment faire pour que la meilleure solution émerge ?

Quelques propositions pour améliorer le processus coopératif

1. Limiter le vandalisme anonyme
En mettant en place un système de signature dans la partie discussion de la page pour contrer l’anonymat des informations.

2. Donner une indication sur la qualité des articles
1) Créer une évaluation par les lecteurs, permettant de savoir si beaucoup de personnes ont lu, accepté ou rejeté les différents articles.

2) Créer un « score du processus de débat coopératif » en décomposant les informations disponibles en ligne en fonction du type d’article :

  • Articles avec peu de contributeurs : danger d’erreur car pas de garantie de l’expertise individuelle ou danger de prosélytisme ;
  • Articles avec beaucoup de contributeurs et convergeant vers un résultat unique (probablement de meilleure qualité) ;
  • Articles avec beaucoup de contributeurs mais ne convergeant pas (ex. les sectes) : ceux-ci ont un traitement très différent des articles des encyclopédies classiques ;
  • Articles vandalisés ou sujet à de nombreuses dégradations.

3) Proposer des versions « validées » selon le modèle de fonctionnement des logiciels libres, une version en développement et des « release » stables.

3. Intervention des experts dans la validation
Le rôle de l’expert dans ce cas change. Il est là pour valider :

  • Qu’il n’y a pas d’erreur apparente dans l’article (cf. l’approche de validation dans l’article de Nature)
  • Que le processus coopératif a bien été suivi et qu’il y a donc eu la possibilité pour des avis contradictoires de s’exprimer.

Par contre, en cas de non validation, les experts ne pourraient pas proposer un article alternatif qu’ils auto-valideraient mais seulement un commentaire en remettant l’article à la discussion.

Document préparé par le groupe Intelligence Collective de la Fing à partir des contributions de Olivier Auber, Antoine Christen, Jean-Michel Cornu, Jérôme Delaunay, Yves Duron, Yann Forget, Aurelien Gaucherand, Hubert Guillaud, Daniel Kaplan, Atakan Karakis, Arnaud Klein, Fabien Lair, Yann Le Guennec, Pierre Levy, Bernard Prieur-Smeter, Marc Siramy, Rémi Stranx. Rapporteurs : Arnaud Klein et Jean-Michel Cornu.

Cet article a été originellement publié sur le site du groupe intelligence collective : http://ic.fing.org/news/24.shtml

____
1 : « According to James Surowiecki, the author of the book ‘The wisdom of crowds’, this approach works best if the members of the group are large in number, cognitively diverse, fiercely independent, organised in a decentralised fashion and provided with an incentive to get their predictions right. » (James Surowiecki, se faisait l’écho d’universitaires (Stanford) et du département de la défense américain). Voir « The power of collective wisdom » de Joshi Venugopal et The Wisdom of Crowd : Why the Many Are Smarter Than the Few de James Surowiecki.

Voir aussi le dossier Wikipédia de la Cellule Veille Scientifique et Technique de l’Institut National de Recherche Pédagogique.

À lire aussi sur internetactu.net

5 commentaires

  1. Ce document issu d’un groupe intelligent de réflexion sur l’intelligence collective est une intelligente synthèse, qui a notamment l’avantage de montrer qu’il n’est pas absurde d’accepter l’existence de différentes approches, de différentes vérités/réalités/vision du monde, en bref, que nous pouvons accepter une certaine incertitude du savoir.

    J’aimerais simplement intégrer à cette synthèse quelques questions qu’il me semble important de poser, quitte à ouvrir des portes ouvertes.

    1/ Quid du coût de production, du rapport entre l’élaboration du savoir, financement des personnes, et qualité/indépendance des articles?

    A l’heure actuelle, dans le système économique et social dans lequel nous nous trouvons, la construction d’un article encyclopédique non rémunéré dans le cadre de Wikipédia n’est-elle pas majoritairement que le fait que de spécialistes en poste, socialement et financièrement à l’abri, d’étudiants spécialistes en recherche financée, de retraités intellectuellement actifs et financièrement indemnisé, ou de professionnels/militants du domaine auquel est rattaché l’article en question?

    Ainsi, non seulement ses articles dits collaboratifs ne sont pas forcément plus « démocratiques » que d’autres formes de production de savoir, parce qu’ils sont majoritairement écrits par ceux que la société ou le groupe intéressé par l’article a déjà désigné comme ses spécialistes, mais cette construction du savoir est aussi donc dépendante de sources de financements qui ne sont majoritairement pas collaboratifs, mais personnels et contextualisés, certes externes au système de production d’article, mais nécessaires à l’existence de cette production.

    2/ Comment dépasser le syndrôme de la « pression du groupe », qui n’est pas toujours, loin s’en faut, intelligente?

    Cette forme collaborative d’un savoir en mouvement me semble couvrir en elle un danger paradoxal. L’effacement et la reconstruction perpétuelle d’un article de type Wikipedia peut finir par faire triompher à une période donnée une vision du monde simplement par la force de la pression d’un groupe, plus fort qu’un autre, et qui n’est pas forcément plus proche de la Vérité.

    Dans le même registre, et pour illustrer mon propos, les expériences de Salomon Asch rapportées dans l’ouvrage de Paul Watzlawick, « La réalité de la réalité », montrent que le groupe peut avoir rationnellement tort sur un sujet, et que, du point de vue du dissident au groupe, plus proche de la Vérité, on préfère se ranger à l’avis du groupe, par peur, confort, etc… « A moi, il me semble que j’ai raison, mais ma raison me dit que j’ai tort, parce que je doute de pouvoir être le seul à avoir raison tandis que temps de gens se trompent »

    ….

  2. Je fais partie des nombreux collaborateurs qui tentent de maintenir sur Wikipedia les articles généralement sévères qu’ils écrivent sur une secte fort connue , laquelle ne supporte pas la moindre critique et utilise de nombreux déguisements pour faire passer ses messages.

    Un passage de l’étude sur l’approche collaborative discute justement de Wikipedia, et c’est sans doute dans ce sujet sectes qu’on tombe en effet sur l’un des écueils principaux: le refus des critiques, conduisant au vandalisme, sous diverses formes. Ainsi, un contributeur anonyme a effacé presque intégralement ce que j’avais écrit sur la secte en question, en prétendant que je n’étais pas *neutre*.

    Or, c’est un des principaux problèmes de l’approche collaborative sur des sujets très controversés : il est hors de question d’être neutre quand il s’agit de *faits* et non plus d’opinions.

    Si quelqu’un dit Dieu existe et l’autre, non, il n’existe pas,la discussion peut durer longtemps.

    Mais si l’un des auteurs annonce « les Croisades ont fait des centaines de milliers de morts innocents », il ne s’agit plus d’opinion, mais d’un fait. Pas question d’y revenir ou d’effacer le texte.

    Qu’on énonce une opinion en disant « selon moi…. » devrait aussi être accepté comme tel sans pouvoir être modifié autrement qu’un ajoutant un e parenthèse « M. X n’est d’accord … », suivi d’un renvoi en bas de page pour les explications.

    Lorsqu’un censeur anonyme, comme c’est le cas de celui qui a éliminé l’essentiel de mon texte sur une secte sur Wikipedia, ait la possibilité de dire « vous n’êtes pas neutre » alors qu’il s’agit de faits avérés, et qu’il puisse ajouter une opinion qualitative « votre texte était mal écrit » pour s’autoriser à dézinguer un texte essentiellement factuel tout en laissant passer les mensonges directs de la secte critiquée par ce texte, ce n’est pas acceptable.

    Je pense donc que pour tout ce qui relève des *faits démontrables* ou des évidences, il ne devrait pas être permis à un anonyme de vandaliser un auteur. Bien entendu, si l’auteur n’apporte pas les références, on doit être en droit de les lui demander, pour éviter les affirmations faites de mauvaise foi ou à la légère, ou purement prosélytes.
    .
    Par contre, dès qu’il s’agirait d’opinions infondées, le débat resterait évidemment ouvert aux interprétations et modifications par d’autres auteurs.

    Enfin, à moins qu’un auteur ait écrit un texte réellement incompréhensible même pour les spécialistes, il ne devrait jamais être permis à un autre auteur de se baser sur la qualité d’écriture du précédent pour faire sauter son travail. (Pourquoi sinon n’interdirait-on pas ‘aux chinois’ ne parlant pas un français universitaire châtié de participer à une discussion sur la Chine? )

    En résumé, il me semble qu’on peut améliorer la qualité des oeuvres collaboratives en:

    1/ Interdisant à des auteurs anonymes ou non joignables directement par le public de modifier les articles des auteurs connus.

    2/ interdisant d’ôter les faits prouvés ou les évidences ressortant de faits connus. Exemple: « Hitler était un despote raciste et sanguinaire » ne pourrait être contesté ou enlevé.

    Cette problématique rejoint un aspect qu’on rencontre parfois dans les études et textes universitaires: il devrait être possible, au moins pour les cas sérieux, d’avoir recours à un Comité de Pairs qui condamnerait la partialité exagérée de certains textes en expliquant pourquoi.

    En effet, il arrive encore que des auteurs acceptent des commandes « d’études » venant de groupes de pression exigeant qu’on fasse vraiment la part belle à leurs théories. Ces études servent ensuite de « preuves » à de véritables escroqueries.

  3. « Selon James Surowiecki (1), la moyenne des points de vue d’une masse importante de personnes – quelles que soient leurs compétences – est une information nettement plus pertinente que celle du meilleur des experts. »

    Ne serait-il pas plus pertinent d’avoir sur cette question la moyenne des points de vue d’une masse importante ?

  4. « Apporter des regards neufs sur les questions même anciennes »

    Ayant participé à la rédaction de la page http://fr.wikipedia.org/wiki/Wikipédia:Travaux_inédits , je fais partie des personnes qui pensent que Wikipédia n’est pas faite pour produire du savoir mais pour apporter un témoignage de l’état actuel des connaissances de l’Humanité. Je pense sincèrement que les deux préoccupations sont pour le moins incompatibles et qu’en tout cas, si Wikipédia est relativement bien adapté pour produire une synthèse des savoirs actuels il est totalement incapable, par manque de comité éditorial , de faire le tri entre les « délires » et les théories novatrices dignes d’intérêt. En tant que source de savoir sous licence libre, Wikipédia est déjà un projet digne d’intérêt. Il faut savoir accepter ses limites et ne pas chercher à lui donner un rôle pour lequel elle n’a pas été conçue, d’autant qu’il existe d’autres outils nettement mieux adaptés à la revue de pairs.

  5. Roger Gonnet: vous dites que la phrase « les Croisades ont fait des centaines de milliers de morts innocents » ne décrit qu’un fait, c’est faux. Le mot « innocent » utilisé dans ce contexte est très tendancieux. Le flou sur le chiffre exact en rajoute dans le coté interprétation.

    Si vous voulez décrire un fait de façon objective, il faudra plutôt dire quelque chose comme: « Le nombre de victime civiles dûes aux Croisades est estimé à tant par tel et tel auteurs ». Là, et si vos sources sont vérifiables, votre phrase sera acceptée: les chiffres sont précis, leur source est indiqué, le terme de « civiles » est bien plus objectif et précis que « innocentes »: c’est inattaquable. Eviter le flou et les termes aux multiples interprétations est un premier pas vers l’objectivité.

    Par ailleurs, article très intéressant. Une précision tout de même au sujet de la validation par des experts: a l’origine Wikipédia est né, justement, de l’échec d’un modèle où des experts devaient valider les articles écrits par ce que vous nommez « la masse ». Le problème est surtout l’immensité de la tâche et donc son coût: comment rassembler suffisement d’experts, comment vérifier systématiquement leur niveau d’expértise et leur reconnaissance, comment les rénumérer (seront ils volontaires pour du bénévolat?), comment obtenir un rendement suffisant? Wikipédia anglophone compte déjà plus d’un million d’articles en constant évolution: pour expertiser tout celà en temps réel, il faudra un très grand nombre de professionnels travaillant de façon très intense.

    Bref, pratiquement cette solution me semble irréaliste.

    Guillemet

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *