Michael Hobbs (@rottenindenmark), consultant humanitaire, signe pour le New Republic (@tnr) une très longue tribune assez assassine de la philanthropie telle que l’Occident la pratique et la science la consacre. En évoquant les échecs de l’aide au développement, il nous parle aussi, entre les lignes, de la manière dont les nouvelles technologies, l’innovation et les startups, qui souhaitent tous changer le monde, échouent. Et c’est certainement avec ce filtre de lecture là que son billet prend tout son sens.
Michael Hobbs commence par revenir sur l’échec de PlayPump (que nous avions évoqué dans « Les limites des bonnes intentions, le design social n’est pas si simple »), ces pompes à eau pour l’Afrique que les enfants actionnaient en jouant. Un échec qui suit un sempiternel modèle : une idée nouvelle et excitante, un impact énorme à un endroit, un afflux de dollars, une expansion rapide qui se solde par un échec coûteux.
Image : le projet PlayPumps continue en Afrique du Sud, Lesotho et au Swaziland.
Les programmes d’aide au développement : des expérimentations sans grande transparence
Hobbs pourrait lister de nombreuses autres belles idées d’aide au développement qui ont échoué. En février dernier, Joshua Keating pour Slate.com, s’interrogeait pour savoir si l’on pouvait faire de la pauvreté une science expérimentale. Dans les années 90, l’économiste de Harvard, Michael Kremer a fait l’une des premières expérimentations aléatoires au Kenya en choisissant 25 écoles aléatoirement pour leur fournir des manuels et regarder si cela avait un impact sur les résultats scolaires de ces écoles comparées aux autres (non, cela a seulement amélioré les résultats des meilleurs élèves de ces classes). Les gouvernements et les organisations humanitaires ont mis du temps à adopter ces approches d’expérimentations aléatoires, car l’idée de conduire des expériences sur les pauvres est loin de plaire à tout le monde, pour de bonnes raisons qu’on devine aisément. Mais pour Chris Blattman de la Columbia University (qui tient un blog populaire sur le développement international), la plupart des programmes de développement ne sont que des expérimentations et la plupart du temps, des expérimentations bien peu transparentes.
Abhijit Banerjee et Esther Duflo, dans leur livre, Repenser la pauvreté ont été les grands évangélistes de ce type d’expériences. Ils ont montré par exemple que fournir des uniformes aux collégiennes avait plus d’effet pour réduire les grossesses adolescentes que les programmes d’éducation sexuelle. Les études aléatoires ont montré que malgré son succès, la microfinance aidait les entreprises au démarrage, mais avait peu d’impact sur la pauvreté ou l’autonomisation des femmes. L’économiste de Princeton Angus Deaton demeure critique face à ces expériences aléatoires, dont les enseignements sont peu reproductibles d’un pays à un autre et dont médias et politiques exagèrent les conclusions. Elles ont au moins eu le mérite de montrer qu’il fallait plus de rigueur méthodologique dans la mesure des interventions dans les pays en développement.
C’est ce qu’avance également Michael Hobbes, en critiquant le « philanthrocapitalisme ». Tout le monde contribue au dysfonctionnement du développement international : donateurs, gouvernements, publics, médias, bénéficiaires. « Le problème n’est pas que le développement international ne fonctionne pas. C’est qu’il ne peut pas fonctionner. »
Hobbes revient lui aussi sur les expérimentations de Michael Kremer, montrant qu’après son échec avec l’introduction de manuels, il s’est intéressé à l’introduction de médicaments contre les parasites intestinaux. Cette fois, ses tests se sont avérés concluants : les enfants testés se sont révélés être plus présents à l’école que les autres, et 10 ans plus tard, ces enfants avaient suivi une meilleure scolarité et gagnaient des salaires plus élevés que ceux qui n’avaient pas reçu le traitement. Bingo ! Le déparasitage était moins coûteux que les manuels et leur effet semblait de plus long terme. La science triomphait.
Que mesurent les expérimentations ? Les limites de la scientifisation
Armé de ses résultats, Kremer a fondé une ONG pour vermifuger le monde qu’il a lancé au Forum économique mondial de 2007. L’ONG affirme avoir aidé depuis 40 millions d’enfants dans plus de 27 pays. Mais elle ne communique plus pour savoir si les ces millions d’enfants ont vu leur taux de présence à l’école ou leurs résultats scolaires s’améliorer ! Pour Kremer, il y avait eu assez d’essais pour passer à l’échelle. “Chaque fois que vous voulez construire une nouvelle route, vous n’allez pas aller demander aux gens si c’est vraiment utile pour aller d’un endroit à l’autre ?”
En 2000, le British Medical Journal a publié une revue de littérature sur une trentaine d’essais aléatoires de déparasitages dans 17 pays différents. Si certains d’entre eux ont montré des gains modestes dans le poids et la taille des enfants, aucun n’a démontré d’effets sur la fréquentation scolaire ou la performance cognitive. Le BMJ a répété cette étude en 2009 et 2012, mais les résultats n’ont pas changé.
Par ces exemples, Hobbes montre combien les tests, aléatoires ou pas, sont en fait difficiles tant ils nécessitent de prendre en compte bien des facteurs. Sur les manuels au Kenya, il souligne que les manuels qui avaient été confiés aux enfants étaient en anglais, ce qui bien souvent n’est que la deuxième ou troisième langue des enfants, une langue donc que très peu savent lire, favorisant forcément les meilleurs éléments. Dans les années 80, plusieurs études ont montré, elles, que les manuels étaient réellement efficaces pour améliorer les performances scolaires d’enfants de pays en développement dans des endroits où les questions linguistiques n’étaient pas aussi complexes.
Pour Hobbes, ces exemples inextricables, où la science croit nous aider, montrent surtout les limites de nos connaissances et nos difficultés à envisager le passage à l’échelle.
« Il y a des villages où le déparasitage sera le projet d’éducation le plus significatif. Et d’autres où le manuel gratuit sera plus efficace. Dans d’autres endroits, ce sera de nouveaux bâtiments scolaires, des enseignants, l’amélioration des transports, le port d’uniformes… Il y a probablement un village où la PlayPump battrait toutes ces approches combinées. Le point est que nous ne savons pas ce qui fonctionne, où, ni pourquoi. La seule façon de le savoir est de tester ces modèles, pas juste avant leur succès initial, mais après, et constamment. »
Et Hobbes de s’interroger pour savoir pourquoi, quand quelqu’un semble avoir trouvé une formule gagnante, tout le monde veut la déployer. Le passage à l’échelle, la répétition d’un succès ne sont jamais assurés. Les conférenciers de TED devraient en être conscient, ironise Hobbes… en se moquant des démonstrations trop faciles faites d’études rarement indépendantes qui cherchent à prouver la thèse du conférencier…
Comment assurer le suivi et l’évaluation des expérimentations ?
Le problème ne repose pas seulement sur la manière dont est évaluée l’aide au développement. Nous aussi, en tant que donateurs pensons que nos dons sont mieux dépensés dans les organisations où les frais de fonctionnement sont limités. Or, comment assurer le suivi et l’évaluation des expérimentations quand la plupart des ONG plafonnent leurs dépenses à 10 % ? Qu’importe que la soupe offerte le soit avec chaleur ou pas, qu’importe la complexité d’un événement à organiser pour récolter des fonds… quand les donateurs pensent que l’efficacité se mesure au niveau de redistribution de leur argent.
Bien des programmes qui semblent marcher ont aussi des effets de bords qui génèrent de nouveaux problèmes. Hobbes évoque plusieurs exemples, dont notamment celui d’un projet pour les adolescents dans une ville en proie aux gangs, proposant des ateliers et du travail aux jeunes filles si elles ne commettaient aucune violence pendant 6 mois. Le programme a bien marché, mais au bout de 6 mois, toutes les jeunes filles en ayant bénéficié étaient tombées enceintes ! Le travail les avait fait se sentir importantes, leur avait donné une nouvelle identité tant et si bien qu’elles avaient besoin de donner un nouveau sens à leurs vies !
Nous sommes dans des systèmes adaptatifs complexes diraient les chercheurs, et toute action faite sur l’écosystème existant à des conséquences enchevêtrées et compliquées à prédire, rappelle le consultant. Comme le lui expliquait l’un de ses amis qui travaille dans une ONG chargée d’inspecter le travail des enfants et le travail forcé en Chine et en Inde, il est difficile de savoir si, en 10 ans d’actions, les conditions se sont améliorées. Chaque fois que vous définissez de nouvelles normes pour mettre fin à ces formes de travail, certaines entreprises y répondent, mais d’autres les contournent ou les effets se déplacent.
« Ce n’est pas l’aide au développement qui est cassée, ce sont nos attentes qui le sont »
Pour Hobbes, donateurs, bénéficiaires et ONG se contredisent. Mais « ce n’est pas l’aide au développement qui est cassée, ce sont nos attentes qui le sont ».
Et Hobbes de conclure sur les progrès de l’aide au développement : la prospérité ne cesse de répandre. Même les pays les plus pauvres du monde n’ont cessé de progresser ces cinquante dernières années. Et pas seulement grâce à l’aide au développement… En 2013, l’aide au développement des pays riches a totalisé 134 milliards, soit environ 112 dollars par an pour chacun des 1,2 milliards d’habitants de la planète qui vit avec moins de 1,25 dollar par jour. L’aide au développement n’est encore qu’une goutte d’eau dans l’océan des inégalités. La capacité de l’aide au développement pour aider le développement des pays est limitée. Quand on regarde en détail les chiffres de Kremer sur l’effet du vermifuge sur le développement, on constate qu’ils ne permettent aux enfants que d’espérer gagner qu’une trentaine de dollars en plus des autres enfants au cours de toute leur vie ! Une perspective qui permet de relativiser la portée de l’effet mesuré… Bien sûr, ce n’est pas pour autant qu’il ne faut pas le faire !
« Si un traitement de vermifuge qui coûte 49 centimes de dollars permet d’augmenter le salaire des personnes les plus pauvres de 30$, nous serions idiots de ne pas les dépenser. Les arguments contre l’aide internationale sont innombrables et le plus souvent logistiques et techniques. L’argument en sa faveur est lui singulier et moral, et pour moi, il est déjà tout à fait convaincant. Nous avons tant et ils ont si peu ! »
Pour Michael Hobbes, l’enjeu ici n’est pas de critiquer les projets eux-mêmes ou de les faire disparaître parce qu’ils ne seraient pas assez efficaces. Mais si nous voulons vraiment réparer le développement, nous devons cesser de croire et de faire croire que nous allons faire des miracles. Et les pays riches devraient passer moins de temps à débattre de comment réduire la petite part de leur PIB qu’ils dépensent dans l’aide au développement et plus de temps sur comment tirer partir de leur puissance économique et politique pour accompagner et favoriser le développement de ces pays. Comme le dit le spécialiste du développement, Owen Barder du Centre pour le développement global : « si nous croyons que le commerce est important, nous pourrions faire plus pour ouvrir nos propres marchés au commerce des pays en développement. Si nous croyons que les droits de propriété sont importants, nous pourrions faire plus pour faire respecter le principe que les nations (et pas leurs dirigeants illégitimes) sont propriétaires de leurs propres ressources naturelles… »
PlayPump était une bonne idée, termine Hobbes. Mais la prochaine fois que nous avons une grande idée, nous devrions peut-être la rêver un petit peu plus petite, c’est-à-dire, un peu plus modeste.
En tout cas, ce que pointe bien cet article, il me semble, c’est la limite de la scientifisation. Une question qui rejoint les interrogations récentes de chercheurs sur les limites de la réplication et la réflexion sur un meilleur partage des protocoles et des résultats de recherche, qui nous rappellent que « la vérité scientifique est générée par l’accumulation de résultats au cours du temps, pas par l’éclat ou le bruit d’une étude isolée”.
Hubert Guillaud
0 commentaires
Article intéressant. Ça m’a immédiatement fait penser aux conférences TED.
D’un point de vue plus macro, on peut aussi se demander quelle est la meilleure manière pour aider un pays pauvre à se développer (c.à.d. comment optimiser les aides au développement) : en priorité encourager les réformes économiques, dans l’espoir de soutenir une politique éducative sur le long terme, ou l’inverse : instruire les jeunes pour leur donner les moyens de développer l’économie et de s’impliquer dans la politique. À moins que la santé soit la priorité ?
« Nous sommes dans des systèmes adaptatifs complexes diraient les chercheurs » : « systèmes adaptatifs complexe » ça, c’est ce que voit le chercheur. Mais le « cherché » : que voit-il ? C’est ignorer une dimension essentielle du problème: le fait que le chercheur a affaire à un sujet en recherche et non pas à un objet de recherche – autrement dit, son soi-disant « objet » peut parfaitement le chosifier, lui chercheur, autant que lui-même le chosifie… Autant, mais pas forcément selon le même mode! Et d’ailleurs, peut être le « cherché »ne le chosifie-t-il pas du tout, lui. Peut-être que le « cherché » cherche désespérément un rapport humain avec le « chercheur ». C’est là que l’idée de partage des résultat semble féconde -et plus précisément l’intégration sérieuse d’une ethnographie complémentariste dans ces tests aléatoires.
Concernant [17]: certaines expériences importantes ont été répliquées, en particulier récemment celle de Stanley Milgram sur la soumission servile à l’autorité – avec le même déprimant résultat. http://fr.wikipedia.org/wiki/Exp%C3%A9rience_de_Milgram
Commencer par réprimer les multinationales appliquant des politiques néocoloniales dans les pays « en voie de développement » (traduire: libres-services pour la structure de pouvoir occidentale), serait déjà un bon début.
Adam Grant (@adammgrant), professeur à la Wharton School de l’université de Pennsylvanie et auteur de Give & Take, et Sheryl Sandberg (@sherylsandberg), directrice des opérations de Facebook et fondatrice de LeanIn, un réseau pour promouvoir la réussite des femmes, viennent d’entamer une passionnante série sur la discrimination à l’encontre des femmes au travail pour le New York Times. Le premier volet de leur enquête revient sur les biais de genre et commence par évoquer une petite histoire assez connue.
40 à 75% des gens ont du mal à comprendre cette histoire. Et ceux qui la résolvent ont besoin de quelques minutes pour comprendre que la mère du garçon pourrait être chirurgien. Même lorsque nous avons les meilleures intentions, lorsque nous entendons les mots “chirurgien” ou “patron”, l’image qui apparaît dans nos esprits est souvent celle d’une personne de sexe masculin.
Notre culture est empreinte de stéréotypes sexistes. Partout, les managers (masculins comme féminins) continuent de favoriser les hommes par rapport aux femmes à l’embauche, à qualification, salaire, performance égales…
Pour résoudre ce problème, l’enjeu est de sensibiliser les gens à leur partialité. L’hypothèse étant que lorsque les gens se rendent compte de leurs préjugés, ils sont plus susceptibles de les surmonter (c’est ce qu’avançait Chris Mooney pour Mother Jones pour combattre les stéréotypes raciaux que nous évoquions récemment). Mais de nouvelles recherches suggèrent que, si nous n’y prêtons pas attention, rendre les gens conscients de leurs biais peut les conduire à être encore plus discriminant ! Pourquoi ?
Grant et Sandberg se réfèrent aux travaux des psychologues Michelle Duguid et Melissa Thomas-Hunt, ainsi qu’à ceux du spécialiste de la persuasion, Robert Cialdini. Ce dernier a mené une expérience d’économie comportementale intéressante. Dans un parc national américain, pour empêcher les visiteurs de voler du bois pétrifié, ses équipes ont fait évoluer les messages d’avertissements. De “beaucoup de visiteurs passés ont emportés du bois pétrifié du parc, ce qui change l’état de la forêt pétrifié”, ils sont passés à un message plus grave : “Votre patrimoine est vandalisé tous les ans par le vol de bois pétrifié : 14 tonnes par an qui disparaît principalement une pièce à la fois”. Mais ce nouveau message a augmenté le vol, passant de 5 à 8% par an ! Un fiasco !
La raison ? Les gens ont compris que le vol de bois pétrifié était un comportement commun et acceptable. “Nous avons la même réaction quand nous comprenons l’omniprésence des stéréotypes. Si tout le monde a un biais, alors nous n’avons plus besoin de nous en inquiéter et de nous censurer !”
Si la sensibilisation ne fait qu’empirer les choses, comment faire mieux ? La solution est de ne pas s’arrêter à pointer l’existence de stéréotypes, mais de pointer qu’ils sont indésirables et inacceptables ! L’équipe du professeur Cialdini a réduit le taux de vol à 1,67% en ajoutant une simple phrase : “S’il vous plait ne volez pas le bois pétrifié du parc”.
Dire que tous nos comportements ont des biais ne doit pas les légitimer. La plupart des gens ne souhaitent pas la discrimination et vous ne devriez pas l’accepter non plus. Adam Grant évoque encore qu’à Wharton, il a donné des cours sur la sous-représentation des femmes dans le leadership et a examiné les facteurs qui ont tenu les femmes en arrière. L’idée était qu’un dialogue public inciterait les femmes à l’action. Mais au cours des 5 mois qui ont suivi, le pourcentage d’étudiantes s’inscrivant aux MBA n’a pas évolué. L’année suivante, il a partager les mêmes informations mais a dit à ses étudiants qu’il ne souhaitait plus jamais que cela se reproduise. Dans les 5 mois qui ont suivi, le nombre d’étudiantes qui se sont inscrit au MBA sur le leadership a augmenté de 65%.
Article intéressant. Ça m’a immédiatement fait penser aux conférences TED.
D’un point de vue plus macro, on peut aussi se demander quelle est la meilleure manière pour aider un pays pauvre à se développer (c.à.d. comment optimiser les aides au développement) : en priorité encourager les réformes économiques, dans l’espoir de soutenir une politique éducative sur le long terme, ou l’inverse : instruire les jeunes pour leur donner les moyens de développer l’économie et de s’impliquer dans la politique. À moins que la santé soit la priorité ?
l’intelligence économique de la société civile a toujours initié des inventeurs pour progresser. Sauf qu’aujourd’hui la diaspora administrative a baillonné l’intelligence économique, c’est emparé de cette fonction et crois qu’elle va pouvoir faire surgir le progres.
Celui ci ne surgit que face à l’adversité sur le terrain par l’homme de l’art et non pas par le désir d’un bureaucrate.
Pour preuve. la loi est partout. Tellement que la communauté revient en arrière pour beaucoup de choses et ce n’est pas fini.
En 1967 j’allais en vélo au travail, en 2015 je fais du vélo pour aller plus vite et sans contrainte.
A force justement de vouloir sauver le monde on est en train de le bâilloner
Michael Zakaras d’Ashoka, une ONG spécialisée dans l’innovation sociale, livre pour Forbes une intéressante tribune sur les limites de l’innovation sociale.
Les objets, des téléphones mobiles, aux aliments protéinés pour lutter contre la malnutrition, sont de plus en plus utilisés pour le changement social. “Le paysage de l’innovation sociale est devenu tellement dominé par les objets, que nous avons perdu de vue leurs lacunes”. Les objets reposent sur une promesse très simple. “Si on fourni 10 000 moustiquaires à des familles en Tanzanie, cela va avoir un impact instantané. Si nous pouvons en livrer 12 000 l’année suivante, c’est un progrès. Cette histoire est facile à raconter. Facile à mesurer. En d’autres termes, elle est un rêve pour les ONG.”
« Le problème est que la solution rapide promise par les produits masque souvent la complexité du changement social. Ils offrent un soulagement temporaire à des symptômes de problèmes plus profonds plutôt que des solutions permanentes. Ils nous donnent l’illusion du progrès social, sans avoir à affronter la complexité qui maintient le statu quo. »
Zakaras évoque ainsi le problème des caméras de corps des policiers américains (voir notre article : « Les caméras pour policiers sont-elles une solution ? »). Il y rappelle, comme nous le faisions, l’absence de preuve que les caméras de corps aident les citoyens, et surtout que cette conversation sur leur utilité rend plus difficile celle sur l’inégalité raciale et le racisme de la police américaine.
Comme le disait Mark Twain : “Pour un homme avec un marteau, tout ressemble à un clou”.
Notre solutionnisme déforme notre façon de diagnostiquer les problèmes sociaux. Soit il nous empêche de voir le problème, soit il le simplifie jusqu’à ce qu’on y réponde par des solutions adaptées. Zakaras évoque ainsi la réforme de l’éducation à Los Angeles où le district a dépensé des milliards de dollars pour équiper les élèves d’iPad, alors que les études pointent toute l’importance de la qualité d’enseignement plutôt que sur celle de la technologie (Cf. « Dans la salle de classe du futur, les résultats ne progressent pas »). Les entrepreneurs sociaux sont sympathiques, leurs business modèles sont créatifs, “mais ils ont tendance à simplifier à l’excès de gros problèmes”. Leurs idées souffrent de “gradualisme”, c’est-à-dire qu’elles abordent les problèmes sociaux par les bords, plutôt que de s’attaquer à ce qui creuse les inégalités, ce qui érode les libertés civiles, consolide le pouvoir politique ou favorise la durabilité… Pour Zakaras cela ne signifie pas que la technologie et les objets doivent être mis de côtés, mais nous devrions reconnaître leurs limites dans les changements structurels à long terme.
Quand on cherche à résoudre un problème social, il vaut mieux supposer que le problème est beaucoup plus compliqué. C’est une leçon d’humilité qui devrait conduire les innovateurs sociaux à être plus patients et à privilégier l’investissement dans le changement systémique plutôt que dans le gadget, le temps long sur le jeu court.