L'actualité.
Sans le bruit.
Votre région.
Ses actualités.
Données cartographiques : GeoAlgeria · © contributeurs OpenStreetMap, ODbL
LE JOURNAL
Choisissez une date pour retrouver les articles complets publiés ce jour-là.
Chargement des archives…
Le monde d'aujourd'hui est un monde dominé par le langage des chiffres, des indicateurs et des classements ; c'est par eux que les universités et les écoles d'enseignement sont évaluées, que les compétences scientifiques sont mesurées, et que l'on juge de la réussite des politiques publiques dans le domaine de l'éducation et ailleurs. Nul doute que ces chiffres nous aident à comprendre la réalité et à comparer les résultats. Mais qu'arrive-t-il lorsque l'amélioration du chiffre chez le responsable devient plus importante que l'amélioration de la réalité de son institution ou de son ministère ? C'est cette contradiction que la loi de Campbell et Goodhart ont mise en lumière. Il s'agit d'études qui nous avertissent de ce comportement trompeur pour décrire la réalité de nos institutions, et qui révèlent comment les indicateurs, lorsqu'ils se transforment en objectifs, peuvent produire des résultats inverses.
1. La loi de Campbell… une loi simple
Nous n'avions jamais entendu parler de cette loi avant que notre consœur Leïla Zitouni, directrice de la rédaction de la revue Bichara al-Ouloum et professeure de mathématiques à l'École supérieure des enseignants - El-Kouba, ne nous y attire l'attention. Cette loi explique comment une politique visant à améliorer une situation donnée au sein d'une institution peut, en fin de compte, aboutir à l'effet inverse de celui escompté ? Et comment une école, par exemple, peut annoncer de meilleurs résultats sans que cela signifie que ses élèves ont atteint un meilleur niveau ? Et comment une administration publique peut confirmer l'amélioration de son niveau de performance alors que les citoyens ne constatent aucune amélioration dans ses services ? Pour comprendre ces contradictions, il faut connaître la loi de Campbell, ainsi que la loi de Goodhart, qui expriment une idée fondamentale selon laquelle les chiffres perdent de leur valeur lorsqu'ils deviennent des objectifs à atteindre.
Le psychologue américain Donald Campbell (1916-1996), spécialiste des méthodes de recherche en sciences sociales, a formulé en 1976 une remarque importante relative à l'évaluation des politiques publiques : plus on s'appuie sur un indicateur quantitatif pour prendre des décisions importantes, plus cela risque de conduire à des manipulations de cet indicateur et à des déformations des processus qu'il est censé mesurer. En d'autres termes, lorsqu'une institution apprend qu'elle sera récompensée ou sanctionnée en fonction d'un chiffre (indicateur) donné, il est probable qu'elle finira par donner la priorité à ce chiffre plutôt qu'à l'objectif visé qu'elle est censée atteindre.
Cette idée n'est pas spécifique à Campbell. L'économiste britannique Charles Goodhart avait également formulé une idée similaire, il y a 1975, dans son domaine de spécialisation. Il estimait qu'une régularité statistique tendrait à disparaître lorsqu'elle serait soumise à une pression aux fins de la contrôler. Un indicateur qui avait été utile par le passé pouvait perdre sa crédibilité lorsque les responsables essayaient de l'imposer aux acteurs, qui se mettaient alors à embellir le chiffre plutôt que d'améliorer la réalité que le chiffre était censé représenter.
La socio-anthropologue britannique Marilyn Strathern, professeure émérite à l'université de Cambridge, a résumé ce problème dans une phrase célèbre : "Lorsque la mesure devient un objectif, elle cesse d'être une bonne mesure". Cette idée a été publiée dans ses travaux de 1997 sur les systèmes d'évaluation dans les universités britanniques et est devenue l'une des phrases les plus citées dans le débat sur les indicateurs de performance.
On constate que les contributions de ces trois chercheurs sont convergentes, bien qu'elles partent de contextes différents : Campbell s'est concentré sur l'évaluation des politiques sociales, Goodhart s'est intéressé principalement aux questions économiques (monétaires), tandis que Strathern a étudié spécifiquement les pratiques d'évaluation des universités. Dans tous les cas, le problème ne réside pas dans les chiffres en eux-mêmes, mais dans l'absence d'investigation à leur sujet, le fait de négliger leurs limites et de confondre l'indicateur et la réalité qu'il est censé représenter.
2. L'école et l'université : le danger des indicateurs lorsqu'ils deviennent des objectifs.
Le domaine de l'éducation et de l'enseignement fournit des exemples clairs de ce problème. Lors de l'évaluation d'un système éducatif, de nombreux indicateurs sont utilisés, notamment les taux de réussite aux examens, les taux de redoublement, les résultats obtenus aux tests internationaux et le taux de diplômés. Ces données sont utiles, mais aucun d'entre eux ne suffit à mesurer la qualité de l'enseignement : un taux de réussite élevé signifie-t-il que les élèves ont, par exemple, mieux compris les mathématiques, qu'ils ont une meilleure maîtrise des langues ou qu'ils sont plus efficaces dans leur pensée indépendante ? Pas nécessairement.
Supposons que le ministère de l'Éducation ait fixé un objectif prioritaire qui consiste à réduire le redoublement. Cette politique peut être utile si elle est associée à un soutien pédagogique efficace. Mais si les établissements d'enseignement sont évalués sur la base d'un faible taux de redoublement, certains d'entre eux peuvent être incités à passer un plus grand nombre d'élèves au niveau supérieur sans résoudre leurs difficultés réelles. Ainsi, l'indicateur s'améliore, tandis que le traitement des lacunes est reporté aux années scolaires suivantes.
Le même problème apparaît dans l'enseignement supérieur : les classements internationaux des universités reposent sur des critères, parmi lesquels la réputation académique, les publications scientifiques, les citations, l'ouverture internationale et divers indicateurs institutionnels. Nous répétons ici que ces critères fournissent des informations utiles, mais qu'ils ne mesurent pas la qualité des cours, le niveau d'encadrement des étudiants, ni les connaissances qu'ils ont acquises au cours de leur parcours scolaire. Une université peut obtenir de très bons résultats en recherche scientifique, sans pour autant offrir un niveau acceptable en termes de qualité de l'enseignement dans toutes ses spécialités.
Si l'objectif principal des responsables universitaires est d'améliorer le classement de leur établissement dans les classements mondiaux, leurs efforts se concentreront sur les critères qui leur donnent des points supplémentaires, au détriment d'activités moins visibles ou plus difficiles à mesurer. C'est ainsi que les publications scientifiques, par exemple, deviennent une fin en soi, alors qu'elles sont censées contribuer au développement de la connaissance et à la formation des étudiants. C'est ce que met en garde la loi de Campbell. Le danger est également présent lors de l'évaluation des chercheurs : lorsque la promotion d'un professeur ou d'un chercheur et son parcours professionnel dépendent essentiellement du nombre de publications ou de citations, les pressions encouragent la publication de nombreux articles scientifiquement limités, ou la division artificielle des résultats de la recherche en plusieurs articles, ou le choix de sujets qui devraient obtenir plus de citations. C'est encore une fois ce que met en garde la loi de Campbell.
Ainsi, nous voyons que les règles d'évaluation conduisent à l'apparition d'incitations qui influencent le comportement du gestionnaire et du personnel. Les gens s'adaptent aux critères qu'ils savent être utilisés pour les évaluer : on retrouve cette idée dans l'ouvrage du journaliste et historien américain Jerry Muller, "The Tyranny of Metrics", paru en 2018.
3. L'importance de la loi de Campbell dans les politiques publiques
Faut-il pour autant renoncer aux statistiques et à l'évaluation quantitative ? Non. Sans indicateurs, il serait difficile de comparer les situations dans différents secteurs, de détecter leurs disparités, de suivre la progression des progrès et de demander des comptes aux responsables. C'est pourquoi la solution consiste à combiner plusieurs indicateurs au lieu de s'en tenir à un seul, et à mettre en évidence à la fois les aspects positifs et négatifs. Dans le domaine de l'éducation, par exemple, il faudrait comparer le taux de réussite aux examens avec des évaluations indépendantes des compétences, l'évolution des acquis et les conditions d'apprentissage. Dans les universités, il faudrait compléter les indicateurs de recherche scientifique par des informations sur l'encadrement et la qualité de la formation. Il est également recommandé de réexaminer régulièrement les effets des critères adoptés dans tous les domaines. Un indicateur qui était utile hier peut perdre de son utilité lorsque les comportements des acteurs s'adaptent à ses exigences. C'est à condition que l'évaluation demeure un outil pour prendre connaissance de la réalité et non un mécanisme aveugle de sanction et de punition.
Ainsi, Campbell, Goodhart, Strathern et Muller nous invitent à être prudents et à vérifier : l'indicateur n'est pas la réalité elle-même, mais une représentation partielle de celle-ci. Plus les décisions prises sur sa base sont importantes, plus il est nécessaire de vérifier qu'il mesure toujours ce que l'on veut réellement améliorer, pour ne pas se tromper.
En résumé, selon ces chercheurs, les chiffres ne sont pas en eux-mêmes suspects, mais le problème réside dans le fait de s'en contenter. Lorsqu'un ministère ou une institution annonce une progression, il ne suffit pas de se demander : "De combien le chiffre a-t-il augmenté ?", mais il faut également analyser et se demander : "Qu'est-ce qui s'est réellement amélioré ? Qui en bénéficie ? Et à quel prix cela a-t-il été obtenu ?". Ainsi, la loi de Campbell souligne que lorsque l'objectif de la gestion est d'obtenir de bons indicateurs, on finit par sacrifier ce pour quoi les indicateurs ont été mis en place.
Source : Echorouk