L’évaluation des impacts des projets d’assistance technique est de plus en plus nécessaire. Mais les indicateurs standards, reposant essentiellement sur des mesures quantitatives, ne sont pas forcément adaptés à la diversité des programmes. Quand les ressources le permettent, la conceptualisation d’une “chaîne d’impact” et l’utilisation d’une matrice de planification aident les praticiens à dégager des indicateurs adaptés à chaque étape du projet.

Depuis quelques temps, l’évaluation des impacts est une pratique à la mode. Les donateurs veulent en effet savoir ce qu’il est advenu de leur argent et les organisations tiennent à démontrer les nombreux impacts (en principe positifs) de leurs projets sur le développement. Cette nécessité d’évaluation est d’autant plus nécessaire que l’on reproche parfois à l’aide au développement d’être inefficace, sinon contre-productive1. Si l’assistance technique n’est habituellement pas considérée comme de l’aide au développement classique, elle doit, comme d’autres activités bénéficiant de financements publics, démontrer sa plus-value.
Les procédures d’évaluation conduisent bien souvent à la production de rapports ennuyeux, truffés de graphiques, abondamment illustrés de tableaux, s’appuyant sur de longues listes d’effets induits et autres “preuves” des impacts qu’auraient les projets d’assistance technique sur le développement. Les institutions financières de développement européennes ont des approches de l’évaluation de l’impact différenciées, qui peuvent faire appel à des méthodes très simples comme à des procédures plus élaborées. La forme et le contenu des rapports correspondent souvent aux exigences du promoteur du programme.

La quête d’indicateurs

La tendance générale est aux données chiffrées, l’impact d’un projet devant être vérifié par des indicateurs quantifiables. Dans l’idéal, on applique à chaque projet un ensemble d’indicateurs “standards” qui déterminent immédiatement son bénéfice sur le plan du développement. On attribue aussi des notes ou des points aux indicateurs, ce qui permet un classement des projets en fonction de leur efficacité. De ce fait, les “meilleures pratiques”, les acquis de l’expérience semblent pouvoir être recensés.

Toutefois, cette approche peut parfois poser question. Pour un programme d’assistance technique diversifié, comme l’est celui de la Deutsche Investitions – und Entwicklungsgesellschaft mbH (DEG), il est impossible d’établir un ensemble “standard” d’indicateurs pour mesurer les impacts de chaque projet. En effet, les projets relèvent de secteurs différents, sont de taille et de durée variables. Ils répondent souvent à des problématiques très précises. L’impact d’une étude de marché sur le secteur des énergies renouvelables en Serbie, par exemple, est difficilement comparable aux retombées d’une formation à la gestion actif-passif conduite auprès d’employés de banque de différents pays. Contrairement aux projets d’investissement “courants”, l’application d’un ensemble standard d’indicateurs aux projets d’assistance technique ne rendrait pas justice à leur diversité. Il est possible en revanche de les regrouper par catégorie et d’établir pour chacune d’entre elles des indicateurs communs. La banque de développement néerlandaise FMO, par exemple, travaille avec les six catégories suivantes : “Renforcement de la gestion”, “Environnement et social”, “Développement de produits”, “Séminaires et conférences”, “Renforcement des organisations” et “Gouvernance d’entreprise”2.

La chaîne d’impact, un outil adapté à la diversité des projets

Pour que l’évaluation des impacts tienne compte de la nature particulière d’un projet d’assistance technique, on peut faire appel aux “chaînes d’impact”. La chaîne d’impact d’un projet décrit le lien entre l’intervention et les impacts pouvant en résulter ; elle présente plusieurs étapes, montrant à chaque fois les relations causales probables.

La figure 1 représente une chaîne d’impact stylisée et donne quelques exemples de projets d’assistance technique conduits par la DEG. Considérons le premier exemple d’un diagnostic de performance énergétique réalisé par un spécialiste dans une entreprise partenaire, le produit de ce projet d’assistance technique prend la forme d’un rapport préconisant des mesures d’économie d’énergie. À la suite de ce rapport, l’entreprise met en œuvre des mesures d’économie d’énergie (résultat) qui réduisent sa consommation – ce qui peut contribuer à l’objectif plus général de protection du climat (impact). Les relations causales entre les différentes étapes reposent sur certaines hypothèses ; l’impact final de “protection du climat” du projet, par exemple, suppose que l’énergie consommée par l’entreprise provienne de sources fossiles. tobias bidlingmaier,deg,revue n°11,assistance technique,impacts,projetsCe projet serait évidemment mal noté si on appliquait les indicateurs d’impact standards – tels que le “nombre d’emplois créés” ou les “progrès en matière d’égalité des sexes”. Pour mesurer son efficacité et son impact, il est plus utile d’étudier la chaîne d’impact et d’en déduire des indicateurs spécifiques pour les différents niveaux. Au niveau des produits par exemple, le nombre de mesures d’économie d’énergie envisagées ou l’économie d’énergie réalisée peuvent permettre d’évaluer la qualité du rapport du spécialiste. La variation de la consommation d’électricité de la société peut être un indicateur des résultats attendus ; enfin, les émissions de CO2 constituent potentiellement un bon indicateur de l’impact du projet sur le climat. Plus on “avance” dans la chaîne, plus il est difficile de mesurer l’impact et de l’attribuer au projet. Il peut être très difficile, par exemple, d’obtenir du fournisseur d’électricité de l’entreprise les émissions de CO2 dues à la centrale au charbon. Il sera sans doute plus facile de suivre la consommation d’électricité de l’entreprise.

L’utilisation d’un outil appelé “cadre logique” ou “matrice de planification” aide à structurer un projet et à définir des objectifs et indicateurs appropriés. La première étape consiste à définir l’objectif du projet en fonction du problème à régler ; cela concerne en général le résultat attendu. L’objectif direct d’une formation des employés de banque à la gestion actif-passif, par exemple, peut être de renforcer le contrôle des risques de la banque et donc d’augmenter sa viabilité d’ensemble. Son impact plus large pourrait être la contribution à la stabilité du système financier. Il est ensuite possible d’établir les étapes menant à la réalisation de l’objectif ; cela se traduit par la définition des différents résultats du projet au niveau des produits. Des indicateurs mesurables peuvent ainsi être définis, tant au niveau des produits, des résultats que des impacts. Dans l’exemple de la formation à la gestion actif-passif, ces indicateurs pourraient être le nombre de personnes suivant la formation (niveau des produits), le nombre de personnes qui réussissent un examen (pour démontrer leurs nouvelles compétences), la variation du ratio de créances douteuses, etc.

Évaluation approfondie des impacts

Une comparaison “avant-après” permet d’obtenir des données significatives sur les variations résultant de l’intervention. De plus, des facteurs externes peuvent influencer – et donc fausser – les résultats ; il faut en tenir compte. Ainsi, une augmentation de la production peut entraîner une hausse de la consommation d’électricité, alors même que des mesures d’économie ont été appliquées. Deux procédures essentielles doivent ainsi faire partie de la mesure approfondie des impacts. S’agissant de la première procédure, il peut être nécessaire de réaliser une étude de référence, qui mesurera les indicateurs avant l’exécution du projet. Ces données seront alors comparées à celles qui sont recueillies à la fin du projet. La seconde procédure consiste à éliminer ou écarter les facteurs externes – en comparant par exemple la consommation d’énergie par unité de production. Comme ce n’est pas toujours possible, un “groupe témoin” est défini ; il présente les mêmes caractéristiques que le groupe cible mais ne reçoit pas l’intervention d’assistance technique. Ce n’est qu’en réalisant cette double comparaison “avant-après” et “groupe cible-groupe témoin” qu’on réalisera une évaluation d’impact satisfaisante.

Une évaluation adaptée aux ressources

Une méthode d’évaluation d’impact très économe en ressources – souvent appliquée pour les projets d’assistance technique de la DEG – consiste à simplement cocher des cases correspondant aux impacts perçus dans une liste préétablie. Cette évaluation est réalisée par le chef de projet. Le problème est qu’il s’agit d’une méthode approximative, qui ne traduit bien souvent que la volonté du chef de projet de prouver les résultats positifs de son projet. Son avantage évident est qu’elle nécessite peu de ressources (temps et argent), toujours trop rares. Du point de vue du praticien, il faut arbitrer entre efficacité et économie en ressources. Le manque de ressources fait souvent obstacle aux évaluations d’impact approfondies (les plus efficaces) avec groupe cible, groupe témoin et comparaison “avant-après”. Il faut donc se demander sans cesse dans quelles circonstances une évaluation approfondie est appropriée ou dans quelle mesure on peut s’approcher de cet idéal compte tenu des contraintes de ressources. L’amélioration de l’évaluation des impacts est un processus continu et loin d’être achevé.

L’une des principales difficultés de cette évaluation est de trouver un moyen efficace, peu gourmand en ressources, d’obtenir des informations fiables sur les effets et les impacts d’un projet. Face aux difficultés, la DEG a établi une procédure en sept étapes permettant de faciliter ce travail. La première priorité est la définition claire de l’objectif du projet d’assistance technique envisagé. Plus cette définition est précise, plus l’évaluation sera facile. Un objectif clair permet de décrire ensuite une chaîne d’impact, qui propose les moyens d’atteindre l’objectif et qui présente les impacts possibles du projet. Le cas échéant, la description doit intégrer les hypothèses sous-jacentes aux différentes étapes. Alors, il est possible de déduire des indicateurs mesurables, adaptés aux différents niveaux – produit, résultat ou impact. Le cas échéant, une étude de référence est réalisée pour recueillir les valeurs initiales des indicateurs prédéfinis. À la conclusion du projet, les données sur les indicateurs sont recueillies et comparées à celles de l’étude de référence. Si la source des données n’est pas fiable ou en cas de doute ou de difficultés à obtenir les données, il peut être opportun de charger un tiers de collecter ou de vérifier les données sur le terrain. Enfin, s’il y a lieu, une deuxième évaluation pourra être réalisée ultérieurement pour déterminer les effets du projet à long terme.

Notes de bas de page

¹ Voir, par exemple, Moyo, Dambisa (2009) “Dead Aid: Why Aid Is Not Working and How There Is a Better Way for Africa”, ou Easterly, William (2007) “The White Man’s Burden: Why the West’s Efforts to Aid the Rest Have Done So Much Ill and So Little Good”.
² Présentation d’Andrew Shaw à l’atelier des institutions financières de développement européennes sur l’assistance technique, Cologne, 7 avril.