Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Prise en compte de l ’ i m p a c t et construction d’indicateurs d ’ i m p a c

Prise en compte de l ’ i m p a c t et construction d’indicateurs d ’ i m p a c t G CIEDEL L’évaluation de l’impact Guide méthodologique Fonds pour la promotion des études préalables études transversales évaluations JUIN 1999 SOMMAIRE Présentation du guide 5 FICHE 1. Pourquoi s’intéresse-t-on à l’impact des actions ? 7 FICHE 2. Résultats, effets, impact : trois notions différentes 8 Deux quiproquos fréquents. Le repérage des résultats, des effets et de l’impact d’une action. FICHE 3. L’impact : une définition à tiroirs 12 FICHE 4. Evaluer les résultats, les effets et l’impact d’une action 15 FICHE 5. Cinq questions sur l’évaluation de l’impact 16 Pourquoi évaluer l’impact. Quand peut-on évaluer l’impact. Qui décide qu’un changement est significatif. Comment évaluer l’impact. La mesure de l’impact est-elle fiable ? FICHE 6. Inventorier les changements constitutifs de l’impact 19 Point de départ : la situation de référence. Un critère clé : les changements durables. Le repérage des éléments consti- tutifs de l’impact. FICHE 7. Analyse des changements : la grille de lecture des effets 25 La diversité des effets d’une action. Construction d’une grille de lecture des effets d’une action. Schéma général de construction d’une grille de lecture. FICHE 8. M e s u re des changements : les indicateurs d’impact 28 Le repérage des indicateurs. Exemple de construction et de mise en œuvre d’indicateurs d’impact. FICHE 9. Exemples d’indicateurs d’impact 35 ANNEXE 1. Rappel de quelques termes relatifs à l’action 45 ANNEXE 2. Rappel de quelques termes relatifs à l’évaluation 47 ANNEXE 3. BIBLIOGRAPHIE 49 LE CIEDEL 51 Définition et mise en place d’indicateurs d’impact Gilbert Graugnard Nicolas Heere n G CIEDEL Guide méthodologique L’évaluation de l’impact JUIN 1999 Présentation du guide Une étude CAD-OCDE réalisée en 1997 a montré que la plupart des évaluations des actions menées par les organisations de solidarité internationale (OSI) sont trop qualitatives, tour- nées vers l’efficience et trop peu centrées sur l’impact. Ce constat conduit les OSI à s’inté- resser davantage aujourd’hui à la durabilité de leurs programmes. Conformément à la mission qui lui a été confiée, le F3E (Fonds pour la promotion des études préalables, études transversales et évaluations) souhaite contribuer à l’élargissement de cette pratique par l’élaboration d’un outil définissant mieux ce qu’on appelle “l’impact d’une action” et les moyens de son évaluation. Ce guide méthodologique est composé de 9 fiches thématiques : – les fiches 1, 2 et 3 permettent de préciser ce que l’on entend par impact. Une attention par- ticulière est portée à la terminologie. Les mots “résultats, effets et impact” recouvrent en effet chacun des notions très précises ; – les fiches 4 à 9 portent davantage sur les modalités d’évaluation de l’impact. Les annexes 1 et 2 rappellent les définitions des termes les plus usités en matière d’action et d’évaluation. Ce travail a bénéficié de la contribution : • du groupe de travail du F3E sur le thème “Méthodologie et déontologie de l’évaluation” au cours des années 1997-1998 ; • des participants à la journée de test des fiches de travail du guide en juin 1999. Important La question de l’évaluation est ici souvent abordée. Sauf mention particulière, il s’agit d’éva- luation externe. Le mot “action”, choisi comme terme générique, recouvre aussi bien une action ponctuelle, qu’un projet ou un programme de développement. 5 POURQUOI S’INTÉRESSE-T-ON À L’IMPACT DES ACTIONS ? 7 FICHE 1 Le critère d’impact des actions de développement est de plus en plus fréquemment utilisé comme moyen d’évaluer leur réussite à moyen et long terme. Cet intérêt pour la prise en compte de l’impact dans l’évaluation des actions est né : – du constat que les incidences à long terme des projets de développement n’étaient pas toujours à la hauteur des attentes de leurs promoteurs ; – de nouvelles préoccupations liées à l’évolution du contexte dans lequel s’exercent les actions de développement. Les évaluations finales des projets confirment régulièrement que les objectifs fixés ont été atteints et que, le plus souvent, la viabilité des actions engagées est assurée. Pourtant, dans de nombreux cas, les résultats atteints au terme de l’action disparaissent rapidement : les pratiques et les modes de fonctionnement mis en place sont progressive- ment abandonnés, les bâtiments désaffectés, les équipements techniques inutilisés et sou- vent hors d’usage. Ce constat vaut aussi bien pour les projets publics que pour ceux conduits par des OSI. Les causes de cette défaillance peuvent provenir : – de la conception de l’action et de son exécution qui conduisent à des résultats immédiats, mais ne permettent pas de créer les conditions d’un changement durable ; – des limites des évaluations, trop centrées sur la capacité à atteindre les objectifs fixés, et pas suffisamment sur les changements induits par l’action. Constat Evolution du contexte Les processus de démocratisation et de décentralisation laissent de plus en plus de place aux acteurs locaux. Les opérateurs doivent tenir compte de l’ensemble des initiatives issues des milieux où ils agissent et ne pas seulement s’intéresser aux bénéficiaires directs. La prise en compte du concept de développement durable conduit, entre autre, à chercher dans son environnement les moyens d’identifier les changements produits par l’action et leur durabilité. Dans les travaux d’évaluation d’actions de développement, les mots résultats, effets, impact donnent lieu à une grande diversité d’utilisation, d’où une fréquente confusion et la difficul- té d’identifier exactement ce qu’est l’impact. Le résultat n’est pas l’impact L’évaluateur d’un projet de réalisations hydrauliques, qui retient comme impact le nombre de personnes accédant à l’eau, confond avec le résultat de l’action. Ce qui pourrait constituer un impact, ce sont les changements durables dans la vie des nouveaux accédants à l’eau. Un effet diffère de l’impact L’évaluation d’un programme d’appui aux échanges céréaliers inter-régionaux aborde la question de son impact sur les volumes commercialisés. L’évolution de ces derniers résulte du système mis en place, qui combi- ne l’appui aux échanges et les stratégies d ’ a p p rovisionnement des groupements d’agri- c u l t e u r s . L’impact serait à rechercher dans les conséquences durables de l’augmenta- tion des échanges céréaliers : autonomisa- tion des groupements par rapport aux grands commerçants, sécurisation alimen- taire, etc. Cette confusion provient en grande partie du sens commun de ces mots qui, dans le domai- ne de l’évaluation, n’ont pas encore trouvé de définitions de référence. Ceci est particulière- ment valable pour la notion d’impact. RÉSULTATS, EFFETS, IMPACT : TROIS NOTIONS DIFFÉRENTES 8 FICHE 2 Deux quiproquos fréquents A l’origine, le mot impact, du latin i m p a c t u m (heurter), signifiait uni- q u e m e n t : endroit où vient frapper un projectile (Grande encyclopédie Larousse de 1962). L’usage du mot impact a depuis été étendu à l’effet d’une action forte, brutale, et par extension, jugée inappropriée, effet – influence d’une action (Petit Robert de 1978). Et plus tard : influence décisive de quelque chose ou de quelqu’un sur le déroulement de l’histoire des évé- nements (Petit Larousse de 1988). C’est cette évolution qui a conduit à utiliser le mot “impact ” pour définir les changements produits par une action de développement sur l’enviro n n e m e n t , l’économie, les populations… Mais quel écart entre l’impact d’origine, brutal, destructeur et celui attendu des changements apportés par une action de développement ! 9 Le repérage des résultats, des effets et de l’impact d’une action 1 Les définitions des mots finalité, buts et objectifs sont détaillées en Annexe 1. Pour plus de facilité, repérons ces notions de résultats, effets et impact sur un exemple ima- ginaire, simplifié, mais néanmoins concret : le projet DET. Descriptif du projet DET Dans la région de Bougouli au Magéria (hypothétique pays africain de la zone sahélienne) les populations rurales souffrent d’une carence en eau. L’ONG “De l’Eau pour Tous” (DET) a pour finalité1 le bien être de tous. Son but1 : installer des équipements hydrauliques permettant à tous l’accès à une eau de qualité et en quantité suf- fisante pour couvrir ses besoins. DET mandate une mission d’identification pour recenser les possibilités d’aménagement de la zone de Bougouli. Cette mission contacte, sur place, les chefs de village et les groupe- ments d’hommes et de femmes. Elle approche également les autorités locales, les services de l’hydraulique rurale, les agences d’aide au développement, les représentations locales des coopérations bi ou multilatérales et le bureau national des ONG. DET constate que la plupart des villages disposent de puits, de puisards et de marigots qui f o u rnissent de l’eau en quantité suffisante mais de mauvaise qualité sur le plan bactériolo- gique. A l’issue de cette mission, DET élabore un projet selon un canevas dit “du cadre l o g i q u e ” . Les objectifs1 du projet •Fournir une quantité d’eau suffisante grâce à la réalisation de 12 puits aux normes tech- niques en cours (diamètre, matériaux, débit...). ( L’option de réhabilitation des puits exis- tants n’a pas été retenue car jugée techniquement hasardeuse et financièrement équiva- lente au uploads/Finance/ guide-evaluation-impact 1 .pdf