Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Note méthodologique Évaluation d'impact n° 10 Présentation des méthodes de coll

Note méthodologique Évaluation d'impact n° 10 Présentation des méthodes de collecte et d'analyse de données dans l'évaluation d'impact Greet Peersman CENTRE DE RECHERCHE INNOCENTI DE L'UNICEF Le Centre de recherche Innocenti est le bureau de l'UNICEF spécialisé en recherche scientifique. Les objectifs prioritaires du Centre de recherche sont d’améliorer la compréhension internationale des questions liées aux droits des enfants afin de faciliter la pleine application de la Convention relative à ces droits dans le monde entier. Le Centre a pour objectif de mettre en place un cadre intégré pour la gestion de la recherche et des connaissances au sein de l’organisation, afin de soutenir ses programmes et politiques à l’échelle mondiale. Les publications du Centre, en présentant un vaste éventail d’opinions, contribuent au débat international sur les questions liées aux droits des enfants. Cette publication ne reflète pas les politiques ou points de vue de l’UNICEF sur certains sujets. Les opinions exprimées n’engagent que leurs auteurs et/ou réviseurs et sont publiées afin d’encourager le dialogue sur les méthodes d’évaluation d’impact. NOTES MÉTHOLODOGIQUES DU CENTRE DE RECHERCHE INNOCENTI Les notes méthodologiques du Centre d'Investigations d'UNICEF ont le but de partager des pratiques, des méthodes et des dessins ainsi que des recommandations de chercheurs et analystes reconnus. Elles sont dirigées principalement au personnel de l'UNICEF qui conduit des recherches ou qui interprète les résultats et analyses des évaluations réalisées par des chercheurs externes pour les prises de décision en phase de programmation ou à l’appui des politiques ou de la sensibilisation. Cette note méthodologique a suivi un procès interne de révision par pairs. Ce texte n'a pas été édité conformément aux standards officiels de publication et UNICEF décline toute responsabilité pour les possibles erreurs. La reproduction de parties de cette publication est permise à condition que la source soit dument citée. Pour l’utilisation d’une partie substantielle ou de la totalité de la publication, veuillez bien vous adresser au Département de Communication au suivant courriel florence@unicef.org Pour consulter ou télécharger ces notes méthodologiques, visitez http://www.unicef-irc.org/KM/IE/ Nous conseillons d'utiliser la citation suivante pour toute référence au document présent: Peersman, G. (2014). Présentation des méthodes de collecte et d'analyse de données dans l'évaluation d'impact Note méthodologique n°10, Centre de recherche Innocenti, Florence. Remerciements : Ce dossier a profité des conseils de beaucoup d'individus. L'auteur et le Centre de Recherche désirent remercier tous ceux qui ont contribué et en particulier : Pour leur contribution: Simon Hearn, Jessica Sinclair Taylor Pour leur révision: Nikola Balvin, Claudia Cappa, Yan Mu © Fonds des Nations Unies pour l'enfance (UNICEF), septembre 2014 Centre de recherche Innocenti de l'UNICEF Piazza SS. Annunziata, 12 50122 Florencia (Italia) Tel: (+39) 055 20 330 Fax: (+39) 055 2033 220 florence@unicef.org www.unicef-irc.org Note méthodologique n°10: Présentation des méthodes de collecte et d’analyse de données dans l’évaluation d’impact Page 1 1. BRÈVE DESCRIPTION DE LA COLLECTE ET DE L’ANALYSE DES DONNÉES Quel que soit le type d’évaluation menée, il est essentiel de bien choisir les méthodes de collecte et d’analyse des données et de les appliquer correctement. La présente note présente brièvement les questions relatives au choix et à l’utilisation de méthodes pour les évaluations d’impact, c’est-à-dire les évaluations qui fournissent des informations sur les effets à long terme (intentionnels ou non) des programmes ou politiques. Les évaluations d’impact ne doivent pas se cantonner à déterminer l’ampleur des effets (c’est-à-dire l’impact moyen), mais doivent également identifier qui a bénéficié de ces programmes ou politiques et comment. Il convient de préciser dès le début ce qui constitue une « réussite » et la façon dont les données seront analysées et synthétisées pour répondre aux questions clés d’évaluation. La collecte de données doit en effet permettre d’obtenir l’ensemble des données probantes nécessaires pour porter des jugements appropriés sur le programme ou la politique. En d’autres termes, le cadre d’analyse – la méthode pour analyser le « sens » des données en recherchant des tendances de manière systématique et transparente – doit être spécifié au cours de l’étape de planification. Le cadre de travail précise comment l’analyse de données prend en compte les hypothèses formulées dans la théorie du changement du programme relatives à la méthode adoptée afin de produire les résultats escomptés (voir Note No2, Théorie du changement). Dans une véritable évaluation à méthodes mixtes, ceci inclut le recours à des méthodes d’analyse numérique et textuelle appropriées et à la triangulation de plusieurs sources de données et perspectives afin de maximiser la crédibilité des résultats de l’évaluation. Points principaux Les méthodes de collecte et d’analyse de données doivent être choisies en fonction de l’évaluation concernée, de ses questions clés d’évaluation et des ressources disponibles. Les évaluations d’impact doivent utiliser autant que possible les données existantes, puis s’appuyer sur de nouvelles données pour combler les lacunes. Les méthodes de collecte et d’analyse de données doivent être sélectionnées de manière à assurer la complémentarité entre les points forts et les faiblesses des unes et des autres. 2. PLANIFIER LA COLLECTE ET L’ANALYSE DES DONNÉES Commencer avec la planification globale de l’évaluation Avant de décider des données à recueillir et de la façon de les analyser, il convient de déterminer les buts de l’évaluation (c’est-à-dire ses destinataires et utilisations prévues) et les questions clés d’évaluation (voir Note No1, Présentation de l’évaluation d’impact). Une évaluation d’impact peut être réalisée en vue d’éclairer les décisions relatives aux changements à apporter à un programme ou à une politique (évaluation formative) ou dans le but de décider de la poursuite, de l’interruption, de la reproduction ou de l’extension ou non d’un programme ou d’une politique (évaluation sommative). Dès que le but de l’évaluation est clairement défini, il est nécessaire de convenir d’un petit nombre de Note méthodologique n°10: Présentation des méthodes de collecte et d’analyse de données dans l’évaluation d’impact Page 2 questions clés d’évaluation de haut niveau (10 au maximum), idéalement avec les parties prenantes concernées ; il se peut que ces questions aient déjà été définies par un système d’évaluation ou un cadre d’évaluation précédemment élaboré. Le fait d’y répondre – peu importe comment elles ont été définies – devrait garantir le respect du but de l’évaluation. Disposer d’un ensemble reconnu de questions clés d’évaluation fournit une orientation sur les données à recueillir et la manière de les analyser et d’en rendre compte dans les résultats de l’évaluation. Une théorie du changement correctement élaborée constitue l’un des outils essentiels d’une évaluation d’impact. Elle décrit comment le programme ou la politique est censé(e) fonctionner : elle présente un modèle de causalité qui relie les intrants et les activités aux extrants et aux effets directs souhaités ainsi qu’aux impacts (voir Note No2, Théorie du changement). La théorie du changement doit également tenir compte des résultats (positifs ou négatifs) imprévus. Cet outil est utile non seulement lors de la conception du programme, mais il contribue également à axer l’évaluation d’impact sur les connaissances dont doivent disposer les parties prenantes sur le programme ou la politique afin de prendre des décisions éclairées – en d’autres termes, les questions clés d’évaluation. De bonnes questions d’évaluation ne portent pas uniquement sur les résultats obtenus (questions descriptives), mais également sur la qualité des résultats (appréciation de la valeur du programme ou de la politique). Les évaluations d’impact doivent rassembler des données probantes sur les impacts (p. ex., évolution positive du taux de mortalité des enfants de moins de cinq ans) et examiner comment les impacts prévus ont été atteints, ou pourquoi ils ne l’ont pas été. Il faut pour cela que des données sur le contexte soient disponibles (p. ex., le cadre normatif et juridique qui dans un pays affecte la protection de l’enfant), que les activités de programme ou la mise en œuvre de la politique soient adéquates et de qualité, et qu’il existe divers résultats intermédiaires (p. ex., recours plus important à la vaccination), variables explicatives dans la chaîne de causalité1. Utiliser au maximum les données existantes Il faut commencer la planification de la collecte de données en examinant dans quelle mesure il est possible d’utiliser les données existantes. Concernant les indicateurs, l’évaluation doit s’efforcer de s’appuyer sur différents types d’indicateurs (intrants, extrants, effets directs, impacts) afin de refléter les résultats clés dans la théorie du changement du programme. Dans l’idéal, les évaluations d’impact doivent utiliser les indicateurs sélectionnés pour suivre la performance tout au long de la période de mise en œuvre du programme, c’est-à-dire les indicateurs clés de performance (ICP). Dans bien des cas, il est également possible d’utiliser les données recueillies par le biais d’enquêtes démographiques standardisées, telles que l’enquête en grappes à indicateurs multiples (MICS), l’enquête démographique et de santé (EDS) ou l’étude sur la mesure des niveaux de vie (LSMS) de l’UNICEF. Il est particulièrement important de vérifier si des données de référence sont disponibles pour les indicateurs sélectionnés ainsi que pour les caractéristiques sociodémographiques et autres caractéristiques pertinentes de la population étudiée. Si le modèle d’évaluation prévoit de comparer les changements au fil du temps dans différents groupes, il est alors possible d’utiliser des données de référence pour déterminer l’équivalence des groupes uploads/Management/ brief-10-data-collection-analysis-fre.pdf