Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

FICHES PRATIQUES POUR L’ÉVALUATION DES ACTIONS ET PROGRAMMES SANTÉ ET SOCIAL L’

FICHES PRATIQUES POUR L’ÉVALUATION DES ACTIONS ET PROGRAMMES SANTÉ ET SOCIAL L’ÉVALUATION EN 9 ÉTAPES Document rédigé par le Groupe Évaluation de l’Espace Régional de Santé Publique (ERSP) : • Denis FONTAINE, médecin de santé publique, directeur d’études de l’ORS Rhône-Alpes (Observatoire Régional de la Santé). • Louisa BEYRAGUED, sociologue, chargée de programmes – conseiller méthodologique au CRAES-CRIPS (Collège Rhône-Alpes d’Éducation pour la Santé – Centre Régional d’Information et de Prévention du Sida). • Catherine MIACHON, ethno-sociologue, au CNDT (Centre régional de prévention des conduites à risques), coordinatrice du CIRDD (Centre d’Information et de Ressources sur les Drogues et Dépendances). Contact : Groupe Évaluation de l’ERSP, ORS Rhône-Alpes, 9 quai Jean Moulin, 69001 Lyon. Tél. : 04 72 10 94 37 – Fax : 04 72 07 46 21 – Mail : denis.fontaine@ors-rhone-alpes.org Ce document ainsi que le « Référentiel commun en évaluation des programmes santé et social » sont téléchargeables gratuitement sur le site de l’Espace Régional de Santé Publique : www.ersp.org Ce travail a été financé dans le cadre du Contrat de Plan État-Région par la Direction des Affaires Sanitaires et Sociales – DRASS Rhône-Alpes, la Région Rhône-Alpes et l’Union Régionale des Caisses d’Assurance Maladie – URCAM Rhône-Alpes. isbn 2-9521336-0-3 Janvier 2004 Vous mettez en œuvre un programme ou une action dans le domaine de la santé et/ou du social et vous souhaitez l’évaluer. Cette fiche introductive a pour objectif de vous donner un premier aperçu de la démarche d’évaluation et de vous présenter les neuf fiches pratiques qui composent ce document. L’évaluation est souvent une demande du bailleur de fonds. Ce n’est pas une catastrophe, mais une opportunité pour prendre du recul par rapport à votre programme1 et ainsi capitaliser votre expérience. Dans l’idéal, l’évaluation est prévue dès la conception du projet. La phase de diagnostic n’est pas abordée ici : les fiches ont été conçues pour une évaluation en cours ou en fin de programme2. Bien entendu, plus le diagnostic aura été précis, avec la rédaction d’objectifs précis, plus l’évaluation sera facile à organiser. Il n’y a pas d’évaluation-type, pas de modèle prêt à l’emploi. L’évaluation se construit en fonction du programme, des questions qui se posent, et aussi des ressources disponibles pour y répondre. Les 9 fiches de ce document sont là pour vous guider dans cette démarche toujours singulière. L’évaluation, exercice possible ? L’évaluation est un outil pour mesurer et conduire le changement. C’est une démarche à la fois sim- ple et complexe : • Évaluer, c’est tout simplement se poser des questions sur le programme ou l’action (en vue d’une décision), et essayer d’y répondre grâce à des techniques de recueil et d’analyse de l’information. C’est un exercice de transparence et d’explicitation des points de vue. • Cette démarche présente des enjeux multiples et complexes, car elle s’inscrit dans un contexte politique, social et institutionnel, et elle interroge les logiques stratégi- ques des acteurs. L’organisation de l’évaluation doit être pensée en conséquence : disposer d’un espace d’autonomie, reposer sur une négociation avec les acteurs, s’appuyer sur une démarche participative, et expliciter la répartition des rôles et la méthodologie déployée. Dans certaines circonstances, l’évaluation n’est pas appropriée. La fiche 1 vous aidera à vérifier si l’évaluation de votre action est réalisable que la démarche peut-être mise en place. Un programme, une action, sont réalisés suivant une logique d’intervention, qui va également servir de guide pour l’évaluation. La fiche 2 vous permettra de revisiter le cadre logique et de l’actualiser. Présentation des fiches 1 Dans ces fiches, le mot “programme” désigne tout type d’intervention : programme, projet, action... 2 Vous pouvez toutefois utiliser les fiches 1 à 4 pour construire un plan d’évaluation de votre projet. 3 Ce mot et tous les termes techniques indiqués ici sont définis dans les fiches correspondantes. Des « questions d’évaluation » au « cahier des charges » Organiser l’évaluation, c’est d’abord préciser les questions auxquelles l’évaluation doit répondre. On peut distinguer deux grandes formes d’évaluation selon les questions posées : • L’évaluation formative3, centrée sur les efforts déployés par les acteurs pour piloter l’intervention (ressources mobilisées, activités réalisées) et rejoindre leurs publics. • L’évaluation sommative, centrée sur les effets du programme, qu’il s’agisse des résultats attendus ou d’autres effets (l’impact). Ensuite, il faut définir les critères c’est à dire les caractéristiques à observer ou à mesurer pour répondre aux questions. La fiche 3 présente ces premières étapes de la planification de l’évaluation. Pour renseigner les critères, il faut choisir des indicateurs qui sont les « instruments de mesure » de l’évaluation. Pour renseigner ces indicateurs, il faut utiliser une des méthodes suivantes : analy- se de documents, observation ou mesure directe, enquêtes par entretiens ou par questionnaires. La fiche 4 présente les indicateurs et les méthodes. Les méthodes étant définies, il reste à préciser qui fait quoi et à retracer la démarche prévue dans le « cahier des charges » de l’évaluation. La fiche 5 expose ces étapes de la programmation de l’é- valuation. Du « recueil des données » au « rapport d’évaluation » La réalisation de l’évaluation consiste à suivre les indications du cahier des charges dans les trois temps qui composent toute évaluation : 1. Le recueil de l’information par les méthodes définies plus haut permet de renseigner les indicateurs. 2. L’analyse des données permet de faire la synthèse des différents indicateurs et/ou des différents points de vue recueillis pour porter une appréciation critique sur les critères en terme de points forts et de points faibles. 3. Les conclusions sont les réponses aux questions d’évaluation. Elle débouchent sur des recommandations ou orientations concernant les décisions à prendre et qui ont motivé la réalisation de l’évaluation. La fiche 6 présente les différentes étapes de réalisation de l’évaluation et la fiche 7 donne des conseils pratiques pour réaliser les enquêtes qualitatives ou quantitatives. Le rapport d’évaluation récapitule la démarche de l’évaluation, les résultats, les conclusions et les recommandations. Il est accompagné d’un résumé plus facilement diffusable. La fiche 8 présente le plan du rapport d’évaluation et ses modalités de diffusion. La valorisation de l’évaluation L’évaluation ne s’arrête pas à la rédaction du rapport et de son résumé. Pour qu’elle soit connue, utilisée et que ses recommandations soient prises en compte par les décideurs, elle doit être acti- vement valorisée auprès des acteurs, des décideurs et des bénéficiaires. La fiche 9 donne des conseils pour valoriser une évaluation. Pour en savoir plus Ce document d’initiation est volontairement court. Pour approfondir, vous pouvez consulter le « Référentiel commun en évaluation des programmes santé social » que nous avons rédigé (contact : voir la couverture). PLAN DES FICHES ÉVALUATION Temps 1 : PRÉALABLES Temps 2 : PRÉPARATION Temps 3 : RÉALISATION Temps 4 : VALORISATION Fiche 1. Préalables. Constituer un comité d’évaluation. Formuler les questions auxquelles l’évaluation doit répondre Se poser quatre questions préalables. Fiche 3. Les objectifs de l’évaluation. Les questions posées à l’évaluation. Les buts de l’évaluation. Définir les critères qui vont guider l’évaluation. Fiche 6. Réalisation de l’évaluation. Mobilisation des personnes et des ressources matérielles. Recueil des données déjà sélectionnées. Analyse. Conclusions et recommandations. Fiche 9. Valorisation de l’évaluation. La valorisation de l’évaluation. La prise en compte des recommanda- tions. L’évaluation de l’évaluation. Fiche 2. Le cadre logique du programme. Repartir des inten- tions de départ et de la mise en œuvre réelle pour récapituler la logique d’inter- vention. Fiche 4. Méthodes et indica- teurs d’évaluation. Deux méthodes à combiner. Définir les indicateurs. Choisir les sources de données. Fiche 7. Le recueil d’informations par enquête. Reprendre les critères à renseigner par l’enquête. Choisir le type d’enquête. Organiser une enquête. Fiche 5. Programmation de l’évaluation. Programmation de l’évaluation. Le cahier des charges de l’évaluation. Fiche 8. Le rapport d'évaluation et le résumé. Le contenu du rap- port d’évaluation. Le rapport provisoire permet de poursuivre la démarche participative. Le résumé. Diffusion du rapport et du résumé. Avant toute démarche de planification d’une évaluation, il y a quatre étapes préalables à réaliser : 1. Constituer un comité d’évaluation. 2. Formuler les questions auxquelles l’évaluation doit répondre. 3. Répondre aux questions préalables pour s’assurer que l’évaluation est pertinente et réalisable. 4. Reprendre les intentions de départ du cadre logique du programme pour vérifier la cohérence de la démarche. Les trois premières étapes sont décrites dans cette fiche. La quatrième étape fait l’objet de la fiche 2. • Pourquoi un « comité » ? Une évaluation est un processus à la fois technique et politique, qui implique de nombreux acteurs directs et indirects du programme. Une personne ne peut réaliser à elle seule une évaluation. Une instance collégiale qui organise l’évaluation (le « comité d’évaluation ») favorise la pluralité des approches. Pour favoriser la prise de recul par rapport à l’action, la coordination du comité d’évaluation doit être confiée à une personne autre que le responsable de la mise en œuvre du programme. • Qui ? Le comité d’évaluation est un compromis entre l’efficacité (du petit nombre de per- sonnes) et la représentativité de tous les acteurs, y compris les bénéficiaires. Cinq à uploads/Sante/ e-valuation.pdf