Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

PRÉSENTATION Ce "Petit guide" est le fruit de l'expérience accumulée par le Con

PRÉSENTATION Ce "Petit guide" est le fruit de l'expérience accumulée par le Conseil scientifique de l'évaluation dans son activité prescrite par le décret du 22 janvier 1990, au terme duquel il est chargé de "favoriser le développement des méthodes d'évaluation et de définir une déontologie en la matière". Le Conseil a évidemment utilisé l'expérience des avis rendus dans le cadre de la procédure d'évaluation interministérielle, mais les informations et préconisations contenues dans ce guide ne sauraient être de ce fait considérées comme pertinentes pour les seules évaluations interministérielles : il existe des questions fondamentales d'approche de l'évaluation et des attitudes qu'il est recommandé d'adopter dans tous les cas de figure. Bien entendu, les solutions concrètement élaborées sur le terrain peuvent varier en fonction des contextes ; comme le Conseil scientifique l'avait noté dans son deuxième rapport (décembre 1992) : "les buts légitimes des évaluations peuvent être très divers et il est suprêmement important de les identifier au préalable pour savoir à quel type d'opération l'on a affaire avant de proposer un contrôle scientifique de sa faisabilité et de sa qualité. (...) Toute connaissance, et la connaissance évaluative en particulier, ne sont pas des modèles intellectuels abstraits qu'il suffirait d'appliquer comme une recette à tous les milieux et toutes les organisations sans considération de leurs histoires et pratiques". Cependant, les modèles d'analyse et d'action qui sont proposés dans ce "Petit guide" signalent des problèmes que l'on rencontre sous des formes diverses dans la plupart des cas d'évaluation, quels qu'en soient les niveaux et les objectifs. Le Conseil scientifique espère avoir ainsi contribué à une meilleure collaboration entre le travail de connaissance scientifique jaugé par le test de vérité et le travail de réforme pratique jaugé par le test d'utilité. Ce premier texte devrait être complété par un second volume consacré à un examen plus approfondi de questions à caractère technique fréquemment rencontrées dans les démarches d'évaluation. Jean LECA 1. Introduction 1.1. But poursuivi par le présent guide Le présent guide est consacré à l'évaluation des "actions" et "activités" publiques, vocables délibérément imprécis pouvant désigner une large gamme d'objets : politiques, programmes, actions, mesures, réglementations, projets, activité d'une administration ou d'un corps de fonctionnaires, service(s) produit(s) par un organisme ou un établissement public, etc. L'évaluation individuelle des personnels est en revanche ici clairement exclue. Par commodité, on emploiera le plus souvent dans ce qui suit le terme politique, référence habituelle dans le contexte français de l'évaluation publique, dans un sens générique qui, sauf précision contraire, est susceptible d'inclure les différents objets mentionnés ci-dessus. On se limitera, pour l'essentiel, à l'évaluation ex-post ou concomitante, l'évaluation a priori posant, dans l'ensemble, des problèmes méthodologiques de nature différente. Cela étant, certains des principes et instruments que l'on va présenter peuvent s'appliquer à l'évaluation prévisionnelle. Dans le cadre ainsi précisé, ce guide tente de définir des règles méthodologiques de portée générale. Il porte, certes, la marque du contexte dans lequel il a été élaboré : le Conseil scientifique de l'évaluation, auteur collectif de l'ouvrage, a eu à examiner des projets et rapports produits dans le cadre de la procédure interministérielle d'évaluation instaurée par le décret du 22 janvier 1990 (évaluations de grande ampleur, décidées par le gouvernement, concernant des politiques complexes à objectifs et acteurs multiples). Instruit par sa pratique, le Conseil scientifique a porté une grande attention à des questions qui, sans être spécifiques, revêtent une acuité particulière dans ce genre d'opérations. Le lecteur devra en tenir compte et, dans quelques cas, adapter les préconisations présentées à ses besoins propres. L'expérience prouve cependant que les problèmes rencontrés dans les cas les plus complexes ne sont pas absents d'évaluations apparemment plus simples, ou se voulant plus pragmatiques dans leur démarche. Ce "Petit guide", qui ne traite que sommairement des techniques de la recherche évaluative, s'adresse d'abord aux agents publics impliqués dans des opérations d'évaluation au titre d'utilisateurs, de commanditaires ou de membres d'"instances d'évaluation". Il peut également être utile aux experts et chercheurs susceptibles d'être impliqués dans une opération d'évaluation, en leur donnant des informations sur le contexte dans lequel ils auront à travailler. Son but principal est de fixer les principes généraux de la démarche sans entrer dans le détail des différentes techniques de collecte et de traitement de l'information. Il s'agit d'abord, en d'autres termes, de répondre à deux grandes questions : à quoi peut servir l'évaluation et comment s'y prendre pour l'organiser et la mener à bien ? 1.2. Un éventail de pratiques administratives et cognitives Qu'est-ce que l'évaluation ? il n'est pas si facile de répondre précisément à cette question. Le terme est en effet employé pour désigner des opérations qui n'ont à première vue pas grand rapport entre elles : a) Un service extérieur de l'Etat met en place un "tableau de bord" de son activité, regroupant dans un cadre formalisé des données sur les moyens humains et financiers mobilisés par les différentes actions dont il a la charge, ainsi que sur quelques paramètres physiques de cette activité (nombre de dossiers traités, populations bénéficiaires, type de prestations ou de services produits...etc), voire des indicateurs de performance ou de qualité du service. b) Un organisme de contrôle ou un corps d'inspection ministériel réalise une enquête sur l'activité d'un organisme sous tutelle, en s'efforçant d'analyser à la fois son fonctionnement et les résultats obtenus. c) Une équipe de sociologues mène une recherche sur l'impact d'une nouvelle mesure sociale (en application ou en projet) sur la situation de ses bénéficiaires. d) Un économiste estime l'impact économique d'une nouvelle mesure fiscale en utilisant un modèle économétrique. e) Un organisme public demande à un consultant de mener un audit sur sa structure, son fonctionnement et ses missions. f) Le Premier ministre demande à une personnalité ou à une commission de lui remettre un rapport sur un problème concernant l'action de l'Etat ou sur un problème général de société. Cette énumération, non exhaustive, montre que l'on se trouve face à un continuum de pratiques impliquant la collecte et le traitement d'informations sur l'action publique (que s'est-il passé ?), des préoccupations normatives (a t-on bien fait ?), et/ou des préoccupations instrumentales (comment faire mieux ?) liées au bon fonctionnement et à l'efficacité des administrations et services publics. Il est clair que, dans chacune de ces opérations, une partie ce que l'on appelle ici évaluation est concerné. Mais on pourrait aussi bien, dans beaucoup de cas, parler de contrôle (ou d'analyse) de gestion, de contrôle de conformité, de conseil, d'expertise, de recherche appliquée ou d'audit. 1.3. Les spécificités de l'évaluation Pour spécifier le type d'opérations visé par le présent guide, le plus simple est de recenser les principales exigences et préoccupations qui doivent impérativement être prises en compte dans une démarche d'évaluation. Celles-ci peuvent être résumées en deux points : - l'ambition de mesurer, ou du moins d'apprécier le plus objectivement possible (en se conformant aux exigences de la méthode scientifique et en prenant de l'indépendance vis à vis de celui qui conduit la politique), les effets de la politique évaluée sur la société(1), et/ou de comprendre les logiques de son fonctionnement ; - le souci d'aider le commanditaire politique (et, au delà, l'ensemble des lecteurs du rapport d'évaluation) à porter un jugement de valeur sur la politique évaluée (sur l'atteinte de ses objectifs et, éventuellement, sur leur validité ; sur son efficacité, son efficience, sa cohérence, etc...) Une troisième préoccupation, de nature quelque peu différente, est souvent mise en avant. Elle n'est pas constitutive de l'évaluation au même titre que les deux précédentes, mais se révèle néanmoins fort importante dans bon nombre de cas : - le souci de contribuer pratiquement à l'amélioration de la politique évaluée en éclairant ses différents protagonistes sur le sens, les conditions et les conséquences de leurs actions et décisions. 1.4. Commentaire sur quelques définitions De nombreuses définitions de l'évaluation ont été proposées. a) Certaines définitions considèrent l'évaluation comme une activité principalement cognitive. La seule définition "officielle" est celle qui figure dans le décret du 22 janvier 1990 : "Évaluer une politique, c'est rechercher si les moyens juridiques, administratifs ou financiers mis en oeuvre permettent de produire les effets attendus de cette politique et d'atteindre les objectifs qui lui sont fixés". Cette définition insiste à juste titre sur le fait que les effets de la politique doivent être appréciés en référence à ses objectifs. Il faut pour cela qu'ils aient été formulés de manière suffisamment précise et opératoire pour être confrontés à l'observation empirique de la réalité sociale, ou du moins qu'ils puissent être reconstitués et/ou interprétés dans cette perspective. C'est ainsi que le Conseil scientifique de l'évaluation a compris la définition du décret : le référentiel(cf 3.1.5.) de l'évaluation n'est jamais complètement déductible des textes officiels et sa construction fait partie intégrante du travail d'évaluation. Une autre définition de l'évaluation avait été proposée dans un rapport du Plan de 1985 (rapport Deleau) : évaluer une politique, c'est "reconnaître et mesurer ses effets propres". Cette définition ne présuppose pas l'existence d'objectifs, mais elle néglige le fait que les effets d'une politique sont en uploads/Politique/ petit-guide-cse.pdf