Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Les notes du conseil d’analyse économique, n° 1, février 2013 Cette note est pu

Les notes du conseil d’analyse économique, n° 1, février 2013 Cette note est publiée sous la responsabilité des auteurs et n’engage que ceux-ci. Les membres du Conseil d’analyse économique Évaluation des politiques publiques L ’évaluation des politiques publiques est un exer- cice diﬃ cile techniquement et institutionnellement. Techniquement, parce que de nombreux pièges attendent l’évaluateur : corrélation (entre une politique et ses résultats) ne vaut pas causalité et l’évaluateur doit tenir compte des causalités inverses et des interactions de la politique considérée avec de multiples autres facteurs ; il doit aussi être conscient du fait que le bénéﬁ ciaire ﬁ nal d’un dispositif n’est pas forcément celui qui est visé, ou que la politique peut avoir de multiples eﬀ ets, parfois loin du champ initialement ciblé. Plusieurs techniques statistiques permettent de contourner ces problèmes, la clé étant d’être capable de reconstruire ce qui se serait passé en l’absence de la politique considérée. Lorsqu’une véritable expérimen- tation n’est pas possible, les chercheurs exploitent les dis- continuités existantes des politiques publiques, soit que la politique soit mise en place par vagues successives, soit qu’elle s’applique avec des seuils (on compare alors les individus ou entreprises de part et d’autre du seuil). L’évaluation est aussi diﬃ cile à mettre en œuvre institu- tionnellement car seul un protocole rigoureux, déﬁ ni si pos- sible avant la mise en place de la politique, permet d’ob- tenir une évaluation crédible. Ce protocole doit garantir l’indépendance des évaluateurs et leur accès aux données nécessaires à l’évaluation. Il doit aussi prévoir un temps de discussion contradictoire des hypothèses et des résultats, dans un cadre interdisciplinaire. Il doit, enﬁ n, laisser les évaluateurs libres de publier leurs résultats et de les dis- cuter avec d’autres experts, en France comme à l’étranger. En pratique, l’évaluation d’une politique ne doit pas être menée par l’administration en charge de la mettre en œuvre. L’expertise administrative est un complément indispensable à l’expertise technique, en particulier pour comprendre les modalités d’application de la politique et les interactions avec d’autres dispositifs. Elle doit être combinée à l’ex- pertise technique mais ne saurait s’y substituer. Les éva- luateurs extérieurs doivent être nommés selon un proces- sus transparent et extérieur lui aussi à l’administration en charge, en veillant à éviter toute relation de dépendance avec les commanditaires et à promouvoir une pluralité des approches. De leur côté, les évaluateurs doivent respecter strictement la conﬁ dentialité des données et être parfai- tement transparents sur leurs éventuels conﬂ its d’intérêt. Finalement, une évaluation crédible devrait reposer sur un triptyque formé d’un coordonnateur (Parlement, Cour des Comptes, Inspection générale des ﬁ nances…), des admi- nistrations concernées et d’experts indépendants. Ces élé- ments sont à la portée d’un gouvernement décidé à faire le tri dans ses politiques publiques. Si une évaluation crédible prend du temps, un diagnostic ﬁ able et indépendant permet ultérieurement de gagner du temps au cours du processus de décision. 2 Les notes du conseil d’analyse économique, n° 1 Évaluation des politiques publiques Introduction1 La Modernisation de l’action publique annoncée le 18 décembre 2012 prévoit que « toutes les politiques publiques, sur l’ensemble du quinquennat, feront l’objet d’une évaluation »2. De fait, l’accumulation des dispositifs au ﬁ l des décennies rend peu lisible aujourd’hui l’action publique et dis- simule probablement des politiques obsolètes (les objectifs initiaux ont été atteints), ineﬃ caces (les objectifs sont mal atteints ou à un coût trop important), ou détournés (servant de facto d’autres buts que ceux aﬃ chés). Le tout est coû- teux pour les ﬁ nances publiques et manque de transparence démocratique. Il est donc légitime de vouloir évaluer chaque politique une à une. L’évaluation des politiques publiques est un exercice diﬃ cile : de nombreuses embûches attendent les évaluateurs, pouvant fausser et décrédibiliser une évaluation ne respectant pas un protocole rigoureux. Pourtant, une bonne évaluation est à la portée d’un gouvernement déterminé à faire le tri dans ses politiques. Après avoir présenté les pièges classiques de l’évaluation, nous exposons les méthodes permettant de les contourner pour obtenir une évaluation crédible des politiques publiques, en précisant les besoins notamment en termes de données statistiques. Enﬁ n, nous dessinons les contours d’une bonne évaluation, qui doit associer les diﬀ érents niveaux d’ex- pertise dans des protocoles d’évaluation assurant l’indépen- dance et la pluralité des évaluateurs, ainsi que la diﬀ usion et la discussion de leurs hypothèses et de leurs résultats. Les pièges de l’évaluation Pour évaluer une politique publique, on ne peut se contenter d’observer l’évolution des indicateurs décrivant les objectifs visés par la politique. Nous présentons ici les pièges clas- siques de l’évaluation. Identiﬁ er l’impact causal de la politique La première diﬃ culté de l’évaluation est d’identiﬁ er une rela- tion causale entre une politique et un résultat. Supposons, par exemple, qu’on souhaite évaluer l’impact des dépenses de soin sur l’état de santé d’une population. La simple corréla- tion, au sein de la population, entre dépenses de soins et état de santé est négative, car les individus qui dépensent le plus sont généralement les moins bien portants. Il s’agit ici d’une causalité inverse, de l’état de santé vers les dépenses, qui ne nous renseigne pas sur l’impact des dépenses (ﬁ gure 1). L’identiﬁ cation d’une relation causale entre dépenses de soins et état de santé se heurte aussi à l’interférence de facteurs extérieurs, tels le niveau de vie, qui inﬂ uent à la fois sur les dépenses et sur l’état de santé : les individus aisés dépen- sent plus pour leur santé et sont en général en meilleure santé, entre autres parce qu’ils exercent des activités moins risquées. La corrélation entre dépenses de soins et état de santé ne correspond alors à aucune relation causale (ﬁ gure 2). 1 Les auteurs remercient Clément Carbonnier qui a assuré le suivi de ce travail au sein de la cellule permanente du CAE. 2 Déclaration de Jean-Marc Ayrault au Comité interministériel pour la modernisation de l’action publique, 18 décembre 2012, disponible sur http://www. gouvernement.fr/premier-ministre/declaration-de-jean-marc-ayrault-au-comite-interministeriel-pour-la-modernisation-d 1. Un exemple de causalité inverse Causalité recherchée : les dépenses de soins améliorent l’état de santé Dépenses de soins Etat de santé Dépenses de soins Causalité inverse : un individu en mauvaise santé consomme davantage de soins État de santé 2. Un exemple de corrélation sans causalité Activités peu risquées Dépenses de soins Niveau de vie élevé Bon état de santé Pour évaluer une politique publique, on ne peut se contenter d’observer l’évolution des indicateurs décrivant les objectifs visés par la politique. 3 www.cae-eco.fr Février 2013 Pour identiﬁ er l’impact des dépenses de soin sur l’état de santé des individus, il faudrait comparer non pas l’état de santé des « gros » consommateurs de soins à celui des « petits » consom- mateurs, mais les états de santé d’une même personne indi- viduellement selon sa consommation de soins. Comme un même individu ne peut consommer à la fois beaucoup et peu de soins, il faut s’appuyer sur une multitude d’individus dont on contrôle ﬁ nement toutes les caractéristiques pouvant inﬂ uer sur l’état de santé, indépendamment des dépenses de soins. En estimant séparément les dépenses et les besoins de soins, Martin et al. (2008)3 parviennent à mettre en évidence un impact causal positif : augmenter les dépenses de soins pour lutter contre le cancer et les maladies cardiovasculaires permet de sauver des vies. Les estimations montrent qu’en moyenne les soins contre le cancer peuvent faire gagner un an de vie pour 13 100 livres sterling, et ceux contre les maladies cardio-vasculaires un an de vie pour 8 000 livres. On se heurte aux mêmes types de problèmes lorsqu’on cherche à évaluer les politiques d’accompagnement au retour à l’emploi. Sans précaution, on peut trouver que ceux qui ont bénéﬁ cié de l’accompagnement ont mis plus de temps que les autres chômeurs à retrouver un emploi. Mais il faut tenir compte de ce que le personnel de Pôle emploi n’attri- bue pas forcément cet accompagnement au hasard : il peut cibler l’accompagnement sur les personnes les plus démunies en termes d’employabilité ou, à l’inverse, sur les personnes les plus proches de l’emploi (notamment si les employés de l’agence reçoivent une prime pour chaque chômeur ayant trouvé du travail). On dit qu’il y a un biais de sélection : les personnes accompagnées ne sont pas tirées au hasard dans la population des chômeurs ; de même, dans l’exemple pré- cédent, les individus qui dépensent beaucoup pour leur santé ne sont pas tirés au hasard dans la population (ils sont géné- ralement en plus mauvaise santé au départ). La question de l’incidence Le second problème auquel se heurte l’évaluation des poli- tiques publiques est la question de l’incidence : le bénéﬁ ciaire ﬁ nal de la politique n’est pas forcément celui qui est visé. Ce second problème est fréquent lorsqu’il s’agit de taxation ou de subventions/transferts. La théorie de l’incidence ﬁ scale montre ainsi que l’impôt ne pèse pas nécessairement, in ﬁ ne, sur la personne qui rédige le chèque : les agents imposés peu- vent transférer la charge de l’impôt sur d’autres uploads/Politique/cae-note001-fev2013 1 .pdf