Remerciez-le!

Remerciez @Admin pour avoir partagé cet document gratuitement, de la manière la plus simple, en partageant sur les réseaux sociaux.

Guide de l’évaluation socioéconomique des investissements publics Complément op

Guide de l’évaluation socioéconomique des investissements publics Complément opérationnel G ANALYSE DE SENSIBILITÉ Michel Massoni1 Membre du comité d’experts Date de validation : comité du 2 juillet 2019 Résumé L’évaluation socioéconomique d’un projet s’appuie sur une information par nature incomplète : certains paramètres sont soumis à une incertitude, que l’on sait ou non quantifier. D’autres variables d’entrée de l’évaluation sont issus de modèles qui ne donnent qu’une vision simplifiée de la réalité. Pour ne pas fonder de décisions sur des résultats susceptibles d’être sensiblement modifiés par la prise en compte d’informations complémentaires, il est essentiel de documenter la précision des résultats présentés (en particulier pour déterminer si des variations peuvent conduire à changer la conclusion de l’évaluation, par exemple en modifiant le signe de la VAN SE) et d’identifier les facteurs avec le plus d’influence sur les résultats de l’évaluation. C’est l’objectif de l’analyse de sensibilité. Concrètement, elle consiste à : 1. Identifier toutes les variables (données, paramètres, résultats de modélisation, etc.) utilisées pour calculer les coûts et bénéfices du projet ; 2. Sélectionner, sur la base d’une analyse qualitative, les variables aux variations desquelles les résultats de l’évaluation sont les plus sensibles ; 1 Membre associé du Conseil général de l'environnement et du développement durable (CGEDD). Guide de l’évaluation socioéconomique des investissements publics Complément opérationnel G – Analyse de sensibilité www.strategie.gouv.fr - 2 - 3. Sur cet échantillon réduit de variables « critiques », évaluer de manière quantitative et systématique l’élasticité du résultat de l’évaluation à leurs variations individuelles. Une analyse de scénarios (typiquement sur la base de jeux d’hypothèses « optimistes » ou « pessimistes », pour les variables « critiques » identifiées) peut permettre de donner un aperçu synthétique des tests de sensibilité. En revanche, déterminer la distribution de probabilité des résultats de l’évaluation en fonction des incertitudes sur les différentes variables nécessite de mobiliser des méthodes plus sophistiquées (type Monte-Carlo) adaptées aux très grands projets. Le résultat d'une évaluation socioéconomique est très sensible à de nombreuses hypothèses de calcul. L'ensemble des hypothèses utilisées pour le calcul (types d’effets positifs ou négatifs retenus dans le calcul, quantifications de ces effets, prix affectés à ces quantités, qu’il s’agisse de prix de référence ou de prix de marché) doit être décrit avec précision, chacune des valeurs devant être justifiée pour éclairer la discussion sur le résultat présenté et faciliter les analyses de sensibilité aux paramètres les plus influents. Cette transparence des hypothèses doit permettre de rendre compte des conditions d’élaboration des résultats présentés auprès des parties intéressées. Elle est une des conditions de la crédibilité tant des méthodes utilisées pour l’évaluation socio-économique que des résultats obtenus. Dans la mise en œuvre de l’évaluation d’un projet, il est fréquent de ne disposer que d’une information incomplète. L’incomplétude de l’information est en particulier liée à l’incertitude et à l’imprécision des prévisions des coûts et des avantages positifs ou négatifs attribuables au projet. L’imprécision est souvent liée à la structure des modèles qui ne reflètent qu’imparfaitement la réalité. L’incertitude, probabilisable ou pas, est souvent la conséquence de l’incertitude sur les paramètres et données à introduire dans un modèle déterminé pour réaliser les prévisions nécessaires à l’évaluation. Face à ces deux causes d’incomplétude de l’information il est nécessaire d’examiner la sensibilité du résultat de l’évaluation (VAN SE, TRI SE ou autre) à cette incomplétude afin de ne pas fonder de décision sur des résultats pouvant être largement modifiés par l’accès à une information plus complète, par exemple grâce à l’arrivée de nouvelles données postérieurement à l’évaluation. Pour informer correctement le décideur en vue de son utilisation du résultat de l’évaluation, il faut pouvoir répondre à plusieurs questions : – quelle est la précision du résultat de l’évaluation ? – un résultat favorable (tel qu’une VAN SE positive) peut-il facilement devenir défavorable (par exemple la VAN SE devenir négative) en changeant les hypothèses du calcul ? – quels sont les paramètres et les données qui ont le plus d’influence sur le résultat de l’évaluation ? Guide de l’évaluation socioéconomique des investissements publics Complément opérationnel G – Analyse de sensibilité www.strategie.gouv.fr - 3 - On ne traitera pas de façon détaillée ici de la question de la probabilité qu’un projet atteigne un critère d’évaluation donné (VAN SE, TRI SE ou autre) ni de celle de la distribution de probabilité du résultat obtenu. Ces questions doivent être examinées par des méthodes d’analyse des risques comme les simulations par la méthode de Monte- Carlo qui sont mieux adaptées aux très grands projets (voir le complément opérationnel correspondant). On se concentrera ici sur l’analyse de la sensibilité du projet, c’est-à-dire l’impact que les modifications envisageables des variables qui déterminent les coûts et avantages peuvent avoir sur le résultat de l’évaluation (VAN SE, TRI SE ou autre). L’objet de l’analyse de la sensibilité est de sélectionner les variables et paramètres « critiques » du modèle, c’est-à-dire ceux dont les variations, positives ou négatives, par rapport à la valeur utilisée comme meilleure estimation dans le cas de référence ont l’effet le plus important sur le résultat de l’évaluation (VAN SE, TRI SE ou autre), c’est-à-dire qu’ils entraînent les modifications les plus importantes de ces résultats. Les critères à retenir pour le choix des variables critiques varient en fonction du projet considéré et doivent être examinés soigneusement dans chaque cas. D’une manière générale, on peut considérer comme critiques les paramètres ou données pour lesquels une variation de 1 % dans un sens ou dans l’autre entraîne une variation correspondante de 5 % de la valeur de la VAN SE. La méthode à mettre en œuvre pour effectuer une analyse de sensibilité peut être résumée de la manière suivante : a) identifier toutes les variables (données, paramètres, résultats de modélisation, etc.) utilisées pour calculer les coûts et bénéfices du projet ; b) identifier les éventuelles variables dépendantes d’un point de vue déterministe qui sont susceptibles d’entraîner des distorsions dans les résultats et des doubles comptes. Par exemple, si la productivité de la main-d’œuvre et la productivité générale apparaissent dans le modèle, la seconde englobe nécessairement la première. Il faut alors éliminer les variables redondantes, en retenant les plus significatives ou en modifiant le modèle de manière à éliminer les dépendances internes. À l’issue de cet inventaire, les variables restant à considérer doivent être des variables indépendantes, dans toute la mesure du possible ; c) procéder à une analyse qualitative de l’impact des variables sur les résultats du modèle afin de sélectionner les variables aux variations desquelles les résultats de l’évaluation sont les plus sensibles. Les variables et paramètres les plus significatifs pour l’analyse des risques dépendent du type de projet évalué et de la structure du modèle utilisé pour décrire les effets du projet. L’analyse quantitative peut alors être limitée aux variables les plus significatives pour les résultats du modèle utilisé ; Guide de l’évaluation socioéconomique des investissements publics Complément opérationnel G – Analyse de sensibilité www.strategie.gouv.fr - 4 - d) évaluer de manière quantitative et systématique l’élasticité du résultat de l’évaluation aux variations individuelles des variables reconnues significatives, en recalculant le résultat de l’évaluation après une variation à la hausse ou à la baisse de chaque variable significative prise isolément et en calculant les différences en valeur absolue et en pourcentage par rapport à la valeur centrale. Pour tenir compte du fait que l’élasticité du résultat de l’évaluation par rapport aux variables significatives n’est pas toujours linéaire, il est prudent d’effectuer ces calculs en prenant plusieurs taux d’accroissement des variables significatives et en calculant à chaque fois le résultat correspondant de l’évaluation. Le nombre de calcul du résultat de l’évaluation peut donc devenir rapidement important si on retient un nombre trop élevé de variables significatives dans l’étude de sensibilité. Inversement, négliger à tort la sensibilité à un des paramètres ou variables mal connus peut conduire à surestimer la performance attribuable au projet ; e) l’analyse de sensibilité peut déboucher sur une analyse de scénario qui se révèle utile lorsqu’il y a de bonnes raisons de penser que la variation séparée des différentes variables significatives ne permet pas de déterminer l’étendue des variations du résultat de l’évaluation. Ce peut être le cas lorsque le modèle comporte des relations fortement non linéaires entre les paramètres. Il peut alors être utile de combiner les valeurs « optimistes » et « pessimistes » d’un groupe de variables significatives pour mettre en évidence l’existence de différents scénarios extrêmes pouvant influer fortement sur la performance attribuable au projet. Cet exercice est d’autant plus facile à mener que les variables retenues à l’étape b) sont plus indépendantes. Afin de définir des scénarios optimistes et des scénarios pessimistes, il faut choisir pour chaque variable critique les valeurs extrêmes raisonnablement susceptibles d’être atteintes. On calcule alors résultat de l’évaluation (VAN SE, TRI SE ou autre) du projet pour chaque combinaison. L’analyse des scénarios extrêmes permet de synthétiser l’analyse de la sensibilité, mais si on recherche la probabilité du scénario extrême qu’elle révèle, il est nécessaire de préciser la distribution de probabilité, ce qui ramène à l’analyse des risques qui mobilise uploads/Management/evaluation-analyse-de-sensibilite.pdf