Évaluer une politique publique ne consiste pas seulement à mesurer un résultat à la fin d’un programme. Le calendrier de l’évaluation détermine les questions auxquelles il est possible de répondre, les données disponibles et les décisions susceptibles d’être prises. Une analyse réalisée avant le lancement aide à arbitrer entre plusieurs options. Une évaluation conduite pendant la mise en œuvre permet de corriger un dispositif qui rencontre des difficultés. Une évaluation finale cherche à comprendre les effets effectivement produits et les conditions de leur apparition.
Les termes ex ante, in itinere et ex post désignent donc trois moments complémentaires :
Le choix ne devrait pas opposer ces approches. Une politique publique complexe gagne généralement à être évaluée à plusieurs étapes, selon un protocole défini dès sa conception. Cette logique concerne les programmes d’emploi, les aides aux entreprises, les dispositifs de formation, les politiques sociales, les projets d’innovation ou les mesures de transition écologique.
L’évaluation ex ante intervient avant la mise en œuvre d’une politique ou avant son extension à un nouveau public. Son objectif principal est de vérifier la pertinence du problème identifié, la cohérence de la réponse envisagée et la plausibilité des résultats attendus. Elle ne prédit pas l’avenir avec certitude. Elle permet plutôt de rendre explicites les hypothèses qui justifient une décision.
Une démarche ex ante peut notamment examiner :
La théorie du changement constitue un outil utile à ce stade. Elle relie les moyens mobilisés, les activités réalisées, les réalisations immédiates, les résultats attendus et les effets à plus long terme. Par exemple, une aide destinée à faciliter l’embauche de personnes éloignées de l’emploi suppose plusieurs étapes : les employeurs doivent connaître l’aide, déposer une demande, recruter, puis maintenir la personne dans l’emploi. Si l’évaluation se limite au nombre d’aides versées, elle ne permet pas de vérifier toute cette chaîne.
L’ex ante est particulièrement utile lorsqu’il existe plusieurs scénarios. Une comparaison peut porter sur le coût estimé, le nombre de bénéficiaires potentiels, la facilité de mise en œuvre, l’équité d’accès et les risques de substitution. Dans le domaine financier ou budgétaire, les hypothèses et les montants doivent être rattachés à des documents identifiés, notamment les documents budgétaires ou les analyses publiées par les administrations compétentes. Une estimation ne doit pas être présentée comme un résultat observé.
L’évaluation ex ante doit commencer suffisamment tôt pour pouvoir influencer la décision. Si elle est engagée après que le budget, les règles d’accès et le calendrier ont été définitivement arrêtés, elle risque de devenir une simple justification a posteriori. Le bon moment se situe souvent entre la définition du problème et la finalisation du dispositif, lorsque plusieurs choix restent ouverts.
Pour la conduire de façon rigoureuse, il est possible de suivre cinq étapes :
Cette approche possède des limites. Les effets futurs sont incertains, les comportements peuvent différer des prévisions et certaines conséquences ne sont pas quantifiables au moment de la décision. Une analyse ex ante sérieuse doit donc présenter ses hypothèses, ses marges d’incertitude et les points qui devront être vérifiés en cours de route. Elle ne doit pas transformer une projection en promesse.
L’évaluation in itinere se déroule pendant la mise en œuvre. Elle répond à une question opérationnelle : la politique est-elle appliquée comme prévu et les premiers résultats indiquent-ils qu’un ajustement est nécessaire ? Elle se distingue d’un simple tableau de bord. Le suivi décrit régulièrement l’activité, tandis que l’évaluation cherche à interpréter les écarts et à comprendre leurs causes.
Cette étape est pertinente lorsque le dispositif est expérimental, déployé progressivement ou susceptible d’être modifié. Elle peut porter sur :
Les méthodes peuvent combiner l’analyse de données administratives, des entretiens, des questionnaires, l’observation des procédures et l’examen de dossiers. Les données quantitatives signalent un écart, mais les informations qualitatives aident souvent à l’expliquer. Un faible recours à une aide peut s’expliquer par une méconnaissance du dispositif, une procédure trop complexe, des critères inadaptés ou un besoin réellement limité.
Le calendrier doit prévoir des points de décision. Une revue après quelques mois peut porter sur l’accès et la mise en œuvre, tandis qu’une revue ultérieure examine les premiers résultats. Il faut éviter de conclure trop vite à l’efficacité ou à l’inefficacité d’une politique dont les effets nécessitent un délai. L’évaluation in itinere doit distinguer les problèmes de conception, les problèmes d’exécution et les effets encore trop récents pour être interprétés.
L’évaluation ex post est menée après la mise en œuvre, une fois qu’un recul suffisant permet d’observer les résultats et les effets. Elle ne se limite pas à vérifier si les objectifs chiffrés ont été atteints. Elle cherche à déterminer ce qui s’est produit, pour quels publics, à quel coût et dans quelle mesure la politique a contribué aux changements observés.
Une grille d’analyse peut reprendre plusieurs critères fréquemment utilisés dans l’évaluation publique :
La principale difficulté consiste à distinguer la contribution de la politique des évolutions dues à d’autres facteurs. Une hausse de l’emploi peut dépendre simultanément de la conjoncture, d’une réforme, des pratiques des employeurs et d’un dispositif ciblé. Lorsque les données le permettent, une comparaison entre bénéficiaires et personnes comparables non bénéficiaires peut éclairer cette question. Les méthodes contrefactuelles, les groupes de comparaison, les séries temporelles et les analyses statistiques doivent être choisis en fonction du dispositif et non appliqués mécaniquement.
Le délai d’observation dépend du type d’effet recherché. Une amélioration administrative peut être visible rapidement, alors qu’un changement de qualification, de revenu ou de trajectoire professionnelle peut nécessiter plusieurs années. Une évaluation réalisée trop tôt risque de sous-estimer les effets à long terme. À l’inverse, attendre trop longtemps peut rendre les données difficiles à reconstituer et retarder une décision utile.
| Moment | Question centrale | Outils possibles | Décision éclairée |
|---|---|---|---|
| Ex ante | La politique envisagée est-elle pertinente et réalisable ? | Diagnostic, théorie du changement, comparaison de scénarios, analyse des risques | Lancer, modifier ou abandonner un projet |
| In itinere | La mise en œuvre produit-elle les premiers résultats attendus ? | Suivi d’indicateurs, entretiens, questionnaires, analyse des parcours et des abandons | Corriger, simplifier, réorienter ou prolonger le dispositif |
| Ex post | Quels résultats et quels effets peuvent être attribués à la politique ? | Comparaison, analyse d’impact, étude de coûts, retours des bénéficiaires | Maintenir, généraliser, transformer ou arrêter la politique |
Ce tableau ne signifie pas qu’une évaluation ex ante serait uniquement stratégique, l’in itinere uniquement opérationnelle et l’ex post uniquement statistique. Les trois approches peuvent mobiliser des méthodes quantitatives et qualitatives. La différence tient surtout au moment, au niveau de maturité du dispositif et au type de décision attendu.
Le calendrier doit être défini avec la politique, et non ajouté à la fin comme une formalité. Une démarche pratique peut commencer par une réunion de cadrage réunissant les responsables du programme, les équipes chargées de la mise en œuvre, les producteurs de données et, lorsque cela est possible, des représentants des publics concernés. Il faut ensuite formaliser les questions prioritaires, les indicateurs, les sources et les responsabilités.
Un calendrier peut comprendre les jalons suivants :
Chaque indicateur doit être défini avec précision : unité de mesure, population concernée, période, source, fréquence de collecte et responsable de la qualité. Il est aussi nécessaire de protéger les données personnelles et de respecter le cadre juridique applicable. Une évaluation utile ne collecte pas davantage d’informations que nécessaire, mais elle évite de découvrir trop tard qu’aucune mesure de référence n’a été réalisée avant l’intervention.
Plusieurs erreurs reviennent dans les démarches d’évaluation. La première consiste à choisir uniquement des indicateurs faciles à compter. Le nombre de dossiers traités ou de participants renseigne sur l’activité, mais pas nécessairement sur l’amélioration de la situation des bénéficiaires.
La deuxième erreur est de confondre corrélation et causalité. Le fait que les bénéficiaires connaissent une évolution favorable ne prouve pas que la politique en est la cause. Il faut examiner les autres facteurs et, lorsque c’est possible, construire une comparaison robuste.
La troisième consiste à modifier les objectifs en cours de route sans conserver la trace des objectifs initiaux. Les ajustements peuvent être légitimes, notamment lorsqu’un dispositif révèle un obstacle imprévu. Ils doivent cependant être documentés afin de distinguer une adaptation fondée sur l’apprentissage d’un simple déplacement des critères de réussite.
La quatrième erreur est de réserver l’évaluation à une équipe extérieure ou à une fonction spécialisée sans associer les personnes qui connaissent les procédures et les usages. L’indépendance méthodologique est importante, mais elle doit s’accompagner d’un accès réel aux informations et d’une compréhension du terrain. Enfin, un rapport qui ne précise pas ses limites, ses sources et ses méthodes ne permet pas au lecteur d’apprécier la solidité de ses conclusions.
Une politique nouvelle, incertaine ou très coûteuse justifie généralement un effort ex ante approfondi, suivi d’une évaluation in itinere rapprochée. L’objectif est de tester les hypothèses avant un déploiement large et de repérer rapidement les obstacles.
Un dispositif déjà stabilisé, avec des objectifs opérationnels bien définis, peut privilégier un suivi régulier complété par une évaluation ex post à intervalles adaptés. Une politique qui vise des effets de long terme doit prévoir dès le départ une mesure de référence et des observations suffisamment espacées pour éviter les conclusions prématurées.
Pour un entrepreneur, un indépendant ou un salarié qui souhaite comprendre l’action publique, cette chronologie aide à lire les annonces et les bilans avec davantage de recul. Une enveloppe annoncée ou un nombre de bénéficiaires ne suffit pas à juger une politique. Il faut regarder la définition du public, les conditions d’accès, la période d’observation, les indicateurs retenus et la méthode utilisée pour relier les résultats à l’intervention.
En pratique, le bon moment pour évaluer n’est donc pas unique. Il correspond à la question posée : décider avant d’agir, améliorer pendant l’action ou juger les effets après un délai pertinent. La qualité d’une politique publique dépend aussi de cette capacité à organiser ces trois regards dans le temps.
Oui. L’évaluation ex ante travaille souvent avec des données existantes, des hypothèses et des scénarios. Elle doit alors distinguer clairement les informations observées, les estimations et les incertitudes. Les données manquantes doivent être inscrites dans le plan de suivi afin d’être collectées après le lancement.
Oui, si les résultats montrent que le problème est mal défini, que les conditions de mise en œuvre ne sont pas réunies ou que les effets négatifs sont trop importants. Elle peut aussi conduire à réduire le périmètre, à modifier les critères d’accès ou à réallouer les moyens. La décision doit s’appuyer sur des éléments documentés et non sur un indicateur isolé.
Il n’existe pas de délai universel. Il dépend du rythme auquel les effets recherchés peuvent apparaître et de la disponibilité des données. Un indicateur de traitement administratif peut être examiné rapidement, tandis qu’une trajectoire professionnelle ou un effet social durable exige davantage de recul.
Non. Les indicateurs de suivi décrivent une activité ou un résultat, mais ils n’expliquent pas toujours les causes ni les effets indirects. Une évaluation complète peut associer données quantitatives, analyse qualitative, comparaison et étude des coûts, selon la question à traiter.
Une administration, une équipe de recherche, un prestataire spécialisé ou une instance indépendante peut réaliser une évaluation, selon le cadre du projet. L’essentiel est de préciser la méthode, les sources, les éventuels conflits d’intérêts, les limites et les modalités de restitution. Les informations juridiques, financières ou administratives doivent être vérifiées auprès d’un professionnel ou de l’organisme compétent lorsque la situation l’exige.
Évaluer une politique publique ne consiste pas seulement à mesurer un résultat à la fin d’un programme. Le calendrier de l’évaluation détermine les questions auxquelles il est possible...
Le Répertoire National des Évaluateurs (RNE) constitue un outil essentiel pour les professionnels de l'évaluation. En facilitant l'accès aux appels d'offres, il joue un rôle d...
La collaboration avec les collectivités territoriales repose sur des conventions et partenariats essentiels à la réussite des projets. Comprendre le cadre juridique et les enjeux associés permet de...
L'évaluation des politiques publiques constitue un levier essentiel pour garantir l'efficacité des actions menées. Comprendre ses enjeux permet d'optimiser les ressources, d'améliorer la performance des organisations et...
La mise à jour du Kbis est un enjeu majeur pour les organismes d'évaluation. Elle garantit la conformité légale et la reconnaissance des nouvelles activit...
Le Répertoire National des Évaluateurs (RNE) constitue un outil fondamental pour le recensement des organismes d’audit et d’évaluation. En garantissant transparence et rigueur, il permet d’identifier...
