Pourquoi mesurer un effet propre plutôt qu’une simple évolution

Lorsqu’un dispositif public est créé ou modifié, les résultats observés ne suffisent pas à conclure qu’il a produit l’effet attendu. Le nombre de créations d’entreprise peut augmenter après une aide, le retour à l’emploi peut progresser après une formation ou la fréquentation d’un service peut s’accroître après une campagne d’information. Mais ces évolutions peuvent aussi s’expliquer par la conjoncture économique, une réforme parallèle, une évolution des comportements ou des caractéristiques propres aux personnes bénéficiaires.

La question centrale de l’évaluation est donc la suivante : que se serait-il passé pour les mêmes personnes ou les mêmes entreprises si elles n’avaient pas bénéficié du dispositif ? Cette situation n’est pas directement observable. Une personne ne peut pas être simultanément bénéficiaire et non-bénéficiaire au même moment. Elle constitue le contrefactuel.

L’effet propre, aussi appelé effet causal ou effet de traitement selon les disciplines, correspond à la différence entre le résultat observé avec le dispositif et le résultat qui aurait été observé sans lui. Les méthodes contrefactuelles cherchent à reconstruire ce second résultat de manière crédible, à partir de données et d’un groupe de comparaison.

Les notions à distinguer avant toute analyse

Une évaluation solide commence par un vocabulaire précis. Le dispositif désigne l’intervention étudiée : subvention, accompagnement, formation, exonération, prestation, réglementation ou service public. Le traitement correspond à la participation effective à ce dispositif. Le groupe traité rassemble les bénéficiaires étudiés. Le groupe de comparaison fournit une estimation de leur situation contrefactuelle.

Il faut également distinguer plusieurs effets :

• L’effet moyen sur les bénéficiaires mesure ce que le dispositif a changé, en moyenne, pour les personnes ou structures qui en ont bénéficié.
• L’effet moyen sur la population éligible cherche à estimer l’impact pour l’ensemble des personnes susceptibles d’y accéder, y compris celles qui n’ont pas participé.
• L’effet à court terme porte sur un résultat immédiatement observable, tandis que l’effet à moyen ou long terme peut concerner la pérennité d’un emploi, la survie d’une entreprise ou l’évolution d’un revenu.
• L’effet brut décrit une différence observée. L’effet net tente d’écarter les facteurs extérieurs au dispositif.

Une autre distinction est essentielle : l’éligibilité, l’inscription et l’usage réel ne sont pas toujours identiques. Une personne peut être éligible sans demander l’aide, être inscrite sans suivre la formation ou recevoir une prestation sans l’utiliser pleinement. L’évaluation doit préciser quel niveau d’exposition est mesuré.

La première étape : formuler une question évaluative testable

Une question vague comme le dispositif est-il efficace ne permet pas de choisir une méthode. Il faut préciser la population concernée, l’intervention, le résultat attendu, la période et le point de comparaison. Une formulation opérationnelle peut être : quel est l’effet d’un accompagnement à la création d’entreprise sur le maintien de l’activité douze mois après l’entrée dans le programme, parmi les personnes éligibles ?

Avant de collecter les données, il est utile de construire une chaîne de résultats :

1. Les ressources mobilisées, comme le budget, le temps des conseillers ou les outils disponibles.
2. Les activités réalisées, par exemple le nombre d’entretiens, d’heures de formation ou de dossiers instruits.
3. Les résultats immédiats, tels qu’une meilleure connaissance des démarches ou l’obtention d’une qualification.
4. Les résultats intermédiaires, comme l’accès à un emploi, le lancement d’une activité ou la réduction d’un délai administratif.
5. L’impact final, qui peut concerner la stabilité professionnelle, le revenu, la survie de l’entreprise ou l’insertion durable.

Cette chaîne évite de confondre activité et impact. Le nombre de bénéficiaires accompagnés renseigne sur le déploiement du dispositif, pas nécessairement sur son efficacité. De même, la satisfaction des participants est utile, mais elle ne remplace pas la mesure d’un résultat objectif.

Le principe du groupe de comparaison

La méthode contrefactuelle repose sur une comparaison. Le groupe de comparaison doit être suffisamment proche du groupe traité sur les caractéristiques qui influencent le résultat, tout en n’ayant pas reçu le dispositif étudié, ou en l’ayant reçu plus tard.

Le choix du groupe est délicat parce que l’accès à un dispositif public n’est généralement pas aléatoire. Les personnes qui demandent une aide peuvent être plus motivées, mieux informées ou confrontées à des difficultés différentes de celles qui ne la demandent pas. Une différence de résultat entre les deux groupes peut donc exister avant même l’intervention.

Une bonne évaluation examine les caractéristiques initiales : âge, niveau de diplôme, situation professionnelle, ancienneté de l’entreprise, secteur d’activité, territoire, revenu, historique de recours aux services et résultats observés avant le dispositif. L’objectif n’est pas de trouver deux groupes parfaitement identiques, ce qui est rarement possible, mais de justifier pourquoi leur évolution aurait pu être comparable en l’absence de l’intervention.

Les principales méthodes contrefactuelles

Le choix de la méthode dépend du mode d’accès au dispositif, de la disponibilité des données et du calendrier de mise en œuvre. Aucune technique ne corrige automatiquement un mauvais indicateur ou des données incomplètes.

L’expérimentation aléatoire répartit par tirage au sort les personnes éligibles entre un groupe bénéficiaire et un groupe témoin. La randomisation rend les groupes comparables en moyenne, y compris sur des caractéristiques difficiles à mesurer. Cette méthode est particulièrement robuste pour estimer un effet causal, mais elle suppose que le tirage au sort soit accepté, correctement appliqué et compatible avec les règles du dispositif.

La différence de différences compare l’évolution du groupe traité à celle d’un groupe de comparaison, avant et après la mise en œuvre. Elle est adaptée lorsqu’une réforme concerne un territoire, un secteur ou une période, tandis qu’un groupe comparable n’est pas exposé au même changement. L’hypothèse principale est celle des tendances parallèles : avant l’intervention, les deux groupes doivent avoir suivi des trajectoires suffisamment similaires.

L’appariement consiste à rapprocher chaque bénéficiaire de personnes comparables qui n’ont pas bénéficié du dispositif, selon des caractéristiques observées. L’appariement par score de propension est une technique connue, mais il ne traite que les différences mesurées. Il ne corrige pas une motivation, une contrainte familiale ou une information non observée qui influencerait à la fois l’accès et le résultat.

La discontinuité de régression exploite une règle d’éligibilité fondée sur un seuil, comme un âge, un revenu ou un score. Les personnes juste au-dessus et juste au-dessous du seuil peuvent être comparées si elles sont suffisamment proches et si elles ne peuvent pas manipuler leur position. L’effet estimé concerne généralement les individus autour du seuil, et ne se généralise pas automatiquement à toute la population.

La variable instrumentale est utilisée lorsqu’un facteur extérieur influence la probabilité de participer au dispositif, sans agir directement sur le résultat étudié, sauf par cette participation. Elle peut être pertinente, mais ses conditions de validité sont exigeantes et doivent être argumentées, pas seulement affirmées.

Le contrôle synthétique construit un groupe de comparaison théorique à partir d’une combinaison pondérée de territoires ou d’unités non traités. Cette méthode peut convenir lorsqu’une réforme touche une zone précise et que plusieurs unités comparables sont disponibles avant l’intervention.

Tableau de choix rapide selon la situation

Situation rencontrée	Méthode envisageable	Point de vigilance
Accès réparti par tirage au sort	Expérimentation aléatoire	Respect du protocole et absence de contamination entre groupes
Réforme appliquée à un groupe mais pas à un autre	Différence de différences	Vérifier la comparabilité des tendances avant la réforme
Éligibilité déterminée par un seuil	Discontinuité de régression	Contrôler l’absence de manipulation autour du seuil
Nombreuses caractéristiques observées	Appariement ou pondération	Reconnaître les biais liés aux variables non observées
Intervention sur un territoire unique	Contrôle synthétique	Disposer d’une longue période pré-intervention

Construire une base de données utile à l’évaluation

La qualité de l’estimation dépend largement de la qualité des données. Un fichier limité au statut bénéficiaire et à un résultat final permet rarement d’identifier un effet propre. Il faut documenter la situation avant l’intervention, la date d’entrée, l’intensité de l’exposition, les sorties éventuelles et les résultats à plusieurs échéances.

Un protocole pratique peut suivre ces étapes :

1. Définir l’unité d’analyse : personne, entreprise, établissement, commune ou dossier.
2. Attribuer un identifiant stable permettant de suivre la même unité dans le temps.
3. Fixer une date de référence commune, afin d’éviter de comparer des bénéficiaires à des moments différents de leur parcours.
4. Recenser les variables préexistantes, sans intégrer comme causes des informations recueillies après le début du dispositif.
5. Définir précisément chaque indicateur, son unité, sa source et sa période d’observation.
6. Documenter les non-réponses, les sorties de fichier, les doublons et les changements de définition.
7. Prévoir les règles de confidentialité, d’accès et de conservation conformément au cadre applicable aux données personnelles.

Les données administratives peuvent fournir des informations précieuses sur les revenus déclarés, l’emploi, les inscriptions ou les trajectoires d’entreprise. Les données d’enquête permettent de mesurer des dimensions moins visibles, comme les compétences, la confiance ou la qualité perçue. Leur combinaison doit être transparente : les sources ne couvrent pas toujours les mêmes populations ni les mêmes périodes.

Analyser les résultats sans surinterpréter

Un résultat d’évaluation doit présenter davantage qu’un écart entre deux pourcentages. Il faut indiquer la population étudiée, la méthode employée, la période, le nombre d’observations, l’indicateur utilisé et l’incertitude associée. Un effet estimé peut être positif sans être statistiquement distinguable de zéro. À l’inverse, un effet statistiquement significatif peut rester trop faible pour modifier réellement une décision publique.

La robustesse se vérifie à l’aide de tests complémentaires :

• Comparer plusieurs définitions du résultat, lorsque cela est justifié.
• Tester des périodes ou des groupes qui ne devraient pas être affectés.
• Examiner si les résultats changent fortement lorsque certaines variables sont retirées.
• Vérifier l’existence de tendances préalables compatibles avec la méthode retenue.
• Distinguer les effets moyens des effets selon les profils, les territoires ou les secteurs.
• Mesurer les éventuels effets indésirables, comme un déplacement du problème vers un autre public.

Il faut aussi distinguer l’intention de traiter et le traitement effectivement reçu. Si une partie des personnes affectées au groupe bénéficiaire ne participe pas, l’effet de l’offre du dispositif peut différer de l’effet de la participation effective. Cette différence doit être explicitée dans le rapport.

Les erreurs fréquentes dans une évaluation

Comparer uniquement les bénéficiaires à l’ensemble de la population est souvent trompeur. Le groupe bénéficiaire peut présenter un profil particulier avant l’intervention. Comparer uniquement avant et après l’entrée dans le dispositif est également insuffisant, car une amélioration peut venir d’une reprise économique ou d’une évolution naturelle de la situation.

Une autre erreur consiste à choisir l’indicateur après avoir observé les résultats. Cette pratique augmente le risque de retenir la mesure qui confirme l’hypothèse initiale. Il est préférable de définir à l’avance les résultats principaux, les résultats secondaires et la période d’observation.

Les abandons de suivi posent également problème. Si les personnes qui quittent l’enquête sont plus souvent celles qui rencontrent des difficultés, le résultat final peut être artificiellement favorable. Le rapport doit donc décrire les pertes de suivi et tester leur influence.

Enfin, une méthode sophistiquée ne garantit pas une conclusion crédible. Un modèle statistique ne compense pas une population mal définie, une mauvaise date de référence, un indicateur instable ou un groupe de comparaison inadéquat. La transparence sur les limites renforce la valeur de l’évaluation.

Une démarche opérationnelle pour commanditer ou réaliser l’étude

Pour un dirigeant de structure, un responsable de programme, un évaluateur ou un financeur public, la démarche peut être organisée autour de huit décisions :

1. Décrire le dispositif, son public cible, ses règles d’accès et son calendrier.
2. Formuler une ou deux questions causales prioritaires, plutôt qu’une longue liste d’objectifs.
3. Choisir le résultat qui représente réellement la finalité du dispositif.
4. Identifier les données disponibles et les informations à recueillir avant le démarrage.
5. Choisir la méthode en fonction du mécanisme d’attribution, non en fonction de sa popularité.
6. Rédiger un plan d’analyse avant l’examen des résultats finaux.
7. Prévoir une analyse des limites, des effets différenciés et des effets indésirables.
8. Présenter séparément les résultats, les hypothèses, les incertitudes et les implications pour la décision.

Les ressources méthodologiques de la Direction de la recherche, des études, de l’évaluation et des statistiques, de la Direction de l’animation de la recherche, des études et des statistiques, de l’Insee, de France Stratégie et de l’Organisation de coopération et de développement économiques peuvent aider à cadrer une évaluation. Elles ne remplacent toutefois pas l’analyse du dispositif particulier étudié.

Ce que la méthode permet réellement de conclure

Une méthode contrefactuelle ne répond pas à toutes les questions. Elle peut estimer si un dispositif a produit un effet, pour quel public et dans quelles conditions. Elle ne dit pas nécessairement pourquoi le dispositif fonctionne. Pour comprendre les mécanismes, il faut compléter l’analyse par des entretiens, l’observation des parcours, l’étude de la mise en œuvre et l’examen des pratiques des professionnels.

Elle ne mesure pas non plus automatiquement le rapport entre les coûts et les bénéfices. Une analyse coût-efficacité ou coût-bénéfice nécessite de valoriser les ressources mobilisées, les effets obtenus et, lorsque cela est possible, les conséquences indirectes. Cette analyse doit exposer ses conventions de calcul.

La conclusion la plus utile est souvent conditionnelle : le dispositif semble produire un effet pour tel public, sur tel indicateur, à telle échéance, dans un contexte donné. Cette formulation est plus informative qu’un jugement général sur la réussite ou l’échec. Elle aide à décider s’il faut maintenir, ajuster, étendre ou interrompre une intervention, tout en indiquant quelles informations manquent encore.

FAQ : comprendre les méthodes contrefactuelles

Quelle est la différence entre suivi et évaluation d’impact ?

Le suivi décrit la mise en œuvre et les résultats observés : nombre de participants, délais, sorties ou taux d’usage. L’évaluation d’impact cherche à estimer ce qui aurait été différent sans le dispositif. Elle exige donc un contrefactuel et une méthode de comparaison.

Faut-il toujours réaliser une expérimentation aléatoire ?

Non. La randomisation est une méthode robuste lorsqu’elle est faisable et acceptable, mais elle n’est pas adaptée à toutes les situations. Une différence de différences, une discontinuité de régression ou un appariement peuvent être pertinents si leurs hypothèses sont vérifiées et présentées clairement.

Un groupe de comparaison suffit-il à prouver la causalité ?

Non. Il faut encore démontrer que les groupes étaient comparables ou que la méthode corrige suffisamment leurs différences initiales. Les tendances avant intervention, les variables observées, les changements simultanés et les pertes de suivi doivent être examinés.

Peut-on généraliser le résultat à toute la population ?

Pas automatiquement. Un effet estimé autour d’un seuil, dans un territoire ou auprès de volontaires peut ne pas s’appliquer à d’autres publics. La généralisation dépend de la population étudiée, du contexte et du mécanisme d’accès au dispositif.

Une évaluation peut-elle remplacer une décision politique ?

Non. Elle fournit des éléments sur les effets, les coûts, les bénéficiaires et les limites. La décision doit aussi tenir compte des objectifs poursuivis, de l’équité, des contraintes juridiques, des arbitrages budgétaires et des priorités collectives. Les aspects juridiques, statistiques et financiers doivent, lorsque nécessaire, être examinés avec des professionnels compétents.