Pourquoi utiliser une méthode quasi expérimentale
Lorsqu’une entreprise, un dispositif d’accompagnement ou une politique d’emploi est mis en place, il est utile de savoir si les résultats observés proviennent réellement de cette action. Une hausse des ventes, une progression du retour à l’emploi ou une baisse des départs peuvent toutefois avoir plusieurs explications : conjoncture, saisonnalité, évolution des prix, changement de direction, recrutement de profils différents ou simple tendance déjà engagée avant l’intervention.
Une expérimentation aléatoire constitue une référence méthodologique solide, car elle répartit au hasard les personnes ou les unités entre un groupe exposé et un groupe témoin. Dans la vie professionnelle et économique, cette organisation est souvent difficile, voire impossible. Il peut être délicat de refuser une formation à certains salariés, de choisir arbitrairement les entreprises aidées ou de retarder une réforme pour constituer un groupe de comparaison.
Les méthodes quasi expérimentales cherchent alors à reconstituer une comparaison crédible à partir de données existantes. Elles ne suppriment pas toute incertitude. Elles reposent sur des hypothèses qui doivent être explicitées, testées autant que possible et discutées dans l’interprétation. La différence de différences compare des évolutions dans le temps entre un groupe traité et un groupe de comparaison. L’appariement rapproche des unités qui se ressemblent sur des caractéristiques observées.
La différence de différences, une comparaison des trajectoires
La méthode de différence de différences, souvent abrégée DiD, est adaptée lorsqu’une intervention touche un groupe à une date identifiable et qu’un autre groupe n’est pas directement concerné. Son principe est de ne pas comparer uniquement les niveaux après l’intervention, mais de comparer les changements entre une période avant et une période après.
Imaginons deux groupes d’entreprises : celles qui adoptent un nouvel outil de gestion commerciale en janvier et celles qui ne l’adoptent pas. Si le chiffre d’affaires moyen du premier groupe augmente davantage, cette progression ne peut être attribuée automatiquement à l’outil. Les entreprises équipées étaient peut-être déjà plus dynamiques. La DiD examine donc deux écarts :
- l’écart entre les entreprises équipées et non équipées avant le changement ;
- l’écart entre ces mêmes groupes après le changement.
La différence entre ces deux écarts constitue l’estimation de l’effet associé à l’intervention. Sous certaines conditions, elle mesure la variation qui dépasse les évolutions communes aux deux groupes.
La formule simplifiée peut être présentée ainsi :
Effet estimé = évolution du groupe traité moins évolution du groupe de comparaison
Par exemple, si l’indicateur progresse de 12 points dans le groupe traité et de 5 points dans le groupe de comparaison, l’effet estimé est de 7 points. Ce calcul ne signifie pas que l’intervention explique nécessairement toute la différence. Il devient interprétable si les hypothèses de la méthode sont raisonnablement satisfaites.
L’hypothèse centrale : des tendances parallèles avant l’intervention
La principale hypothèse de la DiD est celle des tendances parallèles. Elle signifie qu’en l’absence d’intervention, le groupe traité et le groupe de comparaison auraient suivi des trajectoires similaires, au moins sur la période étudiée. Les groupes peuvent avoir des niveaux différents. Ce qui compte est la ressemblance de leurs évolutions avant le traitement.
Cette hypothèse ne peut pas être prouvée directement, puisque l’évolution contrefactuelle du groupe traité après l’intervention n’est jamais observée. Il est néanmoins possible de rechercher des indices :
- examiner l’évolution de l’indicateur sur plusieurs périodes avant l’intervention ;
- représenter graphiquement les trajectoires des deux groupes ;
- vérifier si un écart apparaît déjà avant la date du changement ;
- tester l’existence d’un effet fictif à une date antérieure ;
- comparer les résultats avec d’autres groupes ou d’autres indicateurs.
Une rupture de tendance avant l’intervention fragilise l’analyse. Elle peut révéler que les groupes ne sont pas comparables, qu’un événement a touché l’un d’eux ou que la date retenue ne correspond pas au véritable début de l’action.
D’autres risques doivent être surveillés : un traitement qui déborde sur le groupe témoin, une intervention simultanée, une composition des groupes qui change fortement ou une anticipation du dispositif par les participants. Lorsque plusieurs périodes et plusieurs unités sont disponibles, une régression avec effets fixes et erreurs standards adaptées peut compléter la comparaison graphique. Le choix technique doit toutefois rester cohérent avec la structure des données.
Mettre en œuvre une différence de différences étape par étape
Une analyse sérieuse commence avant le calcul. La démarche peut suivre plusieurs étapes :
- Définir l’intervention. Il faut préciser ce qui change, pour qui, à quelle date et par quel mécanisme l’action est censée produire un effet.
- Choisir l’indicateur de résultat. Il peut s’agir d’un chiffre d’affaires, d’un taux de maintien dans l’emploi, d’un délai de recrutement, d’un nombre de candidatures ou d’une marge. La définition doit rester identique dans les deux groupes et sur les deux périodes.
- Identifier le groupe de comparaison. Il doit être soumis à des conditions aussi proches que possible, sans être affecté par l’intervention.
- Rassembler plusieurs observations avant et après. Une seule mesure avant et une seule mesure après rendent les diagnostics beaucoup plus pauvres.
- Contrôler la qualité des données. Il faut vérifier les valeurs manquantes, les changements de définition, les sorties d’échantillon et les événements exceptionnels.
- Comparer les tendances préalables. Le graphique est souvent le premier outil de contrôle, avant toute modélisation.
- Calculer l’écart de variation. Le résultat doit être accompagné d’un intervalle d’incertitude et d’une discussion sur les hypothèses.
- Tester la robustesse. On peut modifier la période étudiée, l’indicateur, le groupe de comparaison ou la date de traitement pour voir si la conclusion résiste.
Cette procédure est utile pour l’évaluation d’une formation, d’une nouvelle politique commerciale ou d’un changement de procédure interne. Elle permet aussi de distinguer un effet temporaire d’une évolution durable, à condition de disposer d’un suivi suffisamment long.
L’appariement : construire des comparaisons plus homogènes
L’appariement, ou matching, vise à comparer chaque unité traitée avec une ou plusieurs unités non traitées qui lui ressemblent sur des caractéristiques observées. Une unité peut être une personne, une entreprise, un établissement ou une période d’observation selon le projet.
Supposons qu’un programme accompagne des demandeurs d’emploi qui se portent volontaires. Les participants peuvent différer des non-participants par leur âge, leur niveau de qualification, leur expérience, leur secteur recherché, leur durée d’inscription ou leur situation géographique. Comparer directement leurs résultats après l’accompagnement risque donc d’attribuer au programme des différences qui existaient déjà.
L’appariement cherche à réduire ce biais de sélection. Il peut utiliser une distance entre caractéristiques, un score de propension ou des règles plus simples, comme le rapprochement par classe d’âge, secteur et niveau de qualification. Le score de propension correspond à la probabilité estimée de recevoir le traitement compte tenu des variables observées. Il ne résume correctement la situation que si les variables pertinentes ont été mesurées et intégrées au modèle.
Après l’appariement, l’effet est estimé en comparant les résultats des unités traitées avec ceux de leurs homologues non traités. Le choix peut porter sur l’effet moyen pour les personnes traitées, lorsque l’objectif est de savoir ce qui s’est passé pour les bénéficiaires, ou sur une autre population définie par le protocole.
Les étapes pratiques d’un appariement fiable
L’appariement n’est pas une simple sélection de profils qui semblent proches. Il nécessite une préparation documentée :
- Définir la population étudiée. Il faut préciser les critères d’inclusion, la période d’observation et l’unité statistique.
- Recenser les variables antérieures au traitement. Les variables choisies doivent être mesurées avant l’intervention. Utiliser une information postérieure peut introduire un biais.
- Écarter les variables qui sont des conséquences du traitement. Une formation suivie, par exemple, ne doit pas servir à apparier les participants et les non-participants si elle intervient après la décision d’accompagnement.
- Choisir une méthode. Appariement un à un, appariement avec plusieurs témoins, méthode par noyau ou appariement exact répondent à des situations différentes.
- Vérifier l’équilibre des groupes. Après appariement, les caractéristiques initiales doivent être comparées. Un score de propension proche ne garantit pas, à lui seul, un bon équilibre sur toutes les variables.
- Examiner le support commun. Il faut éviter de comparer des unités traitées qui n’ont aucun équivalent crédible dans le groupe non traité.
- Mesurer le résultat et l’incertitude. L’estimation doit tenir compte de la construction de l’échantillon apparié et des éventuelles dépendances entre observations.
Une analyse transparente précise les unités exclues, le nombre de correspondances, les variables utilisées, la méthode de distance, les règles en cas d’égalité et les tests d’équilibre. Sans ces informations, le lecteur ne peut pas juger la qualité de la comparaison.
Comparer les deux méthodes et choisir la bonne approche
La différence de différences et l’appariement ne répondent pas exactement au même problème. La première exploite principalement une variation temporelle et un groupe de comparaison. Le second cherche d’abord à réduire les différences observables entre unités traitées et non traitées. Ils peuvent aussi être combinés : apparier les unités sur leurs caractéristiques initiales, puis comparer leurs évolutions dans le temps avec une DiD. Cette combinaison peut améliorer la comparabilité, sans résoudre les biais liés aux variables non observées.
| Critère | Différence de différences | Appariement |
|---|
| Question principale | Les trajectoires ont-elles divergé après l’intervention ? | Les unités traitées obtiennent-elles un résultat différent de leurs homologues ? |
| Donnée nécessaire | Des observations avant et après, idéalement sur plusieurs périodes | Des caractéristiques observées avant le traitement et un résultat mesuré ensuite |
| Hypothèse centrale | Tendances parallèles en l’absence d’intervention | Les facteurs importants de sélection sont observés et correctement mesurés |
| Risque principal | Un événement simultané ou des trajectoires déjà différentes | Un biais lié aux variables non observées ou à de mauvais appariements |
| Usage pertinent | Réforme appliquée à une date identifiable dans un groupe | Programme attribué à des profils différents sans tirage au sort |
Le choix dépend donc de la question, du calendrier et des données disponibles. Si une série temporelle riche existe et qu’un groupe non exposé suit un parcours comparable, la DiD peut être appropriée. Si l’action concerne des personnes sélectionnées selon des caractéristiques connues, l’appariement peut corriger une partie du déséquilibre initial. Lorsqu’une forte sélection repose sur des facteurs difficiles à mesurer, aucune des deux méthodes ne doit être présentée comme une preuve définitive.
Les erreurs fréquentes dans l’interprétation
Plusieurs conclusions hâtives reviennent souvent dans les évaluations :
- Confondre corrélation et causalité. Une différence entre bénéficiaires et non-bénéficiaires ne prouve pas que le dispositif a créé cette différence.
- Ignorer la période précédant l’intervention. Sans examen des trajectoires initiales, la DiD repose sur une hypothèse non discutée.
- Apparier sur trop peu de variables. Le sexe ou l’âge ne suffisent généralement pas à décrire une situation professionnelle ou économique.
- Apparier sur une variable postérieure. Cette pratique peut masquer l’effet étudié ou créer un biais.
- Conserver toutes les unités à tout prix. Une unité sans équivalent crédible peut affaiblir l’analyse davantage que son exclusion documentée.
- Se limiter à la significativité statistique. Une estimation précise n’est pas forcément importante en pratique. Il faut examiner l’ampleur, les coûts, la durée et la pertinence opérationnelle de l’effet.
- Oublier les effets indirects. Un dispositif peut influencer les personnes non traitées, par exemple en modifiant la concurrence pour un emploi ou la charge de travail d’une équipe.
Une restitution utile présente l’estimation centrale, son incertitude, les hypothèses, les tests réalisés et les limites. Elle distingue également le résultat observé dans l’échantillon de la possibilité de le généraliser à d’autres entreprises, métiers ou territoires.
Un cadre de décision pour les entrepreneurs et les responsables d’activité
Pour évaluer une action sans disposer d’une expérimentation aléatoire, il est possible de commencer par une question simple : quel aurait été le résultat sans l’intervention ? Cette situation contrefactuelle ne peut pas être observée directement, mais elle peut être approchée par un groupe comparable et une période de référence.
Avant de lancer le suivi, il est utile de :
- définir un indicateur principal et quelques indicateurs secondaires ;
- enregistrer les résultats avant la mise en œuvre ;
- documenter la date réelle de déploiement et les éventuels décalages ;
- conserver les informations sur les personnes ou entreprises non exposées ;
- noter les événements extérieurs susceptibles d’affecter les résultats ;
- prévoir une durée d’observation compatible avec le délai attendu de l’effet.
Pour une petite entreprise, un tableau de suivi peut déjà renseigner les ventes, le nombre de prospects, le délai de réponse, le taux de conversion et le profil des clients. Pour une action d’insertion ou de formation, il peut suivre l’entrée en emploi, la durée de maintien, la qualification obtenue et la situation initiale des participants. La qualité de l’évaluation dépend moins de la sophistication du vocabulaire que de la cohérence du protocole, de la traçabilité des données et de la prudence des conclusions.
Les méthodes quasi expérimentales éclairent une décision, mais elles ne remplacent pas l’analyse du contenu de l’action, de sa mise en œuvre et de ses coûts. Un résultat faible peut provenir d’un dispositif pertinent mais mal déployé. Un résultat positif peut aussi être difficile à reproduire si le contexte change. Toute conclusion juridique, financière ou stratégique doit donc être complétée, lorsque cela est nécessaire, par l’avis d’un professionnel compétent.
Questions fréquentes
La différence de différences prouve-t-elle qu’une action est efficace ?
Non. Elle fournit une estimation causale sous l’hypothèse de tendances parallèles et sous réserve de l’absence d’événement concurrent qui toucherait différemment les groupes. Il faut examiner les trajectoires antérieures et les tests de robustesse.
L’appariement rend-il les groupes identiques ?
Non. Il améliore leur comparabilité sur les variables observées. Il ne corrige pas automatiquement les différences non mesurées, comme la motivation, la qualité du management ou certaines contraintes personnelles.
Peut-on utiliser les deux méthodes ensemble ?
Oui. Apparier les unités puis comparer leurs évolutions peut réduire les écarts initiaux et exploiter la dimension temporelle. Cette combinaison reste dépendante de la qualité des variables observées et de l’hypothèse de tendances parallèles.
Combien de périodes faut-il observer ?
Il n’existe pas de nombre universel. Plusieurs observations avant et après sont préférables à une seule mesure de chaque côté, car elles permettent d’examiner les tendances, les ruptures et la durée de l’effet.
Que faut-il publier pour rendre l’analyse crédible ?
Il faut décrire la population, l’intervention, les dates, les indicateurs, les groupes, les variables d’appariement, les exclusions, la méthode de calcul, l’incertitude et les limites. Une conclusion prudente vaut mieux qu’une attribution causale non étayée.