Expérimentation aléatoire en politique publique : principes, intérêts et limites

16 novembre 2026

Une méthode pour mesurer un effet causal

Une expérimentation aléatoire, souvent appelée essai contrôlé randomisé ou RCT, cherche à répondre à une question précise : une intervention produit-elle réellement l’effet observé ? Cette question est centrale pour les politiques publiques, mais aussi pour les dispositifs liés à l’emploi, à la formation, à l’entrepreneuriat, au financement ou à l’accompagnement des entreprises.

Le principe consiste à répartir aléatoirement les participants entre au moins deux groupes. Le premier reçoit le dispositif étudié, appelé groupe de traitement. Le second ne le reçoit pas pendant la période d’évaluation, ou bénéficie d’un dispositif habituel, appelé groupe témoin ou groupe de comparaison. Les résultats observés dans les deux groupes sont ensuite comparés.

La répartition aléatoire ne garantit pas à elle seule une bonne étude. Elle doit être associée à une question clairement définie, à des indicateurs mesurables, à un protocole connu avant le lancement et à une analyse adaptée. L’objectif n’est pas seulement de constater une différence, mais d’estimer dans quelle mesure cette différence peut être attribuée à l’intervention.

Le mécanisme du tirage au sort

Supposons qu’un dispositif propose un accompagnement renforcé à des demandeurs d’emploi. Si les personnes qui acceptent cet accompagnement retrouvent plus souvent un emploi, plusieurs explications sont possibles : le dispositif a pu être utile, mais les participants étaient peut-être aussi plus motivés, plus disponibles ou déjà mieux informés que les autres.

Le tirage au sort vise à réduire ce biais de sélection. Lorsque la taille de l’échantillon est suffisante, les caractéristiques observables et non observables ont tendance à être réparties de manière comparable entre les groupes. La différence moyenne constatée après l’intervention peut alors être interprétée comme une estimation de l’effet du programme, sous réserve du respect du protocole.

Le tirage au sort peut intervenir à différents niveaux :

  • Au niveau individuel : chaque personne est affectée séparément à un groupe.
  • Au niveau d’un établissement ou d’une structure : toutes les personnes rattachées à une structure suivent la même condition.
  • Au niveau d’un territoire : des communes, agences ou zones sont réparties entre intervention et comparaison.
  • Par vagues : l’accès au dispositif est échelonné dans le temps, ce qui permet de comparer les premiers bénéficiaires avec ceux qui attendent encore.

Le choix dépend du fonctionnement réel du programme. Une randomisation individuelle peut être difficile si les participants se parlent et se transmettent rapidement le contenu de l’intervention. Une randomisation par grappes limite ce risque, mais exige généralement davantage d’unités pour obtenir une précision statistique suffisante.

Concevoir une expérimentation étape par étape

  1. Formuler la question d’évaluation. Il faut préciser la population concernée, l’intervention étudiée, la comparaison retenue, l’horizon temporel et le résultat recherché. Une formulation telle que le dispositif est-il efficace reste trop vague. Il est préférable de demander s’il augmente, dans les douze mois, la reprise d’emploi durable des bénéficiaires éligibles.
  2. Décrire précisément l’intervention. Le protocole doit indiquer qui intervient, auprès de qui, pendant combien de temps, avec quels moyens et selon quelles règles. Une action mal définie ne peut pas être évaluée correctement.
  3. Choisir les indicateurs. Les indicateurs principaux doivent être déterminés avant l’analyse. Ils peuvent concerner l’accès à l’emploi, la création d’activité, le chiffre d’affaires, la survie d’une entreprise, l’assiduité en formation, le revenu, la qualité de vie ou le recours à un service.
  4. Définir la population éligible. Les critères d’inclusion et d’exclusion doivent être compréhensibles et vérifiables. Il faut aussi anticiper le nombre de personnes disponibles et les sorties possibles de l’étude.
  5. Organiser l’affectation aléatoire. La procédure doit être indépendante des préférences des opérateurs et des participants. Les règles d’affectation, les éventuelles strates et les groupes doivent être documentés.
  6. Prévoir la collecte des données. Les sources peuvent être des questionnaires, des données administratives, des entretiens ou des informations de gestion. Il faut préciser qui collecte, à quel moment et avec quelles garanties de confidentialité.
  7. Analyser et interpréter. Les résultats doivent distinguer l’effet prévu par le protocole, la précision de l’estimation, les abandons et les écarts de mise en œuvre.

Cette préparation est utile même lorsque l’étude est de taille modeste. Elle évite de modifier la question après avoir découvert les résultats et rend l’analyse plus transparente.

Quels résultats mesurer et comment les lire

Une évaluation sérieuse ne s’arrête pas à l’indicateur le plus favorable. Elle examine généralement plusieurs dimensions :

  • L’effet sur le résultat principal, par exemple la proportion de personnes ayant retrouvé un emploi.
  • L’intensité de l’effet, c’est-à-dire l’écart entre les groupes, exprimé en points, en durée moyenne ou en montant selon le cas.
  • La précision statistique, souvent présentée avec un intervalle de confiance. Une différence observée peut être compatible avec une forte incertitude.
  • Les effets différenciés selon l’âge, le niveau de qualification, la situation initiale ou le territoire. Ces analyses doivent rester prudentes lorsqu’elles portent sur de petits sous-groupes.
  • Les effets indésirables, comme le déplacement du problème vers d’autres publics, l’augmentation de la charge administrative ou la diminution du recours à un service.

Il faut distinguer deux notions souvent confondues. L’effet de l’offre correspond à l’impact du fait de proposer le dispositif. L’effet du traitement reçu concerne les personnes qui ont effectivement participé ou utilisé l’intervention. Si certains bénéficiaires refusent l’offre ou si certains membres du groupe témoin accèdent malgré tout à une action similaire, ces deux effets peuvent diverger.

Un résultat statistiquement significatif n’est pas nécessairement important dans la vie réelle. À l’inverse, un effet potentiellement utile peut être difficile à détecter avec un échantillon trop faible. L’interprétation doit donc associer ampleur, incertitude, coût et faisabilité.

Les principaux intérêts pour l’action publique

La première force de cette méthode est sa capacité à isoler un effet causal dans un contexte donné. Elle aide à distinguer une politique réellement efficace d’une mesure qui accompagne simplement une évolution déjà engagée.

Elle peut également améliorer la décision budgétaire. Lorsqu’un programme mobilise des ressources humaines et financières, comparer ses résultats avec une situation de référence fournit des éléments plus solides qu’un simple décompte du nombre de participants. Cela ne suffit pas à décider automatiquement d’une généralisation, mais cela éclaire le choix.

La méthode permet aussi d’identifier les conditions de réussite. Un accompagnement peut fonctionner pour les personnes éloignées de l’emploi, mais pas pour celles qui disposent déjà d’un réseau professionnel solide. Une formation peut accroître les compétences déclarées sans modifier les revenus. Un service numérique peut améliorer l’accès à l’information tout en laissant inchangé le comportement final.

Pour les entrepreneurs et les indépendants, ces enseignements peuvent concerner les aides à la création, les formations, les dispositifs de financement ou les services d’accompagnement. Une évaluation bien conçue peut montrer si l’intervention augmente réellement la pérennité des activités, accélère l’accès au premier client ou réduit un obstacle administratif. Elle peut aussi révéler que le principal problème se situe ailleurs, par exemple dans le manque de temps, la complexité des démarches ou l’insuffisance de débouchés.

Les limites scientifiques et pratiques

Une expérimentation aléatoire produit une estimation dans un cadre précis. Elle ne garantit pas que le même résultat apparaîtra dans une autre région, à une autre période ou avec un autre public. Cette limite est appelée validité externe. Plus le contexte change, plus il faut vérifier la transférabilité des résultats.

La mise en œuvre peut également affaiblir la comparaison. Si les professionnels appliquent différemment le protocole, si les bénéficiaires ne reçoivent pas réellement l’intervention prévue ou si le groupe témoin accède à une solution équivalente, l’écart entre les conditions se réduit. On parle parfois de contamination ou de non-respect de l’affectation.

Les pertes de suivi posent un autre problème. Lorsque certaines personnes ne répondent plus aux questionnaires ou ne peuvent plus être retrouvées dans les données disponibles, les résultats peuvent être biaisés si ces sorties sont liées à leur situation. Il est donc nécessaire de documenter les non-réponses et d’effectuer des analyses de robustesse.

La taille de l’échantillon constitue aussi une contrainte. Un petit nombre de participants ne permet pas toujours de détecter un effet modéré. Il faut éviter de multiplier les indicateurs et les comparaisons après coup, car cela augmente le risque de présenter par hasard un résultat favorable.

Enfin, la méthode ne répond pas à toutes les questions. Elle mesure plus facilement un effet quantifiable qu’une transformation institutionnelle, une amélioration de la confiance ou une évolution des pratiques professionnelles. Des entretiens et une évaluation qualitative peuvent compléter utilement les données statistiques.

Les enjeux éthiques et juridiques

Répartir des personnes entre plusieurs conditions soulève des questions de justice et d’information. Une expérimentation ne doit pas servir à priver arbitrairement un public d’un service dont l’efficacité est déjà établie. Elle peut en revanche comparer deux modalités encore incertaines, organiser un accès progressif ou étudier une offre supplémentaire lorsque les ressources ne permettent pas de la proposer à tous immédiatement.

Le consentement, l’information des participants et la protection des données doivent être examinés dès la conception. Les responsables de l’étude doivent préciser la finalité, les données collectées, la durée de conservation, les destinataires et les droits des personnes. Le respect du Règlement général sur la protection des données, sous le contrôle de la Commission nationale de l’informatique et des libertés, doit être apprécié selon le montage retenu.

Le cadre juridique dépend de la nature de l’intervention et des données utilisées. Une étude portant sur des personnes, des données sensibles ou des informations administratives peut nécessiter des avis, autorisations ou procédures spécifiques. Le Comité éthique et scientifique pour les recherches, les études et les évaluations dans le domaine de la santé intervient dans certains projets relevant de son champ, tandis que d’autres dispositifs relèvent d’instances et de règles différentes. Il faut donc qualifier le projet avant son lancement et solliciter un conseil juridique ou méthodologique lorsque cela est nécessaire.

La transparence est une exigence importante. Le protocole, les critères d’analyse, les limites et les résultats défavorables doivent pouvoir être présentés clairement. Une évaluation ne perd pas sa valeur parce qu’elle ne confirme pas l’hypothèse de départ.

Ce qu’il faut vérifier avant de lancer une étude

Un porteur de projet peut utiliser cette grille de préparation :

  • La question de décision est-elle formulée avant la collecte des données ?
  • Le groupe de comparaison représente-t-il une situation réaliste et acceptable ?
  • Le résultat principal est-il directement lié à l’objectif de la politique ?
  • Les participants pourront-ils être suivis sur une durée suffisante ?
  • Les équipes disposent-elles du temps et des compétences nécessaires ?
  • Le protocole prévoit-il les abandons, les changements de situation et les accès à d’autres dispositifs ?
  • Les données sont-elles disponibles, fiables, proportionnées et légalement utilisables ?
  • Le budget inclut-il la conception, la collecte, le contrôle qualité et l’analyse, et pas seulement l’intervention ?

Il est utile de séparer les rôles. L’équipe qui met en œuvre le programme peut contribuer à la connaissance du terrain, mais l’analyse doit bénéficier de garanties d’indépendance suffisantes. Un comité de suivi peut examiner les incidents, les écarts au protocole et les modifications nécessaires, sans changer les critères principaux pour convenance.

Pour un dispositif destiné aux petites entreprises, les indicateurs peuvent associer activité économique, maintien de l’emploi, trésorerie, temps consacré aux démarches et satisfaction des bénéficiaires. Le chiffre d’affaires seul ne permet pas toujours de comprendre l’effet, notamment lorsque la conjoncture ou la saisonnalité influencent fortement les résultats.

Expérimentation aléatoire et autres méthodes d’évaluation

MéthodeQuestion principalement traitéePoint de vigilance
Expérimentation aléatoireQuel est l’effet causal de l’intervention dans le cadre étudié ?Respect du tirage au sort, suivi et transférabilité
Comparaison avant-aprèsComment la situation évolue-t-elle après la mise en œuvre ?L’évolution peut provenir d’autres facteurs
Différences de différencesLe changement est-il différent entre un groupe exposé et un groupe de comparaison ?Les trajectoires auraient dû rester comparables sans intervention
Évaluation qualitativeComment et pourquoi le dispositif fonctionne-t-il, ou échoue-t-il ?Les résultats ne mesurent pas toujours l’ampleur d’un effet
Analyse coût-efficacitéQuel résultat est obtenu pour les ressources mobilisées ?Il faut définir les coûts et les effets sur un périmètre cohérent

Ces méthodes ne s’opposent pas nécessairement. Une expérimentation peut être accompagnée d’entretiens pour comprendre les mécanismes, d’une analyse des coûts pour éclairer une décision et d’un suivi de long terme pour vérifier la persistance des effets. Lorsque le tirage au sort est impossible, des méthodes quasi expérimentales peuvent fournir une information utile, à condition d’exposer clairement leurs hypothèses.

Interpréter un résultat sans surpromettre

Un rapport d’évaluation doit éviter les conclusions trop larges. Si une étude montre un effet positif sur l’accès à une formation, cela ne prouve pas automatiquement une hausse des revenus ou une amélioration durable de l’emploi. Chaque conclusion doit rester liée à la population étudiée, à l’intervention réellement délivrée, à la période d’observation et aux indicateurs retenus.

Il faut également distinguer l’efficacité et l’efficience. L’efficacité concerne l’atteinte d’un résultat. L’efficience met en relation ce résultat avec les ressources engagées. Un programme peut produire un effet réel mais coûter davantage qu’une solution moins ambitieuse. À l’inverse, un effet limité peut rester pertinent si l’intervention est peu coûteuse, simple à déployer et destinée à un grand nombre de personnes.

La décision publique ne repose pas uniquement sur une estimation statistique. Elle peut intégrer l’équité entre publics, la continuité du service, la faisabilité administrative, les obligations légales et les effets à long terme. La valeur d’une expérimentation est de rendre ces arbitrages mieux informés, non de les remplacer.

FAQ : les questions fréquentes

Une expérimentation aléatoire est-elle toujours préférable ?

Non. Elle est particulièrement adaptée lorsqu’une intervention peut être attribuée de manière équitable et lorsque la question porte sur un effet causal. Si le dispositif est déjà généralisé, si le nombre de participants est trop faible ou si la randomisation est contraire aux règles applicables, une autre méthode peut être plus pertinente.

Le groupe témoin ne reçoit-il rien ?

Pas nécessairement. Il peut recevoir l’accompagnement habituel, une information minimale, une autre intervention ou un accès différé. Le choix dépend de la question posée et des règles éthiques. Il doit être expliqué aux participants et aux parties prenantes concernées.

Un résultat positif suffit-il pour généraliser un programme ?

Non. Il faut examiner la qualité du protocole, la précision du résultat, le coût, les conditions de mise en œuvre et la proximité entre le contexte de l’étude et celui d’une généralisation. Une phase pilote ou une évaluation complémentaire peut être nécessaire.

Quelle est la différence entre corrélation et causalité ?

Une corrélation signifie que deux phénomènes évoluent ensemble. Elle ne prouve pas que l’un provoque l’autre. La répartition aléatoire aide à isoler la causalité en rendant les groupes comparables avant l’intervention, mais elle ne dispense pas de vérifier le déroulement réel de l’étude.

Qui peut analyser une expérimentation ?

Une équipe de recherche, un service d’évaluation ou un prestataire spécialisé peut conduire l’analyse, selon le projet. Il est recommandé de vérifier ses compétences statistiques, son expérience du secteur, ses garanties d’indépendance et sa capacité à traiter les exigences de protection des données.