Pourquoi intégrer le qualitatif dans une évaluation
Une évaluation ne consiste pas seulement à mesurer des résultats. Elle cherche aussi à comprendre comment une action a été mise en œuvre, pourquoi certains effets apparaissent, pourquoi d’autres restent limités et comment les personnes concernées interprètent le dispositif. Les méthodes qualitatives répondent précisément à ces questions de compréhension.
Entretiens individuels, focus groups, observations et études de cas permettent de recueillir des informations détaillées sur les pratiques, les perceptions et les mécanismes à l’œuvre. Elles donnent accès à des éléments difficilement réductibles à une statistique : une difficulté administrative récurrente, une incompréhension du parcours, une règle appliquée différemment selon les situations ou encore un effet inattendu.
Le qualitatif ne s’oppose pas nécessairement au quantitatif. Les deux approches peuvent se compléter. Une enquête chiffrée peut montrer qu’un taux de satisfaction diminue, tandis que des entretiens peuvent aider à identifier les causes de cette baisse. À l’inverse, des échanges exploratoires peuvent faire émerger des hypothèses qui seront ensuite testées auprès d’un nombre plus important de personnes.
Ce que les méthodes qualitatives permettent réellement d’étudier
Les méthodes qualitatives sont particulièrement utiles lorsqu’il faut analyser des expériences, des logiques d’action et des mécanismes. Elles peuvent notamment servir à :
- comprendre les attentes et les besoins de publics différents ;
- reconstituer le déroulement concret d’un parcours ou d’un accompagnement ;
- identifier les freins qui empêchent l’accès à un service, une formation ou un dispositif ;
- analyser les écarts entre une procédure prévue et sa mise en pratique ;
- repérer des effets non prévus, positifs ou négatifs ;
- expliquer des résultats différents selon les territoires, les métiers, les profils ou les étapes du parcours ;
- formuler des recommandations directement reliées aux situations observées.
Une démarche qualitative ne vise donc pas nécessairement à produire une estimation représentative de la population. Sa valeur tient plutôt à la profondeur des informations recueillies, à la diversité des points de vue et à la capacité de relier les faits aux contextes dans lesquels ils se produisent.
Cette distinction est importante pour éviter une conclusion abusive. Six entretiens ne permettent pas d’affirmer que toutes les personnes concernées pensent de la même manière. En revanche, ils peuvent révéler un mécanisme, une incompréhension ou un obstacle qui mérite d’être vérifié à plus grande échelle.
Les entretiens individuels : approfondir les parcours et les décisions
L’entretien individuel est adapté lorsque le sujet est complexe, sensible ou fortement lié à une trajectoire personnelle. Il peut concerner un bénéficiaire, un salarié, un dirigeant, un conseiller, un formateur ou toute autre partie prenante de l’action évaluée.
Dans la plupart des évaluations, l’entretien semi-directif offre un bon équilibre. L’évaluateur prépare un guide comportant plusieurs thèmes, tout en laissant la personne développer ses réponses. Le guide peut suivre cette structure :
- le contexte et la situation de départ ;
- la découverte du dispositif ou de l’action ;
- le déroulement de l’expérience ;
- les changements perçus et les résultats obtenus ;
- les difficultés rencontrées ;
- les améliorations possibles.
Les questions doivent rester ouvertes. Demander comment cela s’est passé fournit généralement davantage d’informations qu’une question qui appelle une réponse par oui ou par non. Les relances doivent être neutres : qu’est-ce qui vous fait dire cela, pouvez-vous donner un exemple, à quel moment cette difficulté est-elle apparue ?
La préparation du recrutement est déterminante. Il faut définir les profils recherchés, prévoir une diversité de situations et éviter de ne solliciter que les personnes les plus disponibles ou les plus satisfaites. Dans une évaluation d’un parcours de formation, il peut être utile de rencontrer des participants ayant terminé la formation, l’ayant abandonnée et l’ayant suivie avec des niveaux d’assiduité différents.
Le consentement, la confidentialité et l’usage des données doivent être expliqués avant l’entretien. Lorsque des données personnelles sont recueillies, le cadre applicable, notamment le Règlement général sur la protection des données et les recommandations de la Commission nationale de l’informatique et des libertés, doit être pris en compte.
Les focus groups : faire émerger les accords et les désaccords
Le focus group est une discussion organisée avec plusieurs participants autour d’un thème défini. Il ne s’agit pas d’une réunion libre ni d’un simple questionnaire collectif. Un animateur guide les échanges, distribue la parole et veille à ce que les participants réagissent aux propositions des autres.
Cette méthode est utile pour observer les normes partagées, les désaccords et les arguments mobilisés par un groupe. Elle peut par exemple aider à comprendre pourquoi une consigne est jugée claire par certains et impraticable par d’autres. Les interactions sont alors une source d’information supplémentaire : une personne précise son point de vue, une autre le nuance, une troisième introduit un problème qui n’avait pas été envisagé.
Pour obtenir des échanges exploitables, plusieurs précautions sont nécessaires :
- composer un groupe suffisamment homogène sur le sujet étudié, sans rechercher une uniformité totale ;
- éviter de réunir des personnes placées dans une relation hiérarchique directe ;
- limiter les écarts de pouvoir ou de statut qui pourraient empêcher la parole ;
- préparer des questions progressives, de l’expérience générale vers les points plus sensibles ;
- prévoir un cadre de discussion respectueux et rappeler les règles de confidentialité ;
- faire intervenir un animateur capable de relancer sans orienter les réponses.
Le focus group présente aussi des limites. Les participants les plus à l’aise peuvent monopoliser la parole. Certains peuvent chercher à donner une image favorable de leur pratique. D’autres peuvent s’aligner sur l’opinion dominante. L’analyse doit donc distinguer une opinion exprimée par plusieurs personnes, un consensus réel et un effet de groupe.
Les études de cas : relier les résultats à leur contexte
L’étude de cas examine de manière approfondie une situation délimitée : un parcours d’accompagnement, une action de formation, une équipe, une implantation locale, un projet entrepreneurial ou une période précise de mise en œuvre. Elle cherche à comprendre les relations entre le contexte, les pratiques, les ressources mobilisées et les résultats observés.
Un cas solide ne repose pas sur une seule source. Il peut croiser des entretiens, des documents de suivi, des observations, des données administratives et des productions réalisées par les participants. Ce croisement des sources, souvent appelé triangulation, permet de comparer les récits et de repérer les convergences ou les écarts.
Une étude de cas peut être choisie pour plusieurs raisons :
- un cas typique, qui ressemble à la situation la plus fréquente ;
- un cas contrasté, qui présente des résultats très différents ;
- un cas particulièrement documenté, permettant de suivre précisément un processus ;
- un cas révélateur d’un problème ou d’une innovation dans la mise en œuvre.
Il faut expliciter le critère de sélection. Choisir uniquement une situation qui fonctionne bien produit une vision incomplète. De même, retenir seulement un cas en difficulté ne permet pas de conclure sur l’ensemble du dispositif. La comparaison de plusieurs cas peut faire apparaître des conditions de réussite plus robustes : disponibilité des acteurs, clarté des rôles, adaptation aux besoins ou continuité de l’accompagnement.
Construire une démarche qualitative étape par étape
Une évaluation qualitative gagne en fiabilité lorsque ses choix sont documentés dès le départ. Une démarche pratique peut suivre les étapes suivantes :
- Formuler les questions d’évaluation. Il faut préciser ce que l’on cherche à comprendre : l’accès, la qualité de la mise en œuvre, les effets, les freins ou les conditions de réussite.
- Établir une cartographie des parties prenantes. Elle peut inclure les bénéficiaires, les professionnels, les responsables, les partenaires et les personnes qui ont quitté le parcours.
- Choisir la méthode adaptée. L’entretien convient à l’approfondissement, le focus group aux représentations collectives et l’étude de cas à l’analyse contextualisée.
- Élaborer un échantillonnage raisonné. Les personnes sont sélectionnées selon des critères utiles à la question d’évaluation, et non uniquement selon leur facilité d’accès.
- Tester les outils. Un entretien pilote ou une première discussion permet de repérer les questions ambiguës et les thèmes manquants.
- Organiser la collecte. Les conditions, la durée, l’enregistrement éventuel, la prise de notes et les règles de confidentialité doivent être prévues.
- Analyser progressivement. Il est préférable de commencer l’analyse avant la fin de la collecte afin d’identifier les sujets à approfondir.
- Relier les constats aux recommandations. Chaque recommandation doit s’appuyer sur des résultats identifiés et préciser le problème auquel elle répond.
Cette organisation évite de transformer la collecte en accumulation de verbatims. Un volume important de témoignages ne garantit pas à lui seul la qualité de l’évaluation.
Analyser les données sans se perdre dans les verbatims
L’analyse qualitative consiste à organiser les matériaux recueillis pour faire apparaître des thèmes, des relations et des différences. Une première étape consiste à retranscrire ou résumer les échanges avec suffisamment de précision pour conserver le sens des propos. Vient ensuite le codage, qui consiste à associer des catégories aux passages pertinents.
Les codes peuvent être définis avant la collecte à partir des questions d’évaluation, puis enrichis lorsque de nouveaux thèmes apparaissent. Par exemple, une évaluation d’un accompagnement à la création d’entreprise peut prévoir les catégories accès à l’information, relation avec le conseiller et mise en œuvre du projet. Les entretiens peuvent ensuite faire émerger d’autres catégories, comme la difficulté à comprendre les démarches ou le manque de temps disponible.
Pour renforcer la rigueur, il est utile de conserver une trace :
- des critères de sélection des participants ;
- des modifications apportées au guide d’entretien ;
- des catégories utilisées pour le codage ;
- des éléments qui confirment ou contredisent une hypothèse ;
- des cas atypiques et des réponses minoritaires ;
- des limites de la collecte et de l’interprétation.
Le rapport final doit distinguer clairement trois niveaux : ce que les personnes ont déclaré, ce que l’analyse permet d’interpréter et ce qui relève d’une recommandation. Cette séparation limite les surinterprétations et rend les conclusions plus discutables, donc plus utiles.
Quelle méthode choisir selon la question posée
Le choix d’une méthode ne doit pas dépendre de sa popularité, mais de la question à traiter. Le tableau suivant fournit des repères pratiques.
| Question d’évaluation | Méthode pertinente | Point de vigilance |
|---|
| Pourquoi certaines personnes abandonnent-elles le parcours ? | Entretiens individuels avec des profils ayant poursuivi et abandonné | Ne pas interroger uniquement les personnes encore engagées |
| Comment un public comprend-il une nouvelle offre ? | Focus group ou entretiens exploratoires | Distinguer la compréhension déclarée de l’intention réelle d’usage |
| Pourquoi les résultats diffèrent-ils selon les lieux ? | Étude de cas comparée | Examiner les différences de contexte et pas seulement les résultats |
| Comment une procédure est-elle appliquée au quotidien ? | Observation et entretiens avec les professionnels | Prendre en compte les écarts entre discours et pratiques |
| Quels effets inattendus sont apparus ? | Entretiens ouverts et analyse documentaire | Laisser une place aux thèmes qui ne figuraient pas dans le protocole |
Dans de nombreux projets, plusieurs méthodes sont combinées. Le choix doit rester proportionné aux moyens disponibles, au calendrier et à la sensibilité du sujet. Une démarche courte mais bien ciblée vaut mieux qu’un protocole trop ambitieux, impossible à analyser correctement.
Les erreurs fréquentes et les moyens de les éviter
La première erreur consiste à utiliser des questions orientées. Demander aux participants si une action les a aidés suppose déjà qu’elle a produit un effet. Il est préférable de demander ce qui a changé, ce qui n’a pas changé et à quoi ces changements peuvent être attribués selon eux.
La deuxième erreur est de confondre satisfaction et impact. Une personne peut apprécier un service sans avoir atteint son objectif. À l’inverse, un dispositif exigeant peut produire un effet utile malgré une appréciation mitigée. Les questions doivent donc porter sur les expériences, les changements observés et les conditions qui les expliquent.
La troisième erreur est de négliger les absents. Les personnes qui ne répondent pas, qui abandonnent ou qui n’utilisent pas un service peuvent détenir des informations essentielles sur les obstacles. Leur accès est parfois difficile, mais leur point de vue ne doit pas être remplacé par celui des participants les plus engagés.
Enfin, une évaluation qualitative peut perdre sa crédibilité si elle généralise sans précaution. Les conclusions doivent préciser le périmètre des données, les profils interrogés, le contexte et les limites. Les référentiels de l’Organisation de coopération et de développement économiques, notamment les critères d’évaluation du Comité d’aide au développement, rappellent l’importance de relier les constats au contexte et aux questions évaluatives.
Transformer les résultats en décisions utiles
La restitution doit être conçue pour des lecteurs qui devront agir. Un rapport peut commencer par une synthèse des principaux constats, puis présenter les éléments qui les étayent. Les recommandations gagnent à être formulées de manière opérationnelle : problème visé, changement proposé, responsable pressenti, conditions de mise en œuvre et indicateur de suivi.
Les verbatims peuvent illustrer un constat, mais ils ne doivent pas remplacer l’analyse. Il est préférable de sélectionner quelques extraits courts, anonymisés et représentatifs du thème étudié. Lorsque les propos sont sensibles, l’anonymisation doit empêcher une identification indirecte, notamment dans une petite équipe ou un secteur spécialisé.
Une évaluation qualitative peut également servir à préparer une nouvelle mesure. Les résultats peuvent conduire à modifier un formulaire, clarifier une information, revoir une étape du parcours, adapter les horaires ou créer un temps de suivi. L’intérêt de la méthode réside alors dans le lien entre compréhension fine des situations et décision concrète.
Pour un entrepreneur, un indépendant ou un responsable de petite structure, la démarche peut rester simple : interroger quelques profils contrastés, documenter les réponses, comparer les situations et vérifier les interprétations auprès des personnes concernées. La rigueur ne dépend pas uniquement du nombre de participants. Elle tient à la cohérence entre la question, la méthode, la collecte, l’analyse et la décision recherchée.
FAQ sur les méthodes qualitatives en évaluation
Les méthodes qualitatives sont-elles moins fiables que les enquêtes chiffrées ?
La fiabilité dépend de la méthode employée et de son adéquation à la question. Le qualitatif ne mesure pas toujours une fréquence, mais il peut expliquer un mécanisme, révéler un obstacle et documenter des expériences que les chiffres ne montrent pas.
Combien d’entretiens faut-il réaliser ?
Il n’existe pas de nombre universel. La collecte peut s’arrêter lorsque les nouveaux entretiens n’apportent plus d’éléments substantiellement différents pour la question étudiée. Ce principe doit être apprécié avec prudence et documenté, notamment lorsque les profils sont très diversifiés.
Peut-on organiser un focus group avec des clients et des salariés ?
Il est généralement préférable de séparer les groupes lorsque les participants ont des intérêts ou des niveaux de pouvoir différents. Une discussion commune peut empêcher certaines personnes de parler librement et produire des réponses conformes aux attentes supposées du groupe dominant.
Une étude de cas permet-elle de généraliser les résultats ?
Elle permet surtout une généralisation analytique : les mécanismes observés peuvent aider à formuler des hypothèses applicables à des situations comparables. Elle ne fournit pas, à elle seule, une estimation statistique de l’ensemble d’une population.
Faut-il enregistrer les entretiens ?
Un enregistrement facilite l’analyse, mais il nécessite l’accord explicite des participants et une information claire sur la conservation et l’utilisation des données. Si l’enregistrement n’est pas possible, une prise de notes structurée peut être utilisée, en signalant cette limite dans le rapport.