Un test de faisabilité n’est pas une expérience miniature

Une équipe de programme conçoit un nouveau rappel d’épargne par SMS, une fiche illustrée sur la gestion du budget ou un formulaire d’ouverture de compte simplifié. Avant d’engager d'importantes ressources financières, une idée classique s'impose : réaliser « un petit pilote » auprès de quinze personnes pour observer les premiers résultats. Trois semaines plus tard, le compte-rendu indique que onze participants sur quinze ont épargné davantage après l'intervention. Autour de la table, la discussion s’oriente déjà vers un déploiement à l'échelle nationale.

Ce rapport répond en réalité à une question que l’étude était structurellement incapable de trancher. Tester auprès de quinze personnes était indispensable, mais pour une toute autre raison.

Deux démarches, deux questions fondamentales

Un test de faisabilité pose une question pratique : cette intervention peut-elle être déployée, comprise et correctement mesurée dans ce contexte opérationnel ?
Un essai doté d’une puissance statistique suffisante pose une question causale : l'intervention modifie-t-elle les comportements, et avec quelle amplitude mesurable ?

La première étude constitue le préalable méthodologique indispensable à la seconde. Elle n’en est en aucun cas une version miniature.

Cette distinction est rigoureusement établie en recherche clinique. L’extension CONSORT dédiée aux essais pilotes et de faisabilité randomisés enjoint aux auteurs de définir des critères de faisabilité et d’interpréter leurs conclusions uniquement sous cet angle, sans jamais les traiter comme des estimations d’efficacité (Eldridge et al., BMJ, 2016). Leon, Davis et Kraemer le rappellent sans détour : une étude pilote ne sert pas à tester des hypothèses causales, et les tailles d’effet observées ne doivent en aucun cas servir à dimensionner l’essai principal (Journal of Psychiatric Research, 2011). Un guide de référence synthétise les finalités légitimes d'un pilote : tester les processus d'exécution, évaluer les ressources logistiques requises, vérifier la gestion opérationnelle et s'assurer de la mesurabilité objective du résultat (Thabane et al., BMC Medical Research Methodology, 2010). En dehors du secteur médical, les décideurs et concepteurs de politiques publiques appliquent encore trop rarement cette discipline méthodologique.

Pourquoi quinze personnes ne peuvent pas révéler un effet causal

Prenons le scénario le plus optimiste : vingt participants répartis aléatoirement en deux groupes de dix, avec une variable de résultat binaire proche de 50 %. L’erreur type de la différence entre les deux groupes est d’environ :

$\sqrt{\frac{0{,}25}{10} + \frac{0{,}25}{10}} \approx 0{,}22$

L’intervalle de confiance à 95 % s'étend alors sur environ ±44 points de pourcentage. Une intervention rigoureusement inefficace et une intervention qui doublerait le taux d’épargne sont toutes deux compatibles avec un tel résultat. En l'absence de groupe témoin — ce qui est le cas de la quasi-totalité des petits pilotes informels —, il n’existe même plus de base d'estimation : l'écart observé avant et après l'intervention agrège sans distinction l'effet du dispositif, les variations saisonnières de trésorerie, la nouveauté d'être suivi, la régression vers la moyenne après un mois atypique et le biais de désirabilité sociale (les participants déclarant ce qu'ils pensent que l'équipe espère entendre).

L’arithmétique d'une évaluation d'impact rigoureuse obéit à d'autres échelles. Dans l'exemple détaillé d’un essai à quatre bras sur les rappels d'épargne, détecter une progression de 5 points de pourcentage à partir d’un taux de référence de 30 % — avec trois bras d'intervention comparés à un groupe témoin et une correction pour tests multiples — exige 1 929 participants par bras. Dans le cadre d’un essai randomisé par grappes au sein de groupes d’épargne, il faut mobiliser 80 groupes pour isoler un effet d'environ 0,19 écart-type. On ne s’approche pas de ces ordres de grandeur simplement en augmentant marginalement la taille d'un pilote.

De plus, les petits échantillons génèrent les estimations les plus trompeuses. Lorsqu'une très petite cohorte enregistre fortuitement un effet spectaculaire et sert de base au dimensionnement de l'essai principal, ce dernier manquera cruellement de puissance pour détecter l’effet réel, bien plus modeste. À l’inverse, si la petite étude ne fait apparaître aucune variation mesurable en raison du bruit statistique, une intervention prometteuse risque d’être prématurément abandonnée par les bailleurs.

Ce qu’un test de faisabilité doit réellement mesurer

Un test de faisabilité trouve toute sa valeur en mesurant les paramètres critiques dont dépend la réussite de l'évaluation à grande échelle, et qu'il sera impossible de corriger après le lancement. Une grille d'audit méthodologique, définie en amont du test, doit notamment évaluer :

• La compréhension : Les participants peuvent-ils reformuler avec leurs propres mots ce que le message, le support ou le formulaire les invite à faire ? Cette restitution doit être évaluée à l'aide d'une grille standardisée, et non d'après une appréciation subjective de l'animateur.
• L’utilisabilité : Quels sont les points d'hésitation, les erreurs de saisie ou les étapes d'abandon ? Selon l'observation établie de Jakob Nielsen, environ cinq utilisateurs suffisent à mettre au jour la majorité des anomalies d'interface pour un profil donné (Nielsen, 2000). Une cohorte de douze à vingt personnes permet de couvrir deux ou trois segments cibles distincts, par exemple des usagers familiarisés aux outils numériques et d'autres ayant de faibles niveaux d'alphabétisation.
• L’exécution opérationnelle : La session s’est-elle déroulée dans les conditions et les délais prévus ? Les notifications par SMS sont-elles parvenues à leurs destinataires ? Quel est le coût unitaire réel de mise en œuvre par participant ?
• Le recrutement et le consentement : Quelle proportion de personnes sollicitées a accepté de participer, et pour quels motifs les autres ont-elles décliné ? Le protocole de consentement éclairé a-t-il été pleinement assimilé ?
• La chaîne de mesure : L'indicateur clé est-il objectivement observable et exploitable ? Les relevés de transactions peuvent-ils être appariés sans ambiguïté aux profils des participants ? Les registres physiques des groupes d'épargne sont-ils lisibles et tenus à jour ? Combien de temps l'administration du questionnaire prend-elle, et relève-t-on des questions sans réponse ou des effets de plafond ?
• L’acceptabilité et les risques d'effets indésirables : Certains aspects du protocole suscitent-ils de la méfiance ou de l'inconfort ? Un message fondé sur le cadrage de perte (loss framing), par exemple, doit impérativement être testé sur un échantillon restreint avant d’être diffusé auprès de dizaines de milliers de bénéficiaires.

Chaque dimension doit être assortie d’un critère de progression explicite (go / no-go) fixé à l'avance, par exemple : un taux de reformulation correcte supérieur à 80 % pour chaque règle clé ; une assiduité d'au moins 70 % ; ou un taux d'appariement des relevés bancaires d'au moins 90 %. L'aboutissement d'un test de faisabilité est une décision opérationnelle claire (poursuivre, ajuster le dispositif, ou renoncer), et non une estimation prématurée d'impact causal.

L’autodéclaration : le biais central que le test doit neutraliser

Dans les études de petite envergure, la mesure repose fréquemment sur une simple question déclarative : « avez-vous épargné davantage depuis la session ? ». Il s’agit pourtant de l’indicateur le plus vulnérable. Des usagers auprès desquels un animateur vient de valoriser l'importance de l'épargne ont toutes les raisons de répondre par l'affirmative afin de se conformer aux attentes perçues. Le simple fait d'administrer une enquête peut en lui-même modifier les comportements observés et fausser les mesures ultérieures (Zwane et al., PNAS, 2011).

Le test de faisabilité traite ce biais de trois manières complémentaires :

1. Il s'interdit d'utiliser l'autodéclaration comme preuve d'efficacité.
2. Il valide la faisabilité d'une mesure objective pour l'essai ultérieur : extraction de données administratives, audit photographique des registres selon un calendrier strict ou rapprochement des transactions d'agence.
3. Il éprouve la robustesse des instruments déclaratifs lorsqu'ils sont indispensables (mesure des attitudes, des intentions ou des freins subjectifs) : les formulations sont-elles interprétées de manière identique dans chaque langue locale ? Les réponses changent-elles lorsqu'un enquêteur indépendant remplace l'animateur ? Observe-t-on une véritable dispersion dans les données recueillies ?

Quand engager un essai doté d’une puissance statistique suffisante ?

Le passage à l’évaluation d'impact à grande échelle ne doit intervenir que lorsque quatre conditions cumulatives sont réunies :

1. Les critères de progression sont validés : chaque seuil critique est atteint, ou les écarts constatés ont fait l'objet de correctifs précis ne nécessitant pas de nouveau test préliminaire.
2. La chaîne de mesure est sécurisée : le résultat principal peut être mesuré objectivement, de façon comparable et sans biais entre les différents bras de l'essai.
3. Les paramètres de dimensionnement sont consolidés : les indicateurs opérationnels qu'un test de faisabilité peut documenter (taux de recrutement, assiduité, taux d'attrition, coût unitaire) sont connus. En revanche, les paramètres qu'il ne peut pas fournir (taux de base du comportement, variance, corrélation intra-grappe) proviennent d'analyses administratives, d'études antérieures ou d'une véritable enquête de référence (baseline).
4. La décision programmatique est actée : l'arbitrage politique ou budgétaire que l'essai doit éclairer est formalisé par écrit, de même que les seuils d'effet qui infléchiront la décision finale.

L’évaluation peut alors faire l'objet d'un plan d'analyse préenregistré (pre-analysis plan), d'un calcul de puissance transparent et d'une règle de décision reproductible. Avant de sélectionner la version définitive du dispositif, une expérience de choix discrets peut permettre de filtrer un large éventail d'options techniques pour ne retenir que les deux ou trois variantes les plus pertinentes à tester.

L’enjeu institutionnel

Interpréter un pilote de faisabilité comme une preuve d’impact n'est pas un défaut d'expertise ; c'est une erreur de chronologie. Le test intervient souvent à un stade où les équipes sont déjà fortement investies dans leur solution, et il produit des chiffres qui ont l'apparence trompeuse de résultats probants.

Le remède consiste à expliciter la finalité de l'exercice dès sa conception : définir précisément ce que l'étude démontrera et ce qu'elle s'interdira d'affirmer, tout en fixant les critères d'arbitrage avant d'accéder aux premières données. Un test de faisabilité dont la conclusion se résume à : « le support nécessite une illustration complémentaire, la collecte des registres requiert un protocole de numérisation plus rigoureux, et 13 participants sur 15 ont parfaitement assimilé la consigne » a parfaitement rempli son rôle.