Un essai de terrain randomisé par grappes dans des groupes d’épargne

Contexte

Les groupes d’épargne communautaires — qu’il s’agisse d’associations villageoises d’épargne et de crédit (AVEC), de tontines structurées avec registre ou de groupements féminins affiliés à des coopératives — constituent souvent les seuls relais financiers accessibles aux populations peu alphabétisées, aux revenus instables ou géographiquement isolées des agences bancaires. Ils offrent ainsi un canal naturel et privilégié pour les programmes de renforcement des capacités financières : les membres s'y réunissent selon un rythme hebdomadaire régulier, partagent un capital de confiance éprouvé, et le registre consigne déjà précisément les flux de cotisations individuelles.

La production de données probantes rigoureuses sur ces modèles repose en grande partie sur des essais randomisés par grappes, à l’instar de l’évaluation de référence sur les AVEC au Malawi (Ksoll et al., Journal of Development Economics, 2016).

Considérons une équipe de programme désireuse d'intégrer huit modules courts, animés par un facilitateur formé lors des séances régulières du groupe, autour d’une fiche illustrée articulée sur des règles simples : séparer rigoureusement les finances de l’activité de celles du ménage, définir un objectif d’épargne explicite, et verser sa cotisation le jour même de la réunion. Ce choix de règles heuristiques s'appuie sur des constats empiriques démontrant que des repères simples transforment plus efficacement les pratiques financières qu'une formation comptable formelle complète, particulièrement chez les individus ayant un niveau d'alphabétisation initial plus modeste (Drexler, Fischer & Schoar, American Economic Journal: Applied Economics, 2014).

La question centrale de politique publique est la suivante : cette intervention entraîne-t-elle une hausse statistiquement démontrable de l’épargne des membres ?

Pourquoi le groupe constitue l’unité de randomisation

Dans la mesure où les séances de formation s’adressent collectivement à l’ensemble des participants réunis, il est impossible de procéder à une assignation aléatoire au niveau individuel : un membre assigné au statut de « témoin » qui assisterait à une séance traitée recevrait de facto l'intervention. Le groupe représente donc l’unité d’assignation aléatoire (l'unité de grappe), ce qui impose trois contraintes statistiques fondamentales :

1. La puissance statistique dépend au premier chef du nombre de groupes, et non du nombre de membres. Les membres d’une même grappe partagent un environnement économique commun et l'influence d'un même animateur, induisant une dépendance statistique mesurée par le coefficient de corrélation intra-grappe ($\rho$).
2. Les erreurs types doivent impérativement être ajustées pour tenir compte des grappes. Dans l'exemple synthétique analysé ici, ignorer la structure en grappes sous-estime l'erreur type d'un facteur 1,77 — ce qui suffirait à faire basculer artificiellement une valeur $p$ non significative de 0,07 vers un seuil faussement concluant inférieur à 0,01 (Abadie, Athey, Imbens & Wooldridge, QJE, 2023 ; Cameron & Miller, JHR, 2015).
3. Le risque de déséquilibre fortuit est nettement plus marqué. Avec 40 groupes par bras expérimental, l’erreur type d’une différence standardisée entre bras est d’environ 0,22 : un tirage aléatoire simple produit fréquemment des déséquilibres sensibles sur certaines covariables initiales.

Du test de faisabilité à l’évaluation d'impact dotée d’une puissance statistique suffisante

Il s'agit de deux démarches complémentaires répondant à des finalités distinctes. Lancer une évaluation d'impact sans test de faisabilité préalable expose l'essai à des défaillances opérationnelles majeures ; à l'inverse, interpréter un test de faisabilité comme une démonstration d'impact conduit à déployer des programmes sur de simples signaux aléatoires.

Dimension	Test de faisabilité	Essai de terrain à puissance statistique suffisante
Question clé	Le protocole peut-il être déployé, compris et fidèlement mesuré sur le terrain ?	L’intervention modifie-t-elle le volume d'épargne, et avec quelle amplitude moyenne ?
Échantillonnage	12 à 20 participants répartis dans 1 ou 2 groupes	80 groupes, soit environ 1 500 membres (dans ce cas d'école)
Structure de comparaison	Aucune, ou analyse descriptive avant-après	Groupe témoin assigné par tirage au sort
Indicateurs de suivi	Compréhension des règles (restitution guidée), durée des séances, respect du conducteur par l'animateur, assiduité, taux de consentement, exploitabilité des registres, temps de numérisation, taux de non-réponse par question	Volume d'épargne consigné aux registres, transactions de monnaie mobile (avec accord préalable), taux de remboursement, indice d'autonomie financière
Ce qu'il permet d'affirmer	« Les participants assimilent les règles 1 et 3, mais butent sur la règle 2 ; les modules durent 25 minutes au lieu des 15 prévues ; 90 % des pages de registres sont exploitables »	Une estimation non biaisée de la taille d'effet moyen du traitement, assortie de son intervalle de confiance
Ce qu'il ne permet pas d'affirmer	Un quelconque effet causal sur les comportements financiers pérennes	La validité externe des conclusions au-delà de la population étudiée

Un test de faisabilité éclaire des arbitrages opérationnels : reformuler une consigne ambiguë, recalibrer la durée des ateliers, formaliser un protocole de prise de vue des registres ou supprimer une question inadaptée. Il documente également des paramètres logistiques précieux (taux de recrutement, taux d'attrition, lisibilité des archives). En revanche, un échantillon de 12 à 20 personnes ne permet en aucun cas d'estimer la corrélation intra-grappe ni la taille d'effet.

Le passage à l’essai complet ne se justifie que lorsque chaque critère de progression (go / no-go) fixé à l'avance est formellement validé (par exemple : au moins 80 % de restitutions correctes pour chaque heuristique, au moins 70 % d'assiduité moyenne, et des registres exploitables pour au moins 90 % des participants). La note méthodologique consacrée à la distinction entre test de faisabilité et expérience d'impact détaille cette transition.

Protocole expérimental de l’essai

Échantillon d'étude. 80 groupes totalisant 1 474 membres dans la base synthétique (soit une moyenne de 18,4 membres par groupe, avec un coefficient de variation de la taille de grappe $\text{CV} = 0{,}23$), répartis sur trois régions administratives.

Procédure de randomisation. Les groupes font l’objet d'une stratification préalable (ici : région × milieu rural/urbain, soit six strates au total). Au sein de chaque strate, la moitié des grappes est assignée au groupe traitement via un script informatique reproductible utilisant une graine pseudo-aléatoire fixe. La stratification sur des variables prédictives de la variable d'intérêt maximise la précision statistique et élimine tout déséquilibre initial sur ces dimensions (Bruhn & McKenzie, AEJ: Applied Economics, 2009).

Règle de ré-échantillonnage pré-spécifiée. Le protocole méthodologique prévoit une règle d'arbitrage transparente : générer des assignations stratifiées séquentielles à partir du flux pseudo-aléatoire et retenir la première itération respectant une différence standardisée absolue maximale inférieure à 0,25 sur sept covariables de référence. Une assignation donnée satisfait ce critère dans 19 % des cas (soit un horizon d'attente d'environ cinq tirages).

Avec la graine 1 retenue ici, la règle valide le onzième tirage (différence maximale de 0,234, contre 0,39 lors du tirage initial). Le recours à un ré-échantillonnage conditionné à une règle explicite et pré-enregistrée préserve la validité formelle des tests statistiques, à condition que le schéma d'inférence en tienne compte (Morgan & Rubin, Annals of Statistics, 2012) ; le carnet d'analyse assure cette conformité au moyen d'une inférence par randomisation reproduisant fidèlement cet algorithme.

Variable de résultat principale. La cotisation mensuelle moyenne d'épargne par membre entre les mois 4 et 9, relevée directement sur le registre physique du groupe. Les registres font l’objet d'un audit photographique régulier selon un calendrier identique dans les deux bras de l'étude. Ce double suivi évite un biais d'observation (effet Hawthorne) où les groupes bénéficiaires tiendraient mieux leurs comptes du seul fait de recevoir des visites d'encadrement.

Dimensionnement et puissance statistique. Pour un dispositif comprenant $J$ groupes d'une taille moyenne $\bar m$, une proportion $P$ de grappes assignées au traitement, un coefficient de corrélation intra-grappe $\rho$, et une part $R^2$ de la variance expliquée par l'épargne initiale, l'effet minimum détectable ($\text{EMD}$) standardisé s'exprime par :

$\text{EMD} = \left(t_{1-\alpha/2,\,J-2} + t_{1-\beta,\,J-2}\right)\sqrt{\frac{(1-R^2)\,\big[\rho + (1-\rho)/\bar m\big]}{P(1-P)\,J}}$

L’effet de plan fait l’objet d'une correction pour tenir compte de la disparité des tailles de grappes, s'élevant à $1 + [(\text{CV}^2+1)\bar m - 1]\rho$ (Eldridge, Ashby & Kerry, International Journal of Epidemiology, 2006).

Avec une corrélation intra-grappe $\rho = 0{,}10$ et un pouvoir prédictif de l'épargne de base $R^2 = 0{,}40$, un échantillon de 80 groupes permet d'isoler un effet minimum de 0,19 écart-type avec une puissance statistique standard de 80 %. Augmenter le nombre de membres par groupe n'apporte ici qu'un gain marginal : même une cohorte de 1 000 membres par grappe ne réduirait l'$\text{EMD}$ qu'à 0,16. L'augmentation du nombre de groupes ($J$) constitue l'unique levier opérationnel déterminant.

Modèle économétrique d'estimation (ANCOVA). L'évaluation est conduite en intention de traiter (ITT) au moyen d'un modèle ANCOVA estimé au niveau individuel, avec correction pour hétéroscédasticité et corrélation intra-grappe des erreurs :

$y_{ij} = \alpha + \tau T_j + \beta\, y^{0}_{ij} + \sum_s \gamma_s S_{sj} + \varepsilon_{ij}$

L'estimation par les moindres carrés ordinaires applique des erreurs types robustes groupées par grappe et des valeurs critiques de Student à $J-2$ degrés de liberté. Dans un contexte où l'épargne présente une faible autocorrélation temporelle, contrôler le niveau initial $y^{0}_{ij}$ s'avère nettement plus efficient qu'un estimateur en doubles différences (McKenzie, Journal of Development Economics, 2012). La valeur $p$ issue de l'inférence par randomisation est systématiquement rapportée en parallèle. Si l'échantillon comptait moins d'une quarantaine de grappes, la méthode du bootstrap sauvage par grappe (wild cluster bootstrap) remplacerait l'approximation asymptotique usuelle.

Enseignements tirés de la simulation

L’outil de simulation interactif reproduit la cohorte synthétique de 80 groupes. Il permet d'assigner l'intervention, de comparer les moyennes et les déséquilibres standardisés sur sept covariables de contrôle, et de tester différentes règles de ré-échantillonnage. À titre d'illustration, tenter de stratifier simultanément sur quatre variables crée 23 micro-strates pour 80 groupes, réduisant une part substantielle de l'assignation à des tirages binaires isolés.

Le carnet modélise ensuite les données finales avec un effet réel du traitement à pleine dose fixé à 150 unités en milieu périurbain et 250 unités en milieu rural, modulé par le nombre effectif d'ateliers suivis. Trois enseignements méthodologiques s'en dégagent :

• Le risque d'estimation non concluante en présence d'une fidélité imparfaite : L’effet moyen estimé s’établit à 141 unités (erreur type par grappe de 76,5 ; $p = 0{,}069$ ; inférence par randomisation $p = 0{,}082$). La déperdition dans la mise en œuvre a ramené l'impact effectif à 178 unités, soit un niveau inférieur au seuil de détection programmé de 216 unités. Conformément à la règle de décision préétablie, ce constat doit être qualifié de résultat non concluant, et non d'une absence d'effet ; l'insuffisance de fidélité de mise en œuvre en constitue le facteur explicatif premier.
• La validité empirique du dimensionnement analytique : Sur une distribution de 300 simulations paramétrées à l’effet minimal détectable théorique (0,189 écart-type, $\rho = 0{,}122$, $R^2 = 0{,}50$), le protocole rejette l’hypothèse nulle dans 81 % des itérations, validant empiriquement le seuil de puissance théorique de 80 %.
• L’instabilité statistique des analyses de sous-groupes : Bien que l'écart réel d'impact en faveur du milieu rural soit de 100 unités, l’estimation ponctuelle ressort à 120 avec une erreur type considérable de 164. De même, une interaction selon le genre — pourtant nulle par hypothèse dans le modèle générateur — apparaît à −186 avec une valeur $p = 0{,}09$. Ces variations aléatoires rappellent pourquoi les analyses d'hétérogénéité doivent être strictement pré-spécifiées, réduites au strict nécessaire et interprétées à titre exploratoire.

Suivi de la fidélité de mise en œuvre

La fidélité d'exécution ne doit pas être postulée : elle doit être documentée et auditée en continu. Le dispositif repose sur trois sources de données : le journal de bord de l'animateur (validé par des visites de supervision inopinées), la feuille de présence hebdomadaire du groupe, et une grille de vérification standardisée en cinq points par séance (présentation effective du support, transmission intégrale des règles, validation de la restitution, enregistrement des objectifs individuels).

Dans la simulation, les groupes traités ont suivi une médiane de sept ateliers sur les huit programmés, avec un taux de présence individuel moyen de 81 %. Les analyses de relation dose-réponse conservent toutefois un statut purement descriptif et non causal, dans la mesure où les groupes participant le plus assidûment diffèrent souvent sur d'autres caractéristiques non observables.

Calendrier opérationnel indicatif

Période	Étape méthodologique et opérationnelle
Mois 1–2	Déploiement du test de faisabilité auprès de 1 ou 2 groupes pilotes ; ajustement des fiches pédagogiques et du conducteur d'animation ; obtention de l'approbation éthique institutionnelle.
Mois 3	Cartographie exhaustive des groupes éligibles, audit photographique initial des registres d'épargne (baseline), finalisation et enregistrement public du plan d’analyse pré-enregistré (PAP).
Mois 3	Assignation aléatoire stratifiée selon la règle de randomisation pré-spécifiée.
Mois 4–6	Animation des ateliers au sein des groupes traités ; contrôle qualité et suivi bimensuel de la fidélité d'exécution.
Mois 4–9	Collecte photographique standardisée des registres dans l'ensemble des groupes des deux bras (fenêtre d'observation principale).
Mois 10–11	Consolidation des données, estimation économétrique en simple aveugle, formalisation du rapport d'évaluation et restitution aux parties prenantes.

Limites méthodologiques

L’ensemble des estimations présentées ici découle d’un modèle synthétique calibré à des fins pédagogiques. Dans le cadre d’une intervention réelle, la corrélation intra-grappe ($\rho$) et le pouvoir explicatif ($R^2$) doivent être estimés à partir des données de référence historiques ou d'études sectorielles comparables, et non dérivés du test de faisabilité.

Par ailleurs, l’épargne comptabilisée au registre reflète les flux mobilisés au sein du groupe, et non le patrimoine financier global du ménage : un accroissement mesuré peut résulter d'une substitution depuis d'autres formes d'épargne informelle. Enfin, l'existence de contaminations (spillovers) entre groupes traités et témoins résidant au sein d'une même communauté biaiserait mécaniquement l'estimateur d'impact vers zéro ; un protocole appliqué veillera à assigner l'intervention à l'échelle du village dès lors que des membres ou des animateurs circulent entre plusieurs groupes.

Recommandations pour la conduite d'un programme réel

Pour les bailleurs de fonds et les directions de programmes, la mise en œuvre de cette démarche impose une discipline méthodologique séquentielle :

1. Réaliser le test de faisabilité pour valider l'instrumentation de terrain et lever les points de friction opérationnels.
2. Définir des critères de progression (go / no-go) explicites conditionnant le lancement du volet expérimental.
3. Collecter les données de registres de référence et figer le plan d’analyse pré-enregistré (PAP) avant toute assignation.
4. Exécuter la randomisation via un script auditable et public fondé sur une règle préétablie d'équilibre des covariables.
5. Contrôler mensuellement la fidélité de mise en œuvre et préserver la symétrie parfaite du suivi de collecte entre bras traités et témoins.
6. Procéder à une analyse économétrique unique conforme au protocole d'arbitrage préétabli.