Un essai randomisé à quatre bras sur les rappels d’épargne

Contexte

Le portefeuille mobile a mis des services d’épargne à la portée d'usagers traditionnellement exclus du système bancaire. Toutefois, sur de nombreux marchés où l’accès numérique repose essentiellement sur le téléphone mobile et où le niveau d’alphabétisation est hétérogène, cette fonctionnalité est bien plus souvent activée qu’utilisée : le compte est créé lors de l’inscription, enregistre un premier dépôt, puis demeure inactif. Opérateurs et programmes publics d’inclusion financière se tournent alors fréquemment vers l’intervention la plus accessible et économique : l'envoi de messages textuels (SMS).

Cette intuition repose sur des fondements empiriques solides. Dans une série d’expériences de terrain menées auprès d’institutions bancaires en Bolivie, au Pérou et aux Philippines, Karlan, McConnell, Mullainathan et Zinman ont montré que l’envoi de rappels mensuels augmentait l’épargne, et que les messages mentionnant à la fois l’objectif d'épargne individuel et l’incitation financière étaient particulièrement efficaces (Management Science, 2016 ; document de travail NBER). Le levier comportemental repose sur l’attention limitée : l'intention d'épargner existe, et le rappel la réactive au moment précis où les liquidités sont disponibles.

Pour autant, l’efficacité d’un rappel ne saurait être généralisée d'emblée à n'importe quel contexte de marché. Le libellé du texte, le canal de transmission (un message textuel est inopérant pour un usager analphabète), la synchronisation avec les rentrées d’argent et la nature même du produit financier sont autant de facteurs déterminants. Avant de déployer des communications massives, un gestionnaire de programme doit impérativement mesurer l'effet réel de ses messages sur le comportement de ses usagers et identifier la formulation la plus probante.

Écueils méthodologiques traités par le protocole

L'évaluation rigoureuse de campagnes de rappels se heurte fréquemment à quatre écueils majeurs :

1. Des indicateurs sensibles au biais de désirabilité sociale. Un utilisateur ayant reçu douze messages incitatifs tendra à déclarer à un enquêteur qu’il épargne davantage. Cette autodéclaration surestime systématiquement l’impact de l'intervention. L’évaluation doit donc impérativement s'appuyer sur les relevés objectifs de transactions.
2. Une multiplication des bras d'intervention sans puissance statistique suffisante. Chaque variante de message introduit une comparaison supplémentaire avec le groupe témoin. Sans ajustement statistique, un essai à quatre bras présente une probabilité d’environ 14 % — sous l'hypothèse de tests indépendants ($1 - 0{,}95^3$) — de conclure à tort à l'efficacité d'au moins un message inopérant (risque d'erreur de type I cumulé). Dès lors que l'on applique une correction, la taille d'échantillon requise s'accroît nettement.
3. Des comparaisons de cadrage sous-dimensionnées. La question opérationnelle récurrente — « le message axé sur l’objectif surpasse-t-il le message axé sur la perte ? » — correspond précisément à la comparaison pour laquelle l'essai dispose de la puissance statistique la plus faible.
4. L'absence de règles de décision formalisées a priori. Lorsque les résultats émergent (par exemple, un bras significatif à $p = 0{,}04$ et un autre non significatif), le débat sur les suites opérationnelles à donner s'engage après la prise de connaissance des données, au détriment de l'objectivité.

Démarche

Ce protocole adopte la structure formelle d’un plan d’analyse préenregistré (téléchargeable ci-dessus), destiné à être déposé avant la randomisation. Les choix structurants sont les suivants :

Bras de traitement. L’essai évalue quatre conditions :

• Un groupe témoin (aucun message) ;
• Un rappel neutre ;
• Un rappel personnalisé rappelant l’objectif d’épargne de l'usager ;
• Un rappel cadré sur la perte (« chaque semaine sans versement vous éloigne de votre objectif »).

Le cadrage sur la perte exploite le principe d’aversion à la perte, selon lequel deux issues objectivement équivalentes ont un impact psychologique plus fort lorsqu’elles sont perçues comme des pertes plutôt que comme des gains (Tversky et Kahneman, Science, 1981). Tous les messages sont harmonisés en termes de longueur, de fréquence (bimensuelle pendant six mois) et d'émetteur. Ils sont diffusés sous forme de courts messages vocaux aux usagers ayant opté pour le canal vocal lors de leur souscription.

Unité de randomisation et stratification. L’unité d'analyse est le compte individuel (un numéro d’appel unique), réparti à parts égales au sein de quatre strates construites par le croisement de deux variables : sexe $\times$ réalisation d’un dépôt d’épargne au cours des trois derniers mois. La stratification sur un prédicteur robuste de la variable de résultat améliore la précision statistique et assure un parfait équilibre entre les groupes (Bruhn et McKenzie, 2009).

Critère de jugement principal. La variable d'intérêt principale est le statut d’épargnant régulier, défini par la réalisation d’au moins un versement d'épargne au cours d’au moins trois des six mois suivant la randomisation, d'après les registres de transactions. Les critères secondaires regroupent le nombre total de versements, le solde au sixième mois (écrêté au 99ᵉ centile afin de neutraliser les valeurs extrêmes), la persistance des comportements du septième au douzième mois, et le volume net des retraits. Les taux de désabonnement (requêtes STOP) et les réclamations constituent des indicateurs de précaution suivis en continu.

Spécification économétrique. L'estimation s'effectue en intention de traiter (ITT) à l'aide de moindres carrés ordinaires, en intégrant des effets fixes de strate, une covariable de référence pré-intervention et des erreurs types robustes à l’hétéroscédasticité (HC2) :

$$Y_i = \alpha + \sum_{k=1}^{3} \tau_k T_{ki} + \sum_s \gamma_s S_{si} + \theta\, Y_i^{\text{pré}} + \varepsilon_i$$

où $T_{ki}$ désigne l'assignation au bras de traitement $k$, $S_{si}$ les indicatrices de strates, et $Y_i^{\text{pré}}$ le niveau de référence pré-randomisation. Les trois hypothèses confirmatoires $\tau_k = 0$ sont testées selon la procédure séquentielle descendante de Holm au seuil global $\alpha = 0{,}05$ (Holm, 1979). Les critères secondaires font l'objet d'un contrôle du taux de fausses découvertes (FDR) via la méthode de Benjamini–Hochberg (1995).

Dimensionnement de l'échantillon

Pour une variable de résultat binaire, la taille requise par bras de traitement comparé au témoin au seuil corrigé de planification $\alpha^\ast$ s'exprime par la formule :

$$n_t = \left\lceil \frac{(z_{1-\alpha^\ast/2} + z_{1-\beta})^2\,\big[p_1(1-p_1) + p_0(1-p_0)/r\big]}{\delta^2}\cdot\frac{1+(m-1)\rho}{1-a} \right\rceil$$

où $p_1 = p_0 + \delta$, $r$ est le ratio d’allocation témoin/traitement, $m$ et $\rho$ représentent la taille des grappes et la corrélation intra-grappe (ici $m = 1$), et $a$ la proportion de déperdition d’appariement des relevés. La première étape de la procédure de Holm appliquant un seuil $\alpha/K$, dimensionner l'essai sur la base de $\alpha^\ast = \alpha/K$ garantit une puissance minimale contrôlée pour l'ensemble des comparaisons bilatérales.

En retenant un taux de base de 30 %, un effet minimal détectable (EMD) de 5 points de pourcentage, $K = 3$ comparaisons, une puissance statistique de 80 % et une déperdition d'appariement de 5 %, le besoin s'établit à 1 929 comptes par bras, soit 7 716 comptes au total. Le tableau ci-dessous synthétise la sensibilité des effectifs aux hypothèses sous-jacentes.

Taille totale ($N$, 4 bras)	EMD : 3 pts	EMD : 4 pts	EMD : 5 pts	EMD : 7 pts
Taux de base 20 %	16 512	9 436	6 128	3 216
Taux de base 30 %	21 116	11 968	7 716	3 988
Taux de base 40 %	23 760	13 404	8 596	4 400

Deux enseignements quantitatifs s'imposent :

1. Sans correction pour tests multiples, la taille totale requise tomberait à 5 784 usagers, ce qui illustre l’attrait trompeur des protocoles non corrigés et leur propension à générer des faux positifs.
2. Détecter un écart relatif ténu de 2 points de pourcentage entre les cadrages « objectif » et « perte » nécessiterait environ 12 700 personnes par bras, soit 6,6 fois l’effectif prévu. Le plan actant formellement cette contrainte, ces comparaisons transversales demeurent strictement secondaires et exploratoires.

Outil interactif et simulations de contrôle

Le calculateur interactif applique les formules analytiques présentées ci-dessus. Il permet d'ajuster dynamiquement le taux de base, l'ampleur d'effet visée, le nombre de bras, le type de correction, la structure des grappes et le taux d'attrition afin de recalculer l'effectif cible, l'effet d'échantillonnage et la courbe de puissance. Le mode « effet minimal détectable » permet inversement d'estimer la sensibilité atteignable pour une enveloppe budgétaire donnée : avec un échantillon plafonné à 1 200 usagers par bras, l'EMD s'établit à 6,4 points de pourcentage.

Le carnet de code confronte ensuite les prévisions analytiques à des simulations empiriques. Sur la base de 2 000 itérations d’essais simulés analysés par régression stratifiée (erreurs types HC2) avec ajustement de Holm :

• Dans le scénario de référence (un seul cadrage actif), la puissance simulée ressort à 79,3 % (pour 80,0 % théoriques, ce qui s'inscrit parfaitement dans la marge d’erreur Monte-Carlo).
• En l'absence totale d'effet, le taux de faux positifs global est rigoureusement contenu à 4,6 %.
• Si les trois modalités de rappels s'avèrent efficaces, la puissance effective par comparaison s'élève à environ 86 %.
• Enfin, lorsque les strates présentent un fort pouvoir prédictif, la puissance statistique atteint 87,8 %, ce qui procure une marge de sécurité appréciable sans inciter pour autant à rogner sur la cible de recrutement.

Règles de décision formalisées

Afin d'éviter tout arbitrage opportuniste après la collecte des données, les critères d'arbitrage sont arrêtés a priori :

• Déploiement généralisé : Une modalité de rappel est adoptée si son coefficient est statistiquement significatif après correction de Holm, que le gain estimé atteint au moins 3 points de pourcentage, et que son taux de désabonnement n'excède pas de plus de 2 points celui du rappel neutre. Si plusieurs formulations remplissent ces conditions sans se démarquer significativement les unes des autres, le rappel neutre est retenu par défaut pour des raisons de simplicité d'exploitation.
• Abandon du dispositif : Les rappels sont écartés en tant que levier opérationnel d'épargne si aucun bras n'affiche d'effet significatif et que l'ensemble des bornes supérieures des intervalles de confiance à 95 % restent sous le seuil de 3 points de pourcentage. L’effort d’intervention est alors réorienté vers la refonte structurelle du produit, notamment via des mécanismes d’engagement (analysés dans le cadre de l’expérience de choix discrets).
• Résultat non concluant : Dans toute autre configuration, aucun déploiement n'est engagé à grande échelle, et l'opportunité d'une réplication méthodologique fait l'objet d'un réexamen.

Les seuils opérationnels mentionnés ci-dessus doivent être calibrés par la direction du programme avant l'enregistrement formel du protocole, au regard du coût marginal de transmission des messages et de la valeur actualisée d'un épargnant régulier supplémentaire.

Considérations éthiques et consentement

Le consentement des abonnés à la réception de communications relatives à l'épargne est recueilli au moment de l'activation du service, formulé dans des termes limpides ou par message vocal. L’envoi du mot-clé STOP déclenche une désinscription immédiate et fait l'objet d'un suivi quantitatif. Le message cadré sur la perte fait l'objet d'une phase de prétest qualitatif lors d’un test de faisabilité préliminaire, afin de s'assurer qu’il ne suscite aucun sentiment anxiogène ni confusion auprès des participants.

Sur le plan de la protection des données, l'opérateur procède à la pseudonymisation stricte des identifiants avant toute transmission. L’équipe d’évaluation n’a accès qu’aux variables strictement définies au plan d'analyse, et les tableaux agrégés publiés masquent systématiquement les cellules comptant moins de dix observations. L’approbation par un comité d’éthique indépendant et l’enregistrement public du protocole interviennent obligatoirement en amont du premier envoi de message.

Limites méthodologiques

Ce travail constitue un modèle d'application pédagogique. Le taux de base, l’ampleur d'effet anticipée et la déperdition reposent sur des hypothèses de travail ; un protocole opérationnel doit impérativement calibrer ces paramètres à l'aide des données historiques de l'opérateur partenaire.

Par ailleurs, ce protocole n'organise pas d'évaluation croisée des canaux de diffusion (le format texte ou vocal dépendant du choix initial de l'utilisateur), interdisant d'isoler formellement l'effet propre de la voix par rapport au SMS. De surcroît, la mesure se limitant au produit financier sous revue, une hausse des dépôts peut traduire pour partie une simple réallocation de liquidités préalablement logées dans d'autres supports (tontines, épargne liquide informelle). Enfin, si la persistance des comportements est bien mesurée après l'arrêt des rappels, cette fenêtre d'observation post-interventionnelle demeure limitée à six mois.

Calendrier de mise en œuvre opérationnelle

Dans le cadre d'un déploiement réel, la séquence d’exécution s’articule en six étapes successives :

1. Consolidation du taux de base et du taux d’appariement à partir des registres historiques du fournisseur ;
2. Test de faisabilité et d'acceptabilité des formulations auprès d’un échantillon restreint (12 à 20 usagers) ;
3. Finalisation et enregistrement public du plan d’analyse préenregistré ;
4. Randomisation centralisée exécutée au moyen d’un script auditable à graine fixe (fixed seed), archivé par l’équipe d'évaluation ;
5. Suivi hebdomadaire des indicateurs de délivrabilité technique et de désabonnement ;
6. Analyse économétrique au sixième mois selon les règles de décision établies, suivie de l'évaluation de la persistance au douzième mois.