GeoLift

Le geo-test - ou expérimentation géographique - est une technique d’incrémentalité qui substitue la géographie à l’individu comme unité d’analyse. Là où un test classique randomise des utilisateurs entre un groupe exposé et un groupe contrôle, le geo-test divise un territoire en zones test et zones contrôle, n’expose que les zones test, et mesure l’effet de la campagne sur le delta observé entre les deux.

L’idée emprunte aux essais cliniques randomisés : quand on ne peut pas randomiser au niveau utilisateur (consentement, infrastructure, failles d’attribution), on randomise au niveau de la géographie. La méthode s’appuie sur les travaux académiques en contrôles synthétiques (Abadie et Gardeazabal, 2003) et a été adaptée au marketing par Meta (GeoLift open-source), Recast et plusieurs prestataires spécialisés. Le corpus pratique repose principalement sur des retours d’expérience de praticiens (Eric Seufert côté mobile, Chelsea Parlett et Michael Kaminsky côté Recast, Théo Lion, Curtis Howland) - solide, mais pas encore abondant en publications académiques indépendantes.

Ce que cette page traite : le fonctionnement mécanique du geo-test, les conditions dans lesquelles il est fiable, et les décisions de conception qui font la différence entre un test qui informe et un test qui trompe. Ce qu’elle ne traite pas : la mise en place opérationnelle canal par canal - qui relève de Meta Ads et Campagnes App Mobile.

L’essentiel en 4 points

• Le geo-test construit un contrefactuel géographique : les zones contrôle auraient suivi la même trajectoire que les zones test sans la campagne - le delta mesure l’incrémentalité réelle.
• Il n’a besoin d’aucun identifiant utilisateur : robuste post-ATT, il tourne sur toutes les plateformes du moment qu’on remonte les résultats au même grain géographique.
• Sa fiabilité ne vient pas de l’outil (GeoLift, Recast…) mais de quatre décisions de conception : sélection algorithmique des marchés, power analysis avant le lancement, présence d’un groupe contrôle, et exiger l’intervalle de confiance plutôt que le point central.
• Une fois l’incrémentalité validée, le geo-test change d’usage : tester différents niveaux de dépense par géographie pour situer la marque sur sa courbe de rendement décroissant.

Le mécanisme - un contrefactuel géographique

Le principe est une randomisation déplacée du user au marché. Comme le documente Théo Lion dans son analyse comparative des outils d’incrémentalité, on divise le territoire en zones test et zones contrôle, on diffuse la campagne dans les zones test uniquement, et l’effet incrémental est le delta de performance avec les zones où rien n’a changé - le test d’incrémentalité le plus robuste possible sans accès aux données internes de la régie.

La difficulté est de construire une zone contrôle qui aurait vraiment suivi la même trajectoire que la zone test en l’absence de campagne. Deux familles de méthodes s’en chargent.

Les contrôles synthétiques - la plus polyvalente. Selon l’expérience de Chelsea Parlett (Recast), on ne choisit pas un marché-jumeau : on pondère plusieurs marchés non traités pour construire un contrôle artificiel dont la trajectoire pré-traitement colle au plus près à celle du marché traité, les poids étant optimisés pour minimiser cet écart de baseline. Selon l’expérience de Sam Kerns, leur force est d’être problem-agnostic : ils ne réclament pas de données exogènes à haute fidélité, contrairement à l’appariement par score de propension - au prix d’un résultat plus difficile à défendre devant des parties prenantes non techniques.

L’appariement par score de propension est l’alternative : identifier des marchés-contrôles similaires sur les variables qui pilotent réellement le KPI métier, pas sur une ressemblance statistique brute. Selon Sam Kerns, il exige de larges volumes de données riches et ne garantit pas un appariement solide sur la période de baseline - à réserver aux cas où l’on dispose de ces drivers, sinon préférer les contrôles synthétiques.

Un point de vigilance sur les contrôles synthétiques : leur validité repose sur un postulat de stationnarité - si zone traitée et contrôle synthétique se ressemblent avant le traitement, ils resteront proches dans un futur proche. Selon Chelsea Parlett, cette hypothèse se dégrade sur les expériences longues. Conséquence de conception : privilégier des mesures courtes ; pour les effets de long terme, basculer sur le Media Mix Modeling ou la triangulation.

Pourquoi il tient là où le tracking user-level dérape

C’est l’argument théorique fort, et il court-circuite un réflexe : croire que la donnée la plus granulaire est la plus juste. Comme le note Rick Bruner dans ses Timeless Truths About Advertising (Part III) : « Precision and accuracy are not the same thing. » La donnée user-level paraît plus précise parce qu’elle enregistre chaque impression et chaque clic, mais elle injecte du bruit via les graphes d’identité incomplets, les taux de correspondance imparfaits et les règles d’attribution. Les geo-experiments mesurent le résultat directement, sans reconstruction d’identité, et produisent souvent des estimations plus propres avec moins d’hypothèses.

Cette propriété devient décisive sur mobile. Selon Eric Seufert (Mobile Dev Memo, S2E5), le geo-test est particulièrement adapté aux apps post-ATT : il ne réclame aucun identifiant user-level, seulement des données agrégées par région (installs, revenus). Un holdout géographique (on/off par pays ou, mieux, par code postal, tous canaux confondus) est de fait la méthode d’incrémentalité la plus praticable pour un annonceur app : indépendante de l’opt-in IDFA et des contraintes SKAN, elle tourne sur toutes les plateformes du moment qu’on sait remonter les résultats au même grain géographique.

Le geo-test ne remplace pas pour autant l’attribution - il la calibre. Selon l’expérience de Barbara Galiza, les canaux à faible attribution click (podcasts, YouTube awareness, OOH) paraissent faibles dans un rapport last-click, et les couper sur ce seul signal est l’une des erreurs les plus coûteuses du paid media. Un geo holdout révèle le vrai lift :

“If your model attributes 5% to a channel and a geo test shows 15% lift, that gap is worth acting on. It does not replace your attribution model. It calibrates it.”

Barbara Galiza, 021 Newsletter

L’écart entre crédit attribué et lift mesuré est souvent le signal le plus actionnable.

La fiabilité se joue à la conception, pas dans l’outil

Le geo-test n’est pas une vérité qu’on lit ; c’est un dispositif dont la valeur dépend entièrement de son montage. Robustement établi par Curtis Howland : passer 32 000 géo-expériences simulées à travers les quatre principaux outils open-source produit des résultats hétérogènes, chacun capturant plus ou moins le lift réel. La leçon est structurante - choisir un outil, c’est choisir un profil d’erreur, pas une vérité terrain.

Une tension à nommer ici : le geo-test est souvent posé comme le gold standard de la hiérarchie de preuve marketing. Ce n’est pas faux, mais le résultat Howland le nuance : même le gold standard porte un biais dépendant de l’outil. Un lift qui paraît trop beau est d’abord un artefact de conception à vérifier avant d’être une réalité - le réflexe Twyman s’applique ici aussi.

Quatre décisions de montage font la différence entre un test qui informe et un test qui trompe. Selon l’expérience de Robson Tigre (Recast) :

1. La sélection des marchés doit être algorithmique.

Choisir zones test et contrôle à l’intuition ou par commodité injecte un bruit structurel (habitudes conso, coûts médias, saisonnalité) qui dépasse la plupart des effets campagne. Seul un outil optimisant la similarité pré-test (trajectoires historiques corrélées) garantit qu’une divergence post-test reflète l’effet réel. Un tableur, ou un humain qui pioche les marchés au flair, ne peut pas le faire.

2. La power analysis vient avant le lancement, pas après.

Sans elle (taille d’effet attendue x variance des marchés x durée), un test peut être structurellement aveugle : la conclusion « la campagne n’a pas marché » signifie alors « le test ne pouvait rien voir ». Un bon outil refuse de lancer si la puissance est insuffisante - « Given your markets, your expected effect size, and your test duration, this experiment can’t give you a reliable answer. Don’t waste your time. »

3. La comparaison avant-après sans groupe de contrôle est le biais le plus dangereux.

Elle attribue à la campagne les tendances externes (météo, saisonnalité, concurrent). Seul le contrôle expose ce mouvement de marché global et le distingue du lift réel - c’est toute la différence entre croire que la campagne a marché et savoir si elle a marché.

4. La largeur de l’intervalle est l’information.

“The width of the interval is the information. If the incremental CPA ranges from $40 to $900, you can’t make a budget decision based on $150.”

Robson Tigre, Recast

Ce point sépare la significativité statistique de l’utilité décisionnelle. Selon Michael Kaminsky (Recast, Precision Preview GeoLift), un test à 80 % de puissance peut renvoyer un ROI incrémental « somewhere between 0.5x and 10x » - techniquement significatif, mais pratiquement inutilisable : personne ne réalloue un budget de 5 M$ sur un tel résultat. La bonne question de design n’est pas « détecterai-je un effet ? » mais « le résultat sera-t-il assez précis pour décider ? » - et le niveau de dépense alloué au test est le principal levier pour resserrer l’intervalle, à vérifier en simulation avant de lancer.

L’outil de référence sur ce terrain est GeoLift, l’open-source de Meta. Selon Eric Seufert (Mobile Dev Memo, S5E20), il outille précisément ces décisions - calibrage de puissance, sélection des marchés de contrôle, inférence bayésienne - avec une rigueur de niveau enterprise, ce qui en fait le stack standard avant de recourir à un prestataire payant. Mais il reste, au sens de Howland, un profil d’erreur parmi d’autres : le brancher n’exonère d’aucune des quatre décisions ci-dessus.

Du diagnostic à l’allocation : le test de niveau de dépense

Une fois l’incrémentalité d’un canal validée, le geo-test change d’usage : de la question binaire « ça marche ? » à la question continue « jusqu’où pousser ? ». En lançant différents niveaux de dépense selon les géographies, on situe la marque sur sa courbe de rendement marginal décroissant. Selon Haus Analytics, certaines marques découvrent qu’elles peuvent couper 25 à 50 % de budget sans impact business mesurable. C’est l’outillage concret pour détecter la zone de saturation (Performance Plateau), là où le CPA incrémental décroche du CPA moyen (Efficacité vs Efficience).

Si ta scale-up plafonne aujourd’hui

Le geo-test est le dispositif de mesure qui rend l’incrémentalité opérable sans dépendre du tracking - et à l’ère post-ATT, souvent le seul praticable. Les réflexes de conception, dans l’ordre :

• Signal d’alerte avant de couper un canal. Un écart entre le crédit last-click d’un canal et son lift mesuré (5 % attribué vs 15 % mesuré) est plus actionnable que le crédit lui-même. Avant de couper un canal faible au dashboard (podcast, YouTube, OOH), lancer un holdout géo.
• Entrer par GeoLift open-source avant tout prestataire - mais traiter chaque outil comme un profil d’erreur, pas comme une vérité.
• Trois gates avant de lancer : sélection algorithmique des marchés (pas à la main), power analysis (ne pas lancer si le test est aveugle), et exiger l’intervalle, jamais le point - un résultat « entre 0,5x et 10x » n’autorise aucune réallocation.
• Sur mobile. Concevoir un geo holdout (grain code postal si possible) plutôt que se battre avec SKAN et la reconstruction d’identité - le geo-test est la méthode qui traverse web et app.
• Après validation, enchaîner sur un test de niveau de dépense pour situer la marque sur sa courbe de rendement et libérer le budget saturé.

Pour aller plus loin

• Incrémentalité - la métrique que le geo-test produit : mesurer l’effet causal d’une campagne, pas le crédit qu’elle réclame.
• Attribution - le modèle que le geo-test calibre plutôt qu’il ne remplace, et ses angles morts structurels.
• Performance Plateau - la zone de saturation que le test de niveau de dépense permet de situer précisément sur la courbe.
• Campagnes App Mobile - le foyer du monde app, où le geo holdout sans identifiant est la méthode d’incrémentalité de référence post-ATT.

Sources

• Théo Lion, GeoLift, Conversion Lift, MMM - comment vraiment savoir si un canal génère des ventes. Analyse comparative des méthodes d’incrémentalité et positionnement du geo-test.
• Eric Seufert, Mobile Dev Memo S2E5 - How to measure a marketing campaign. Adaptation du geo-test au contexte app post-ATT.
• Eric Seufert, Mobile Dev Memo S5E20 - The scientific approach to advertising measurement. GeoLift open-source de Meta comme référence pratique.
• Chelsea Parlett, Deep-Dive: Synthetic Controls. Fondements et limites des contrôles synthétiques en marketing.
• Sam Kerns, Counterfactuals: A Practitioner’s Guide. Comparaison contrôles synthétiques vs appariement par propension.
• Rick Bruner, Timeless Truths About Advertising, Part III. Précision vs exactitude dans la mesure marketing.
• Curtis Howland, 13 Ideas From the People I Actually Learn From in DTC. Benchmark de 32 000 géo-expériences simulées sur les principaux outils open-source.
• Barbara Galiza, Direct and organic should not be channels in your attribution model. L’écart attribution/lift comme signal actionnable.
• Robson Tigre, Why should you care to leave the comfort of your spreadsheet. Les quatre décisions de conception d’un geo-test fiable.
• Michael Kaminsky, Introducing Precision Preview in GeoLift by Recast. La largeur d’intervalle comme critère de décision budgétaire.
• Haus Analytics, Is your marketing actually working? Getting started. Test de niveau de dépense et courbe de rendement décroissant.
• Mobile User Acquisition Show, Is CAC 10x of platform reports? How to surface incrementality in UA. Le geo holdout comme méthode d’incrémentalité praticable pour les apps.

ℹ️ À propos de cette page

Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.

Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.