Expérimentation Contrôlée

L’expérimentation contrôlée repose sur un principe fondateur : diviser aléatoirement une population en deux groupes, n’exposer qu’un seul au traitement, mesurer la différence. La randomisation garantit que les deux groupes sont statistiquement identiques avant l’intervention - toute différence observée ensuite s’attribue causalement à l’expérience, sans modèle d’attribution et sans confondants à contrôler.

C’est la formalisation que Ron Kohavi a popularisée dans le secteur tech dans les années 2000, d’abord à Microsoft puis formalisée dans Trustworthy Online Controlled Experiments. À Bing, une modification apparemment mineure d’affichage des titres a généré +12 % de revenus - soit environ 100 millions de dollars par an - une découverte impossible par le seul jugement d’expert, rendue évidente par A/B test. Cette anecdote illustre le point central : sans randomisation, l’idée serait restée dans un backlog pendant des mois.

Le marketing a adopté le vocabulaire sans toujours en importer la rigueur. Deux nuances sont décisives. D’abord, les tests natifs des plateformes (Meta, Google) ont une faille structurelle documentée : les algorithmes n’exposent pas les deux variants de façon aléatoire - ils optimisent chacun vers ses utilisateurs les plus réceptifs, ce que Braun & Schwartz (Journal of Marketing, 2025) appellent le « divergent delivery ». Le résultat peut donc refléter le targeting, pas la qualité du créatif. Ensuite, l’A/B test user-level bute sur trois limites qui imposent une hiérarchie d’autres méthodes dès qu’on monte dans le funnel.

La montée en adoption est réelle - de 18 % à 36 % des marketeurs utilisant l’expérimentation entre 2020 et 2025 selon WARC - mais 64 % restent hors du gold standard, et même parmi les 36 % qui testent, une limite structurelle reste sous-estimée : l’effet snapshot. Un test valide en période de croissance peut donner un résultat inverse en période de compression concurrentielle. Les résultats d’expérimentation ont une date de péremption explicite.

L’essentiel en 4 points

• La randomisation fait du A/B test le seul outil qui établit la causalité sans modèle d’attribution - mais les A/B tests natifs des plateformes ne sont pas vraiment randomisés (divergent delivery).
• En marketing, trois limites structurelles rendent l’A/B test user-level inadapté au top-funnel : horizon trop court, randomisation de masse impossible, effets de contagion entre groupes.
• Le geo-test comble ce manque : il randomise au niveau des marchés, préserve la causalité, et mesure revenue, awareness et search lift sur un seul design.
• La triangulation multi-modèle n’est pas une technique supplémentaire - c’est le critère de confiance quand geo-test, MMM et attribution natif convergent dans la même direction.

Pourquoi c’est le standard

Comme le documente Ron Kohavi dans Trustworthy Online Controlled Experiments, la randomisation rend les deux groupes statistiquement identiques avant l’intervention. Toute différence post-traitement s’attribue causalement - pas de modèle, pas de biais de sélection, pas de confondants à corriger après coup.

Deux principes découlent de ce fondement. La Loi de Twyman : « any figure that looks interesting or different is usually wrong » - un ROAS de 8× est d’abord une erreur de mesure à vérifier (attribution biaisée, double comptage, Rosser Reeves Effect) avant d’être une réalité. Et l’OEC (Overall Evaluation Criterion) : le critère composite défini à l’avance, conçu pour causer les objectifs long terme - pas un proxy court facile à mesurer qui induit des comportements contraires à l’intention. « Tell me how you measure me, and I will tell you how I will behave » - la version expérimentation du problème de la mesure de l’efficacité.

Le cas des tests natifs : divergent delivery. L’étude Braun & Schwartz (2025, Journal of Marketing, peer-reviewed) formalise un phénomène que les praticiens pressentaient : les A/B tests natifs Meta/Google ne sont pas des expériences randomisées. L’algorithme envoie chaque variant à des mix d’utilisateurs distincts, optimisé séparément pour chacun. Conséquence : trois usages légitimes s’imposent. (a) Prédire la performance dans le même setting plateforme - le test natif reste utile. (b) Comprendre l’effet du créatif en général - le résultat doit être nuancé explicitement. (c) Extrapoler vers d’autres plateformes ou décisions stratégiques - ne pas s’en servir comme preuve causale. L’incentive structurelle est claire : la plateforme optimise la performance des ads, pas la validité expérimentale.

Trois limites et la hiérarchie des méthodes

L’A/B test user-level échoue sur trois points en marketing : horizon trop court (le brand s’accumule sur des mois-années, l’A/B test capture un snapshot qui sous-estime les effets longs) ; randomisation de masse impossible (une campagne TV nationale ne peut exposer la moitié des utilisateurs à un variant) ; effets de contagion (le budget est partagé entre test et contrôle, les comportements se propagent entre groupes, violant l’hypothèse SUTVA).

D’où la hiérarchie quand le RCT user-level n’est pas accessible :

1. Geo-experiments. Le gold standard du top-funnel pour Marketing Architects. En randomisant au niveau des marchés géographiques, le geo-test préserve la causalité sur des campagnes TV, OOH ou audio. Sa polyvalence est décisive : un seul design mesure simultanément revenue, awareness, retail lift et search lift - là où le pixel force à choisir une métrique unique. Il casse aussi l’interférence algorithmique des plateformes, où la réallocation vers le bras performant pendant le test fausse la comparaison.

2. Quasi-experiments. Discontinuités naturelles (changement de loi, de distribution, de budget) qui créent des groupes de comparaison plausibles sans randomisation active.

3. Modélisation media mix (MMM). La méthode observationnelle principale, calibrée idéalement par geo-test pour corriger ses biais d’attribution.

Triangulation comme critère de confiance. « All models are wrong but some are useful ». La confiance s’accumule par convergence multi-modèle : quand geo-test, MMM, period-over-period, brand survey et attribution natif pointent dans la même direction, on peut agir. Quand ils divergent, le réflexe correct n’est pas de choisir son modèle préféré mais de diagnostiquer la cause de la divergence.

Nuance d’adoption pratique. Kevin Goodwin (New Engen) le documente avec des données EMARKETER : 52 % des marketeurs ont peu ou pas d’expérience MMM, 48 % dans la même situation pour l’incrementality testing. La triangulation est l’idéal méthodologique, mais la majorité des organisations n’a pas la maturité pour la pratiquer. Sa prescription : commencer par un seul outil, le maîtriser, prouver qu’on peut défendre son output au CFO et bouger un budget sur sa base - puis seulement empiler les méthodes.

Si ta scale-up plafonne aujourd’hui

• Importe les standards produit dans la mesure marketing. Une scale-up qui teste chaque bouton de son interface (SRM checks, A/A tests) décide souvent son budget TV sur un ratio corrélationnel non vérifié. L’asymétrie est une opportunité : les disciplines de l’expérimentation produit (Loi de Twyman, OEC, power analysis) s’appliquent au marketing sans qu’il soit nécessaire de tout convertir en A/B test.
• Le geo-test régional comme stepping stone vers le national. Avant de défendre un budget TV national au CFO, un test sur 2-3 marchés ferme la conversation en termes business. Comme le note WARC, « a black and white regional test is easier to understand than an econometric model » - la preuve est lisible à l’oeil nu, pas à la loupe statistique.
• Concevoir les tests pour apprendre, pas pour éviter de se tromper. Un test honnête réduit l’incertitude - il ne protège pas du risque. Empiler les tests « pour être sûr avant d’agir » est de la peur déguisée en rigueur. Un test bien conçu énonce ex ante l’outcome qui changera la décision. Sans cet alignement préalable entre les équipes (brand, performance, analytics, direction) sur les KPIs attendus et le budget minimum détectable, tout résultat peut être contesté après coup.
• Les vrais blockers sont organisationnels. « The code runs daily » - si la cadence des tests d’incrémentalité est lente, c’est souvent qu’un résultat pourrait être politiquement inconfortable. Identifier qui serait menacé par les résultats et construire une couverture politique préalable est un prérequis aussi important que le choix de la méthode. Voir Confirmation Bias.
• Les résultats ont une date de péremption. Un geo-test valide en période de croissance peut donner un résultat inverse après un choc macro ou l’arrivée d’un concurrent. Documenter les conditions de marché au moment de chaque test, et réexécuter dès qu’un changement structurel invalide les hypothèses de départ.

Pour aller plus loin

• Incrémentalité - La métrique que l’expérimentation contrôlée produit : isoler la contribution causale d’un canal au-delà de ce qui se serait passé de toute façon.
• Attribution - Les méthodes correctives quand l’A/B test n’est pas possible, et leurs biais respectifs.
• Rosser Reeves Effect - La Loi de Twyman appliquée aux biais d’attribution digitaux : pourquoi les chiffres qui semblent bons sont souvent les plus suspects.
• Media Mix Modeling - La méthode observationnelle principale : calibrée par geo-test, elle mesure la contribution réelle de chaque investissement marketing au P&L sur plusieurs mois.

Sources

• Marketing Architects, épisode How to Measure Brand Marketing. Geo-test comme gold standard du top-funnel, polyvalence métrique, causalité préservée.
• Marketing Architects, épisode The Science of Ad Personalization. Interférence algorithmique dans les A/B tests natifs et geo-test comme parade.
• Marketing Architects, épisode Nerd Alert: Where A-B Testing Goes Wrong. Limites structurelles de l’A/B test en marketing, hiérarchie des méthodes.
• Marketing Architects, épisode The Long & Short of Measurement. Alignement préalable des stakeholders, critère de l’OEC, conditions d’un test interprétable.
• Marketing Architects, épisode What is the worst-case scenario after launching TV?. Discipline d’exécution des tests TV, gel des variables, budget détectable à l’oeil nu.
• Ron Kohavi, Trustworthy Online Controlled Experiments (Cambridge University Press, 2020). Fondement théorique, Loi de Twyman, OEC, cas Bing.
• Eric Schwartz (University of Michigan), Can You Trust Your Ad Data (AMA, 2025). Formalisation du divergent delivery dans les A/B tests natifs Meta/Google.
• Kevin Goodwin (New Engen), Triangulation May Be Doing More Harm Than Good. Données d’adoption, prescription « un outil à la fois ».
• Kevin Goodwin (New Engen), Why Most Growth Brands Are Doing Upper Funnel Wrong - Part 2. Anatomie d’un test sous-dimensionné : MDE, fréquence, durée, alignement ex ante.
• WARC, podcast Three trends shaping marketing measurement in 2025. Montée en adoption de l’expérimentation, effet snapshot, date de péremption des résultats.
• WARC, podcast Best of 2025 : Strategy, Skills & New Era. Test comme outil d’apprentissage vs d’évitement du risque.
• WARC, podcast Breaking the Efficiency Death Spiral. Geo-test régional comme argument CFO, lisibilité à l’oeil nu.
• WARC, podcast How marketing measurement is evolving in 2026. Blockers organisationnels, cadence des tests, dimension politique.

ℹ️ À propos de cette page

Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.

Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.