Design de Tests Marketing
Un test ne vaut pas par sa rigueur statistique seule, mais par la décision qu'il rend possible. Le design part de l'hypothèse et du seuil d'action, choisit format et métrique selon la décision, et échange de la précision contre de la vélocité quand la décision est réversible.
Basecamp · relevé de terrain
- Chapitre 2
- Pilotage
- Relevé le
- Lecture
- 8 min
- Sources
Un test ne vaut pas par sa rigueur statistique seule, mais par la décision qu’il rend possible. Un protocole parfaitement exécuté qui ne déplace aucun arbitrage produit un rapport, pas un apprentissage. Le design commence avant la statistique : par l’hypothèse à trancher et le seuil à partir duquel on agit.
Le corpus est praticien - opérateurs qui testent tous les jours sur Meta, cabinets qui évaluent des portefeuilles publicitaires, quelques économistes. Le RCT y reste la référence, mais l’écart avec la pratique est documenté : deux tiers des expérimentations marketing sont contaminées par des données inexactes ou trompeuses, et 40 % des résultats sont trompeurs parce qu’ils reposent sur des jeux partiels ou en silos.
La page couvre le design des tests, du cadrage au protocole d’arrêt, web et mobile ; le media mix modeling et la randomisation par marché ont leurs pages propres. Réserve de sourcing : les seuils chiffrés du corpus viennent souvent de vendeurs de mesure, juges et parties.
L’essentiel en 5 points
- Un test sans décision ni seuil écrits avant le lancement laisse son résultat orphelin.
- La métrique primaire porte le verdict ; les secondaires éclairent, elles ne rachètent pas un échec.
- Format et métrique se déduisent de la question posée, pas d’un indicateur familier.
- Décision réversible : descendre d’un cran dans l’échelle des indicateurs achète de la vélocité contre un faux positif assumé.
- Test A/A et comparabilité vérifiée passent avant toute conclusion.
Deux façons de tester sans décider
Le tout-est-test produit l’inverse de ce qu’il promet : quand chaque initiative devient un test, plus personne n’est tenu à un résultat, la redevabilité se dissout et aucun savoir ne s’accumule d’un cycle à l’autre, constate Andrew Faris.
L’attente de significativité fait le même dégât là où le volume manque. The Google Pro rapporte un compte B2B à une douzaine de clics par jour : des mois d’A/B tests sans conclusion, aucune décision prise. La sortie praticienne est un pari éclairé après un délai d’ajustement, complété par la lecture des sessions.
Ce que la recherche établit
La contrainte est quantitative. L’élasticité de la publicité est faible et stable : une hausse de 20 % de la dépense produit typiquement moins de 1 % de ventes supplémentaires. Rick Bruner en tire une contrainte de design : un point de ventes vaut des dizaines de millions pour une grande marque, mais le détecter exige une puissance et un volume d’observations que l’observation bruitée ou les contrefactuels fortement modélisés ne fournissent pas.
La référence reste le RCT, seule construction qui autorise une inférence causale rigoureuse, rappelle Eric Seufert dans Mobile Dev Memo. La pratique s’en écarte massivement, et le coût est mesuré par l’étude ROI Genome d’Analytic Partners relayée par WARC.
La décision avant le test
Le périmètre de lecture se choisit avant le lancement (The Google Pro, Melanie Katz) : un test d’annonces perdait sur son indicateur principal, les unités vendues, quand les secondaires - taux de conversion, ventes année sur année - révélaient un volume additionnel créé par les variantes autour d’une nouvelle liste produit. Le même test conclut à la perte ou au gain selon la grille.
Pour Haus Analytics, l’hypothèse utile est une intention de décision assortie de son seuil : ce canal peut absorber telle part du budget, et à partir de tel résultat on agit. L’analyse est figée avant les résultats - méthode, métriques, fenêtres de lecture -, ce qui protège moins de l’erreur statistique que de la réécriture du récit par les parties prenantes.
La hiérarchie suit : le primaire porte le verdict, les secondaires ne rachètent pas un échec. Sans elle, un canal qui échoue sur le revenu incrémental trouve toujours une session ou un ROAS de régie. Un secondaire ne renverse le verdict que s’il mesure un volume global que le primaire ne voit pas, jamais une métrique que la régie peut gonfler.
Choisir le format et la métrique
Quatre formats aux objets distincts, selon The Google Pro : A/B sur une variable, multivarié sur plusieurs éléments simultanés, lift test contre une population de contrôle sur les métriques hautes du funnel, holdout mesurant le coût d’opportunité d’un scale. Ce ne sont pas des degrés de rigueur mais les étages d’une hiérarchie : geo tests simples pour un canal, RCT pour une affirmation causale, métriques intermédiaires pour les effets longs, comme le discutent Eric Seufert avec Pauwels et Runge.
L’incrémentalité n’est pas binaire. Pour Alyasa, la première tranche de dépense peut être fortement incrémentale, la suivante sature et achète des clics qui seraient venus seuls ; constater un revenu incrémental n’établit pas un budget optimal, car un test répond sur un niveau de dépense donné.
L’outcome précède l’outil : un coût pour mille impressions (CPM) ne dit rien d’un rappel publicitaire. Sleeping Barber avance ce point sans étude derrière, et le design se déduit de l’hypothèse d’outcome.
Quand la précision coûte plus qu’elle ne rapporte
Sur un trafic restreint, une page produit spécifique ou un persona étroit, attendre la significativité sur la conversion coûte des semaines. Marketing Operators montre que descendre vers les vues de page produit permet de conclure en quelques jours, en échangeant un faux positif contre de la vélocité de décision.
Le même arbitrage vaut pour un holdout : une marque de 30 à 50 millions attend neuf mois ou plus sur le revenu, quelques semaines sur les sessions add-to-cart ou checkout. Deux patterns assument ce compromis : la haute vélocité et basse précision, et le canary test, un à trois jours pour écarter une régression catastrophique.
La contrepartie est réelle : un proxy haut de funnel n’est pas un mini-verdict. Il ne vaut que si l’on vérifie à intervalles réguliers qu’il convertit en revenu.
Vérifier le dispositif avant de conclure
Un placebo test (A/A) quantifie le bruit et l’imprécision propres à la stratégie d’analyse, sans traitement réel. Pour Haus Analytics, sans cette étape un design mal conçu produit des résultats plus dangereux que l’absence d’expérience. La comparabilité vient ensuite : temps d’optimisation équivalent, saisonnalité et patterns d’achat proches, sinon le résultat mesure l’asymétrie du dispositif.
La règle d’arrêt d’une créa se design de la même façon : un intervalle de confiance de Poisson à 90 % indique, à chaque niveau de dépense, le coût par acquisition (CPA) au-delà duquel l’annonce ne pourra plus atteindre la cible - 200 $ dépensés à 80 $ de CPA se poursuivent, 2 000 $ au même CPA se coupent, écrit Curtis Howland.
Le budget de test suit : le débloquer par paliers selon la direction du coût d’acquisition client (CAC) observé, un CAC qui descend ouvrant la tranche suivante, transforme la dépense de test en protocole, comme le défend Limited Supply.
Si ta scale-up plafonne aujourd’hui
Trois gestes avant de lancer, et ils coûtent une réunion.
- Écris la décision, pas l’espoir. Une ligne : la décision que le test doit permettre, le seuil qui la déclenche. Refuse les tests qui n’en ont pas.
- Fige la grille de lecture. Métrique primaire, secondaires, règle qui les sépare, fenêtre de lecture. Ce débat se tient avant le résultat, jamais après.
- Choisis le niveau de preuve selon l’enjeu. Canary de quelques jours pour un changement réversible, A/B complet pour une décision structurante, proxy haut de funnel quand la conversion n’arrivera pas à temps - en vérifiant qu’il convertit en revenu.
Le pont d’exécution vit dans Meta Ads pour l’arbitrage créatif et dans GeoLift pour la mesure causale par marché.

Pour aller plus loin
- Expérimentation Contrôlée - Le socle méthodologique dont cette page règle le design : randomisation, limites de l’A/B test, hiérarchie des méthodes.
- Incrémentalité - La question que le test doit trancher, et pourquoi un résultat sur un palier de dépense ne suffit pas à conclure sur un canal.
- GeoLift - La randomisation par marché quand le RCT utilisateur est hors de portée.
- Attribution - Ce que le test corrige et que l’attribution ne peut pas voir : du crédit réparti, pas de la cause établie.
- Biais de Mesure - Les distorsions qui survivent au protocole le mieux écrit.
- Stack de Mesure - La place du test dans un dispositif à plusieurs méthodes.
- Media Mix Modeling - La courbe de réponse entre deux tests, et l’historique qui la rend lisible.
- Loi de Goodhart - Ce qui arrive à une métrique promue au rang de verdict.
- Confirmation Bias - Pourquoi l’engagement préalable est une protection, pas une formalité.
Sources
- Andrew Faris, The DTC Advice I Hate Most. Le tout-est-test comme dissolution de la redevabilité.
- The Google Pro, Designing Marketing Tests that Drive Results - Melanie Katz. Quatre formats de test, périmètre de lecture choisi avant le lancement.
- The Google Pro, #53 ppc.zone December 2025: Aldwin Neekon “3 B2B Google Ads Traps to Avoid”. Test sous-volume : des mois d’attente de significativité, aucune décision.
- Rick Bruner, Timeless Truths About Advertising, Part III. Élasticité faible et stable, contrainte de puissance qu’elle impose au design.
- Eric Seufert, Mobile Dev Memo Podcast, Season 4, Episode 3: What is advertising incrementality?. Le RCT comme seule construction autorisant une inférence causale rigoureuse.
- Eric Seufert, Mobile Dev Memo Podcast, Season 5, Episode 3: Marketing experiments and probabilistic measurement. Hiérarchie des méthodes selon la question posée.
- Haus Analytics, 5 Mistakes Brands Make When Running Marketing Experiments. Placebo test A/A, analyse figée avant résultats.
- Haus Analytics, Olivia and Chandler React to the Marketing Operators’ Incrementality Episode. Intention de décision assortie de son seuil, hiérarchie des métriques.
- WARC, The Multiplier Effect: A CMO’s guide to brand building in the performance era (2026). Étude ROI Genome d’Analytic Partners : deux tiers des expérimentations contaminées, 40 % de résultats trompeurs.
- Alyasa, Marketing Measurement Framework: Start With What You Can Observe. Incrémentalité par palier de dépense, absence de budget optimal déduit d’un test.
- Sleeping Barber, SBP 175: The PostPod - Hyper-Targeting is Killing Growth. L’outcome précède l’outil : un CPM ne dit rien d’un rappel publicitaire.
- Marketing Operators, The Right Way to A/B Test Landing Pages on Meta Ads for Ecommerce. Proxy haut de funnel sur un trafic restreint, patterns de test à haute vélocité.
- Marketing Operators, How to 2x Your A/B Testing Output Without More Budget. Holdout sur sessions add-to-cart ou checkout, canary test de un à trois jours.
- Curtis Howland, Stop Letting Meta Pick Your Winners. Intervalle de confiance de Poisson pour la règle d’arrêt d’une créa.
- Limited Supply, The REAL REASON Why “Sexy” Business Ideas NEVER Work Out. Budget de test débloqué par paliers selon la direction du CAC observé.
ℹ️ À propos de cette page
Direction éditoriale : Romain Nicault.
Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.
Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.