Aller au contenu

Design de Tests Marketing

Un test ne vaut pas par sa rigueur statistique seule, mais par la décision qu'il rend possible. Le design part de l'hypothèse et du seuil d'action, choisit format et métrique selon la décision, et échange de la précision contre de la vélocité quand la décision est réversible.

Basecamp · relevé de terrain

Chapitre 2
Pilotage
Relevé le
Lecture
8 min
Balance de laiton réglée à vide sur un établi, un petit poids calibré dans un plateau et des fiches de papier dans l'autre -
La balance réglée avant la pesée

Un test ne vaut pas par sa rigueur statistique seule, mais par la décision qu’il rend possible. Un protocole parfaitement exécuté qui ne déplace aucun arbitrage produit un rapport, pas un apprentissage. Le design commence avant la statistique : par l’hypothèse à trancher et le seuil à partir duquel on agit.

Le corpus est praticien - opérateurs qui testent tous les jours sur Meta, cabinets qui évaluent des portefeuilles publicitaires, quelques économistes. Le RCT y reste la référence, mais l’écart avec la pratique est documenté : deux tiers des expérimentations marketing sont contaminées par des données inexactes ou trompeuses, et 40 % des résultats sont trompeurs parce qu’ils reposent sur des jeux partiels ou en silos.

La page couvre le design des tests, du cadrage au protocole d’arrêt, web et mobile ; le media mix modeling et la randomisation par marché ont leurs pages propres. Réserve de sourcing : les seuils chiffrés du corpus viennent souvent de vendeurs de mesure, juges et parties.

L’essentiel en 5 points

  • Un test sans décision ni seuil écrits avant le lancement laisse son résultat orphelin.
  • La métrique primaire porte le verdict ; les secondaires éclairent, elles ne rachètent pas un échec.
  • Format et métrique se déduisent de la question posée, pas d’un indicateur familier.
  • Décision réversible : descendre d’un cran dans l’échelle des indicateurs achète de la vélocité contre un faux positif assumé.
  • Test A/A et comparabilité vérifiée passent avant toute conclusion.

Deux façons de tester sans décider

Le tout-est-test produit l’inverse de ce qu’il promet : quand chaque initiative devient un test, plus personne n’est tenu à un résultat, la redevabilité se dissout et aucun savoir ne s’accumule d’un cycle à l’autre, constate Andrew Faris.

L’attente de significativité fait le même dégât là où le volume manque. The Google Pro rapporte un compte B2B à une douzaine de clics par jour : des mois d’A/B tests sans conclusion, aucune décision prise. La sortie praticienne est un pari éclairé après un délai d’ajustement, complété par la lecture des sessions.

Ce que la recherche établit

La contrainte est quantitative. L’élasticité de la publicité est faible et stable : une hausse de 20 % de la dépense produit typiquement moins de 1 % de ventes supplémentaires. Rick Bruner en tire une contrainte de design : un point de ventes vaut des dizaines de millions pour une grande marque, mais le détecter exige une puissance et un volume d’observations que l’observation bruitée ou les contrefactuels fortement modélisés ne fournissent pas.

La référence reste le RCT, seule construction qui autorise une inférence causale rigoureuse, rappelle Eric Seufert dans Mobile Dev Memo. La pratique s’en écarte massivement, et le coût est mesuré par l’étude ROI Genome d’Analytic Partners relayée par WARC.

La décision avant le test

Le périmètre de lecture se choisit avant le lancement (The Google Pro, Melanie Katz) : un test d’annonces perdait sur son indicateur principal, les unités vendues, quand les secondaires - taux de conversion, ventes année sur année - révélaient un volume additionnel créé par les variantes autour d’une nouvelle liste produit. Le même test conclut à la perte ou au gain selon la grille.

Pour Haus Analytics, l’hypothèse utile est une intention de décision assortie de son seuil : ce canal peut absorber telle part du budget, et à partir de tel résultat on agit. L’analyse est figée avant les résultats - méthode, métriques, fenêtres de lecture -, ce qui protège moins de l’erreur statistique que de la réécriture du récit par les parties prenantes.

La hiérarchie suit : le primaire porte le verdict, les secondaires ne rachètent pas un échec. Sans elle, un canal qui échoue sur le revenu incrémental trouve toujours une session ou un ROAS de régie. Un secondaire ne renverse le verdict que s’il mesure un volume global que le primaire ne voit pas, jamais une métrique que la régie peut gonfler.

Choisir le format et la métrique

Quatre formats aux objets distincts, selon The Google Pro : A/B sur une variable, multivarié sur plusieurs éléments simultanés, lift test contre une population de contrôle sur les métriques hautes du funnel, holdout mesurant le coût d’opportunité d’un scale. Ce ne sont pas des degrés de rigueur mais les étages d’une hiérarchie : geo tests simples pour un canal, RCT pour une affirmation causale, métriques intermédiaires pour les effets longs, comme le discutent Eric Seufert avec Pauwels et Runge.

L’incrémentalité n’est pas binaire. Pour Alyasa, la première tranche de dépense peut être fortement incrémentale, la suivante sature et achète des clics qui seraient venus seuls ; constater un revenu incrémental n’établit pas un budget optimal, car un test répond sur un niveau de dépense donné.

L’outcome précède l’outil : un coût pour mille impressions (CPM) ne dit rien d’un rappel publicitaire. Sleeping Barber avance ce point sans étude derrière, et le design se déduit de l’hypothèse d’outcome.

Quand la précision coûte plus qu’elle ne rapporte

Sur un trafic restreint, une page produit spécifique ou un persona étroit, attendre la significativité sur la conversion coûte des semaines. Marketing Operators montre que descendre vers les vues de page produit permet de conclure en quelques jours, en échangeant un faux positif contre de la vélocité de décision.

Le même arbitrage vaut pour un holdout : une marque de 30 à 50 millions attend neuf mois ou plus sur le revenu, quelques semaines sur les sessions add-to-cart ou checkout. Deux patterns assument ce compromis : la haute vélocité et basse précision, et le canary test, un à trois jours pour écarter une régression catastrophique.

La contrepartie est réelle : un proxy haut de funnel n’est pas un mini-verdict. Il ne vaut que si l’on vérifie à intervalles réguliers qu’il convertit en revenu.

Vérifier le dispositif avant de conclure

Un placebo test (A/A) quantifie le bruit et l’imprécision propres à la stratégie d’analyse, sans traitement réel. Pour Haus Analytics, sans cette étape un design mal conçu produit des résultats plus dangereux que l’absence d’expérience. La comparabilité vient ensuite : temps d’optimisation équivalent, saisonnalité et patterns d’achat proches, sinon le résultat mesure l’asymétrie du dispositif.

La règle d’arrêt d’une créa se design de la même façon : un intervalle de confiance de Poisson à 90 % indique, à chaque niveau de dépense, le coût par acquisition (CPA) au-delà duquel l’annonce ne pourra plus atteindre la cible - 200 $ dépensés à 80 $ de CPA se poursuivent, 2 000 $ au même CPA se coupent, écrit Curtis Howland.

Le budget de test suit : le débloquer par paliers selon la direction du coût d’acquisition client (CAC) observé, un CAC qui descend ouvrant la tranche suivante, transforme la dépense de test en protocole, comme le défend Limited Supply.


Si ta scale-up plafonne aujourd’hui

Trois gestes avant de lancer, et ils coûtent une réunion.

  • Écris la décision, pas l’espoir. Une ligne : la décision que le test doit permettre, le seuil qui la déclenche. Refuse les tests qui n’en ont pas.
  • Fige la grille de lecture. Métrique primaire, secondaires, règle qui les sépare, fenêtre de lecture. Ce débat se tient avant le résultat, jamais après.
  • Choisis le niveau de preuve selon l’enjeu. Canary de quelques jours pour un changement réversible, A/B complet pour une décision structurante, proxy haut de funnel quand la conversion n’arrivera pas à temps - en vérifiant qu’il convertit en revenu.

Le pont d’exécution vit dans Meta Ads pour l’arbitrage créatif et dans GeoLift pour la mesure causale par marché.

Pour aller plus loin

  • Expérimentation Contrôlée - Le socle méthodologique dont cette page règle le design : randomisation, limites de l’A/B test, hiérarchie des méthodes.
  • Incrémentalité - La question que le test doit trancher, et pourquoi un résultat sur un palier de dépense ne suffit pas à conclure sur un canal.
  • GeoLift - La randomisation par marché quand le RCT utilisateur est hors de portée.
  • Attribution - Ce que le test corrige et que l’attribution ne peut pas voir : du crédit réparti, pas de la cause établie.
  • Biais de Mesure - Les distorsions qui survivent au protocole le mieux écrit.
  • Stack de Mesure - La place du test dans un dispositif à plusieurs méthodes.
  • Media Mix Modeling - La courbe de réponse entre deux tests, et l’historique qui la rend lisible.
  • Loi de Goodhart - Ce qui arrive à une métrique promue au rang de verdict.
  • Confirmation Bias - Pourquoi l’engagement préalable est une protection, pas une formalité.

Sources


ℹ️ À propos de cette page

Direction éditoriale : Romain Nicault.

Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.

Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.