Aller au contenu

Biais de Mesure

Ce qui est mesurable en marketing n'est presque jamais ce qui compte. L'appareil de mesure est biaisé par construction : par la mesurabilité elle-même, par les intérêts des régies, et par une attribution qui compte du crédit, pas de la cause.

Basecamp · relevé de terrain

Chapitre 2
Pilotage
Relevé le
Lecture
9 min
Boussole de bord ouverte dans un carnet de terrain, aiguille nettement déviée du nord - gravure 19e.
L'aiguille faussée

Le problème n’est pas que les marketeurs lisent mal leurs chiffres. C’est que les chiffres qu’on leur donne sont biaisés par construction - structurellement, à trois niveaux distincts. Et l’ampleur de ces biais n’est pas marginale : la recherche causale la mesure en facteur de dix, parfois de trente.

Ce constat a une longue histoire. Moni Oloyede l’a documenté dans une généalogie des métriques marketing : la capacité à reporter proprement une donnée ne dit rien du comportement qui fait tourner le business. Le glissement s’est produit progressivement - la stratégie a fini par découler de ce qui était mesurable, au lieu que la mesure soit construite autour de la stratégie.

La robustesse de ce diagnostic vient aujourd’hui de la recherche expérimentale. Blake, Nosko & Tadelis (2014) ont comparé les estimations observationnelles et causales du ROI du paid search. Gordon, Zettelmeyer, Bhargava & Chapsky (2019) ont analysé quinze RCT Facebook. Les deux études arrivent à la même conclusion : les méthodes habituelles surestiment l’efficacité par un facteur qui va de trois à plusieurs milliers de pourcents.

Cette page déroule les trois biais et leur résolution pratique. Pour la mécanique détaillée de l’attribution et sa grille de validité, voir Attribution. Pour le dispositif de triangulation complet, voir Stack de Mesure.

L’essentiel en 4 points

  • Le biais de mesurabilité : on optimise les métriques d’activité (clics, leads, vues) parce qu’elles sont disponibles, pas parce qu’elles reflètent ce qui compte pour le business.
  • Le biais d’incitation : une régie optimise son revenu trimestriel, pas celui de l’annonceur - ses outils de mesure reflètent cet alignement, pas le vôtre.
  • Le biais technique : l’attribution click-based surestime les canaux traçables (search, direct) et ignore les canaux qui construisent la demande (social, vidéo) - elle mesure la capacité de tracking, pas l’efficacité.
  • Le bon standard n’est pas « le chiffre vrai » (il n’existe pas) mais « assez bon pour décider mieux » - ce qui implique de trianguler des sources imparfaites plutôt que d’en chercher une parfaite.

On optimise ce qui se mesure, pas ce qui compte

C’est l’effet de réverbère : on cherche ses clés sous le lampadaire parce que c’est là qu’il y a de la lumière. Le diagnostic de Moni Oloyede est net : la capacité à reporter proprement une métrique ne dit rien du comportement qui fait réellement tourner le business. L’existence d’une donnée mesurable ne prouve pas qu’on mesure la bonne chose.

Le symptôme le plus révélateur : on continue à suivre des chiffres qu’on ne croit pas. Seuls 63 % des équipes font confiance au nombre d’articles placés - et 85 % le suivent. À peine 42 % croient au reach et aux impressions que 76 % continuent de mesurer. Et le GRP historique ne voit plus ni la CTV, ni la VOD, ni le social video, selon Orixa, si bien qu’on surinvestit ce qui est facile à mesurer plutôt que ce qui est efficace.

Les chiffres sont produits par des gens avec des intérêts

Le deuxième biais est un conflit d’intérêts structurel. Comme le documente Eric Seufert de Mobile Dev Memo, une régie a une directive primaire : optimiser son propre revenu publicitaire, pas la performance de l’annonceur. Un ancien SVP de Google l’a déclaré en audition réglementaire : « we would run experiments to hit revenue in the quarter » - des expériences pour atteindre le revenu trimestriel, pas pour dire la vérité à l’annonceur. Les outils de mesure de la régie reflètent cet alignement.

Le biais se répète à chaque maillon. Tout interlocuteur d’une plateforme est sur un quota ou travaille pour quelqu’un qui l’est. Ses recommandations d’augmenter le budget se lisent à travers ce filtre, jamais comme une validation d’efficacité. Côté annonceur, les équipes paid sont évaluées sur les métriques qu’elles contrôlent - ROAS plateforme, conversions attribuées -, qui sont aussi les plus faciles à gonfler. Confier l’évaluation de ses campagnes aux régies elles-mêmes revient à en faire des juges et des parties.

L’attribution compte du crédit, pas de la cause

C’est le domaine propre de l’Attribution - retenons ici le principe. La mesure déterministe (savoir exactement quel utilisateur a vu quelle publicité et en a tiré quelle conversion) est une illusion dans un écosystème multi-device fragmenté. Le biais joue dans les deux sens à la fois : une régie peut surestimer (retargeting et brand search qui « raflent » une conversion déjà acquise) comme sous-estimer (parcours cross-device, absence de clic). Ces deux erreurs coexistent selon la stratégie.

Le vice de fond : le modèle mesure la traçabilité, pas l’efficacité. Le MTA click-based sur-représente structurellement les canaux de capture de demande (search, direct - traçables) et exclut les canaux de création de demande (social, vidéo - dont les impressions ne laissent pas de trace cliquable), puis produit des pourcentages « confiants » qui reflètent la capacité de tracking plus que la performance réelle. La catégorie « direct » est le symptôme : depuis les restrictions cookies, une part croissante de conversions « dark » (non trackées) gonfle cette catégorie et masque le canal qui a vraiment déclenché l’achat - comme le documente Rand Fishkin sur son propre historique MOZ.

L’ampleur : un facteur de plusieurs dizaines, pas quelques pourcents

Ces biais ne sont pas des nuances de praticiens - leur magnitude est documentée expérimentalement, et elle est massive.

Blake, Nosko & Tadelis (2014) ont montré que corréler clics et ventes donne un ROI du paid search de « over 4 000 percent ». L’estimation par test contrôlé révèle un ROI moyen de « négatif 63 percent », statistiquement différent de zéro. Même en contrôlant jour et géographie, le ROI estimé reste à 1 500 %. Les auteurs notent que les incitations de tout l’écosystème (régies, éditeurs, consultants, cadres marketing) sont alignées pour gonfler ce chiffre.

Gordon, Zettelmeyer, Bhargava & Chapsky (2019) ont analysé quinze RCT Facebook : dans la moitié des études, l’estimation observationnelle est fausse « by a factor of three », même avec des données individuelles riches. Marketing Architects estime que le biais de sélection peut être « 30 times bigger than the real effect » : les gens ciblés par la pub étaient déjà plus enclins à acheter - une revendication de « 300 % de retour » reflète presque certainement cet artefact.

Côté attention, Karen Nelson-Field établit que le Time-in-View n’explique que 31 % de la variance de l’attention active réelle - 75 % des impressions « viewable » selon les standards MRC reçoivent une attention insignifiante. La viewability sur-compte massivement l’exposition utile. Le mécanisme complet est dans Volume d’Attention.

Nuance utile : tous les écarts ne sont pas des biais - croire que « le chiffre ment toujours » est lui-même un biais. Les gens lisent souvent très mal le bruit statistique : à faible volume de conversions, la variance quotidienne suffit à simuler un « problème » qui n’existe pas. Un CPM élevé signale souvent que la régie atteint des audiences de valeur, pas une défaillance. Avant de conclure à un biais, écarter le bruit et les artefacts de reporting (migration de type de campagne, changement d’outil de collecte).

Viser « assez bon pour décider »

La résolution n’est pas de trouver la métrique honnête - c’est de changer le standard qu’on lui applique. Comme le formule Barbara Galiza : « attribution is directional, not precise ». On ne cherche pas la vérité causale (elle exigerait un RCT en continu, inaccessible à la plupart des scale-ups) ; on cherche un signal assez bon pour prendre de meilleures décisions budgétaires qu’aujourd’hui.

La triangulation est l’outil, et elle se cadence sur le rythme du business. La lecture post-ATT croise trois sources - données plateforme (qui sous-attribuent), analytics tiers (qui sur-attribuent le direct), données transactionnelles back-end - aucune ne donnant seule la vérité. Sleeping Barber ajoute qu’ancrer le reporting sur la clôture caisse ou le CRM plutôt qu’en dashboard temps réel attache la performance à ce que le business encaisse vraiment. C’est la logique de la Stack de Mesure : un dispositif de triangulation par horizon, pas un meilleur modèle d’attribution.


Si ta scale-up plafonne aujourd’hui

Le pilotage n’a pas à produire LE chiffre vrai - il a à connaître le sens du biais de chaque métrique et à trianguler. Trois réflexes concrets :

1. Auditer le ratio output/outcome.

Dans ton dernier reporting, compte la part de métriques d’activité (clics, impressions, leads) versus métriques de résultat (revenu réconcilié, part de marché, LTV). Nomme explicitement les métriques que l’équipe suit sans y croire, et les dimensions importantes qui ne sont pas mesurées du tout (notoriété, confiance, intention). Cet audit révèle l’ampleur du biais de mesurabilité en moins d’une heure.

2. Connaître le sens du biais avant d’arbitrer.

Sur-attribution probable (retargeting, brand search, colonne achat régie) - confronter à un holdout ou à l’Incrémentalité. Sous-attribution probable (cross-device, top-funnel, dark social) - étendre la fenêtre d’attribution, vérifier la couverture serveur. Indicateur de santé du tracking : si direct + referral dépasse 10 % des conversions attribuées, il y a du travail de tracking à faire (Instrumentation du Tracking).

3. Ancrer dans le compte bancaire, pas dans l’interface.

En audit de compte, commencer par croiser la dépense régie avec le new-customer revenue réel (CRM ou back-end e-commerce), avant toute métrique in-platform. Un gros écart révèle soit un problème de pixel, soit de la sur-attribution. Le réglage fin se fait à l’écran de la régie : Meta Ads - Paramétrage et la grille de validité complète dans Attribution.

Pour aller plus loin

  • Attribution - Le domaine le plus documenté du biais de mesure : pourquoi l’attribution click-based compte du crédit plutôt que de la cause, et la grille de validité en trois zones.
  • Stack de Mesure - La résolution opérationnelle : comment trianguler par horizon plutôt que chercher le meilleur modèle d’attribution unique.
  • Expérimentation Contrôlée - L’étalon causal contre lequel se mesure l’ampleur du biais, et dans quelles conditions une scale-up peut le tenir.
  • Incrémentalité - La mesure de l’effet propre d’une action marketing, indépendamment du biais de sélection.
  • Volume d’Attention - Le versant attention du même écart : pourquoi la viewability sur-compte massivement l’exposition publicitaire utile.
  • Goodhart’s Law - Ce qui arrive en aval quand on optimise une métrique biaisée : dès qu’elle devient une cible, elle cesse d’être une bonne mesure.
  • Court-Termisme Structurel - Le versant organisationnel du biais d’incitation : les mandats courts qui privilégient le mesurable immédiat.

Sources


ℹ️ À propos de cette page

Direction éditoriale : Romain Nicault.

Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.

Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.