Fiabilité des Métriques Email

L’email est le seul canal où chaque dollar dépensé semble traçable : le revenu attribué sort directement du dashboard de l’ESP (fournisseur d’envoi), observé et non modelé, là où les régies publicitaires infèrent. C’est vrai du revenu. Mais les signaux qui le composent - ouverture, clic, attribution - sortent du même écran sans que rien n’indique s’ils mesurent un humain, un robot, ou un achat qui aurait eu lieu de toute façon. La fiabilité de la donnée est donc un préalable au pilotage, pas un raffinement d’analyste.

L’idée vient du terrain, pas d’un laboratoire. Sa matière est entièrement praticienne : le podcast Send It, qui documente épisode après épisode les métriques cassées de l’email entre 2024 et 2025, et un épisode de Sleeping Barber. Ces opérateurs ont vu leurs taux d’ouverture doubler du jour au lendemain après l’arrivée de Mail Privacy Protection, et ont dû rebâtir leur mesure sur autre chose.

La robustesse de ce corpus est celle d’un témoignage, pas d’une étude. Ce sont des praticiens qui décrivent les biais qu’ils observent sur leurs comptes, sans étude tierce sur l’ampleur réelle des biais ni sur l’efficacité des contre-mesures : les ordres de grandeur (part de robots, écart d’incrémentalité) sont des retours d’expérience, à lire comme tels. Le mécanisme des biais, lui, est documenté et reproductible.

Cette page traite la confiance dans les chiffres : ce que valent l’ouverture, le clic et le revenu attribué, et comment vérifier qu’ils existent. Elle ne traite pas la décision qui suit - sur quels indicateurs piloter le canal une fois la donnée auditée - qui a sa propre page.

L’essentiel en 5 points

• L’ouverture est gonflée par le préchargement d’Apple : un taux rapporté de 35 % peut ne correspondre qu’à 15 à 20 % d’ouvertures humaines.
• Le clic est pollué par les robots des fournisseurs de boîte : +10 à 25 % sur les marques D2C (direct-to-consumer), +40 à 60 % sur des comptes B2B (business-to-business).
• Le revenu attribué par l’ESP est du crédit de dernier contact, pas de la cause : un holdout d’une semaine peut faire tomber une contribution affichée de 40 % à 12-15 %.
• Les benchmarks publiés par les ESP sont structurellement invalides : le seul étalon honnête est l’historique propre de la marque.
• Auditer la fiabilité n’est pas un exercice de puriste : une case décochée dans l’ESP suffit à faire disparaître 20 à 30 % du chiffre d’affaires du tableau.

L’ouverture : gonflée par le préchargement d’Apple

L’ouverture reposait sur un pixel - une image invisible de 1x1 chargée à l’affichage : un signal rudimentaire mais honnête, tant que le chargement dépendait de l’ouverture réelle. Mail Privacy Protection (MPP, Apple, 2021) a cassé ce lien. Comme le documente le podcast Send It, Apple pré-déclenche le pixel sur ses propres serveurs pour tout email adressé à un client Apple Mail, lu ou non ; comme 40 à 70 % des abonnés d’une marque utilisent Apple Mail, un taux rapporté de 35 % peut correspondre à seulement 15 à 20 % d’ouvertures humaines. Pour certaines marques, plus de la moitié des ouvertures sont masquées, et le taux rapporté peut doubler du jour au lendemain sans qu’aucun comportement humain ne change. iOS 26 n’arrange rien : l’épisode qui lui est consacré décrit un système qui « almost doubles down on it », avec des taux devenus « more inflated, noisy, and even more or actually less trustworthy ». iOS 18 ajoute une couche d’opacité, l’intelligence artificielle de gestion de boîte triant et résumant l’email avant qu’un humain ne l’ouvre.

Conséquence : l’ouverture ne sert plus à arbitrer entre deux objets ni à juger une créa, et l’optimiser revient à optimiser un pixel. Elle survit à un seul usage, la tendance interne : une chute soudaine signale un problème de délivrabilité, pas une baisse de qualité du contenu. Le substitut d’attribution fiable est ailleurs : des coupons uniques par envoi, qui prouvent l’achat par un humain identifiable, et des landing pages dédiées dont le tag de checkout échappe au stripping d’Apple parce qu’il vit hors de l’email.

Le clic : pollué par les robots de sécurité

Le taux de clic (CTR, click-through rate) n’est pas un refuge. Les filtres et scanners de sécurité des fournisseurs de boîte cliquent chaque lien avant de remettre l’email au destinataire ; ces clics enregistrés comme humains gonflent le taux de clic de 10 à 25 % sur les marques D2C et de 40 à 60 % sur les comptes B2B, le lien du bouton d’appel à l’action principal étant le plus pollué. Aucun ESP ne démêle ensuite les quatre types de clics - intention réelle, curiosité, accident, robot - qui apparaissent comme un seul événement : « whether someone clicks your hero image by accident or they click a specific product link with intent to buy […] all of those show up as one click in your dashboard without much differentiation ». Le design amplifie le bruit : un email tout-image cliquable sur mobile récolte les clics accidentels du pouce, avec des taux de rebond de 85 à 90 % sur la page de destination.

Le signal robuste n’est pas le volume de clics, c’est le ratio clic-à-conversion. Le CTR brut ne vaut que comme comparaison relative, campagne contre campagne sur la même liste et le même créneau ; avant de s’en servir, il faut auditer la part de robots via un outil de click-tracking tiers et le taux de rebond du lander, puis regarder ce qui suit le clic plutôt que le clic.

Le revenu : sur-crédité par l’attribution ESP

Le revenu attribué par l’ESP n’est pas la contribution causale. Tous les ESP comptent en click-through avec une fenêtre de 5 jours (Klaviyo, Omnisend) : l’email et le SMS (short message service) sont « typically last because they’re the most transactional channels », donc ils récoltent le crédit du dernier contact, pas la cause de l’achat. Le test d’incrémentalité mesure l’écart : sur une marque où l’ESP crédite l’email de 40 % du revenu, couper le canal une semaine sur un segment ramène la contribution réelle à 12-15 %, le solde étant des achats qui auraient eu lieu ailleurs.

Deux angles morts s’ajoutent. L’ESP ne relie pas le clic mobile à l’achat desktop plus tard dans la journée, zone grise que seul un tracking unifié comble (Stack de Mesure). Et une configuration peut rendre le canal muet : quand l’attribution revenue est désactivée dans l’ESP, la marque conclut que l’email ne génère rien alors qu’il porte 20 à 30 % du chiffre d’affaires, sans qu’aucune alerte ne signale la case décochée.

Le contre-feu est méthodologique : réduire la fenêtre à ce qui est défendable, calibrer par un holdout en débranchant 5 % de la liste une semaine sur une base trimestrielle, et ne jamais présenter le chiffre ESP brut sans note de méthode. Le fond du sujet est dans Attribution et Incrémentalité.

Les repères que la donnée corrompue contamine

Une métrique fausse contamine tout ce qui s’y compare. Les benchmarks publiés par les ESP sont structurellement invalides : moyenne de la clientèle de la plateforme et non du secteur, tailles de marques mélangées, métriques brutes déjà gonflées. Se rassurer ou paniquer sur ces repères est une réaction à une comparaison fictive ; le seul étalon honnête est l’historique propre de la marque, année sur année, campagne contre campagne. Le score de réputation suit la même pente : un chiffre agrégé qui incite à réagir à sa dégradation sans diagnostiquer la cause, quand les indicateurs utiles sont en dessous - taux de spam, erreurs de délivrabilité, authentification et engagement propre (voir Délivrabilité Email).

Le test A/B hérité tombe pour deux raisons cumulées : la segmentation réduit les listes - 25 000 contacts découpés en deux variants de 2 500 n’atteignent pas la significativité -, et MPP gonfle l’ouverture de 10 à 15 points, donc la variable mesurée est déjà biaisée. Trois substituts tiennent sous petite liste : le test séquentiel, variante A sur tout le segment une semaine puis variante B la suivante ; les clusters de campagnes, significativité gagnée par répétition sur 5 à 10 envois ; les indicateurs avancés (CTR, visites produit, ajout au panier) à la place du revenu, trop lent à remonter. C’est le volet email de Expérimentation Contrôlée.

Tension ouverte. L’ouverture est déclarée « cassée » par les sources, mais plusieurs praticiens la gardent comme ligne de tendance relative, et Délivrabilité Email l’utilise comme signal d’engagement pour les fournisseurs d’accès. La frontière entre « métrique morte » et « métrique directionnelle » n’est pas tranchée par le corpus : autoriser l’ouverture comme tendance interne est défendable, l’exposer en reporting absolu ne l’est pas. Où placer la ligne quand la même donnée sert à la fois la décision et le diagnostic ?

Nuance de praticien. La fiabilité n’est pas un problème de configuration rare. Une case décochée dans l’ESP suffit à faire disparaître 20 à 30 % du chiffre d’affaires du tableau, sans alerte. Auditer la fiabilité n’est donc pas un exercice de puriste : c’est vérifier que les chiffres affichés existent.

Si ta scale-up plafonne aujourd’hui

1. Audite la donnée avant de la piloter.

Part de robots dans tes clics, part Apple Mail dans ta liste, fenêtre d’attribution de ton ESP, attribution revenue bien active : tant que ces quatre réponses manquent, tu pilotes des chiffres dont tu ignores ce qu’ils mesurent.

2. Remplace les benchmarks ESP par ton propre historique.

Même segment, même timing, même type de campagne : les repères publiés par les plateformes moyennent des clientèles, pas ton marché.

3. Calibre la contribution par un holdout.

Débranche 5 % de ta liste une semaine, une fois par trimestre, avant de présenter le chiffre ESP comme un résultat.

4. Passe du CTR au ratio clic-à-conversion.

Et reconnecte le clic à la conversion cross-device (Stack de Mesure) plutôt que de t’arrêter au clic enregistré.

5. Fais des coupons uniques et des landing pages dédiées ta preuve d’achat.

Là où l’ouverture ne prouve plus rien, l’achat par un humain identifiable reste vérifiable.

Pour aller plus loin

• Métriques Email de Pilotage - La couche décision, une fois la donnée auditée : sur quels indicateurs piloter le canal.
• Délivrabilité Email - Pourquoi l’ouverture survit comme signal de tendance, les fournisseurs d’accès filtrant sur l’engagement réel.
• Attribution - Le problème cross-canal dont le sur-crédit de l’ESP est le cas email.
• Incrémentalité - Le holdout qui rétablit la contribution réelle.
• Stack de Mesure - Le tracking unifié cross-device que l’ESP ne fournit pas.
• Expérimentation Contrôlée - Les tests email valides sous petite liste.
• Segmentation Email Comportementale - Les signaux comportementaux qui remplacent l’ouverture.

Sources

• Send It, épisode Why Email Open Rates Are Misleading After Apple’s Mail Privacy Protection (MPP).
• Send It, épisode Inbox Providers Don’t Care About Your Open Rates Anymore.
• Send It, épisode Why iOS 26 Makes Open Rates Useless for Email Marketers.
• The Sleeping Barber Podcast, épisode SBP 088: The Barber’s Brief - September 12, 2024.
• Send It, épisode The 2025 Email Playbook: Tactics Myths and Insights for Success - EP 17.
• Send It, épisode How to Track Email Performance Without Relying on Open Rates.
• Send It, épisode Email Click Rates: The Fake Clicks Wrecking Your Data.
• Send It, épisode Your Click Rate Is Fake (And Here’s Why).
• Send It, épisode We found 10 broken metrics every brand is tracking.
• Send It, épisode Email Attribution: Why Last-Touch Is a Fantasy.
• Send It, épisode Your Email Data Might Be Broken (And You Don’t Know It).
• Send It, épisode Your Email Tests Aren’t Statistical (And Here’s Why).
• Send It, épisode Why Email Reputation Scores Are Misleading Marketers.

ℹ️ À propos de cette page

Reaching Kibo explore les vrais moteurs de la croissance des scale-ups B2C - et comment les mettre en pratique. Cette page appartient à Basecamp, le playbook du projet.

Elle est rédigée par IA, d’après le cadre et la direction que je donne. Une erreur, un désaccord, une source à ajouter ? Écris-moi : romain@reachingkibo.com.