Le test qui sépare les vanity metrics des métriques utiles

Qu'est-ce qui fait d'une métrique une vanity metric ?

Rien dans la liste habituelle des vanity metrics n'est intrinsèquement vaniteux, et un chiffre ne gagne l'étiquette que si aucune valeur plausible de ce chiffre ne changerait ce que tu fais ensuite. C'est tout le test. C'est une propriété de la décision, pas une propriété de la métrique, et c'est pourquoi le même chiffre peut être une entrée opérationnelle sérieuse dans une entreprise et une décoration dans une autre.

Le cadrage populaire prend le problème à l'envers. "Les likes sont vaniteux, le revenu est réel" sonne décisif et n'explique rien : une équipe growth qui achète de l'attention et vend de l'attention peut agir sur les likes, et un fondateur qui lit le revenu brut sans la rétention se fait flatter par un chiffre avec un symbole monétaire devant.

D'où vient le terme vanity metrics ?

Eric Ries l'a popularisé dans un article invité publié le 19 mai 2009, où il soutenait que certains chiffres "make you feel good, but they don't offer clear guidance for what to do." Ses exemples étaient cumulés et agrégés : des milliards de messages envoyés, dix mille hits, le total de pages vues, le total d'utilisateurs inscrits.

Les remplacements qu'il proposait portaient tous sur la structure plutôt que sur le choix de la métrique. Les split-tests produisent les résultats les plus actionnables, parce que la comparaison est intégrée. Les vues par client et par segment battent les agrégats. L'analyse de cohortes suit des groupes dans le temps au lieu de verser chaque utilisateur dans un seul seau. Et le trafic peut être segmenté par le mot-clé qui l'a amené, ce qui garde l'acquisition et le comportement connectés. Sa phrase de conclusion était que les métriques sont des gens aussi, et c'est la partie que la plupart des équipes sautent.

Note ce qu'il n'a pas fait : il n'a pas publié de liste noire. Chacun de ses correctifs prend un chiffre supposément vaniteux et le découpe en une forme capable de porter une décision.

Le test en trois parties

Applique ces étapes dans l'ordre, et écris les réponses avant d'ouvrir le dashboard.

1. Nomme la décision. Quelle chose précise change en fonction de ce chiffre ? "On déplacerait du budget de X vers Y" est une décision. "On saurait où on en est" n'en est pas une.
2. Nomme le seuil à l'avance. À quelle valeur agis-tu, et dans quelle direction ? Si tu ne peux pas t'engager sur un chiffre avant de voir le chiffre, tu vas rationaliser tout ce qui apparaîtra.
3. Demande-toi si elle peut monter pendant que le business descend. Toute métrique capable de monter pendant un effondrement a besoin d'une contre-métrique appariée, sinon elle finira par servir à cacher l'effondrement.

Une métrique qui échoue aux trois est de la vanity. Une métrique qui n'échoue qu'à la troisième n'est pas de la vanity, elle est incomplète, et le correctif est l'appariement plutôt que la suppression.

Ce que décide le test en trois parties

Échoue aux trois

• Aucune décision nommée
• Aucun seuil fixé
• Pas besoin de contre-indicateur, puisque rien n'est en jeu

Échoue seulement à la troisième question

• La décision et le seuil existent
• Peut monter pendant que l'activité décline
• Ce n'est pas de la vanity, seulement incomplet, il faut un contre-indicateur

Réussit les trois

• Nomme la décision
• Nomme le seuil
• Associée à un contre-indicateur contre un effondrement qu'elle pourrait sinon masquer

Quelles métriques sont taxées de vanity, et quel est l'argument de chaque côté ?

Métrique	L'argument pour la dire vanity	La condition qui la rend utile à une décision
Utilisateurs inscrits cumulés	Monotone par construction, ne peut pas baisser, donc ne signale jamais un problème	Jamais sous forme cumulée ; découpée en cohortes, elle devient de la rétention
Pages vues	Aucun rapport avec l'argent dans un business par abonnement	C'est l'unité littéralement vendue dans l'édition financée par la publicité
Abonnés sur les réseaux sociaux	La portée est bridée par un algorithme que tu ne contrôles pas	Tu peux tracer les abonnés jusqu'à un canal avec du revenu attribué
Impressions	Définies par la plateforme, redéfinies sans préavis, invérifiables de ton côté	Tu les achètes, et le prix est à l'impression
Téléchargements d'app	Comptent l'intention, pas l'usage ; installer puis supprimer est invisible	Appariés à l'activation à J+7 ou J+30 de la même cohorte
Taux d'ouverture e-mail	Gonflé par des machines depuis 2021 ; le destinataire n'a peut-être jamais regardé	Comparer deux variantes dans le même segment intact
Durée moyenne de session	Contaminée par la façon dont la dernière page est chronométrée et par les onglets inactifs	Segmentée par template, sur des pages où le temps passé est le produit
Taux de rebond	La définition a changé sous le nom, donc la tendance est un artefact	Un template, une source de trafic, une définition, comparée à elle-même
NPS	Un score unique et retardé, de petits échantillons, des arrondis lourds	Lu comme les commentaires bruts derrière le score, pas comme le score
Revenu brut	Monte pendant que le churn monte, si l'acquisition dépasse la fuite	Rapporté à côté de la rétention nette du revenu, jamais seul

Quatre de ces lignes méritent d'être développées, parce que l'argument n'est pas celui qu'on croit.

Les totaux cumulés sont la seule forme qui est vanity par construction

"Total d'utilisateurs jamais inscrits" ne peut pas baisser. Le total d'inscriptions, le total de téléchargements et le total de publications non plus. Un chiffre mathématiquement incapable d'annoncer une mauvaise nouvelle ne peut pas éclairer une décision, quoi qu'il compte. C'est le seul cas où l'étiquette est juste sans rien savoir de ton business. La réparation est toujours la même : convertis le total en un taux sur une cohorte, pour qu'un mauvais mois ait le droit de ressembler à un mauvais mois.

Les pages vues font la paie d'un éditeur et du bruit pour un SaaS

La même métrique change complètement de camp selon le modèle économique. Si tu vends des impressions, les pages vues sont du revenu à une conversion près, et les traiter comme de la vanity relève de la faute professionnelle. Si tu vends des sièges, un pic de pages vues ne te dit rien tant que tu ne sais pas s'il vient d'acheteurs, d'un fil Hacker News ou d'un scraper. Avant de débattre, assure-toi que tout le monde compte la même chose ; les différences entre pages vues, sessions et utilisateurs expliquent une part surprenante de ces disputes.

Le taux d'ouverture e-mail a cessé d'être une mesure en 2021

Celui-là n'est pas un jugement, c'est un mécanisme. Apple a annoncé Mail Privacy Protection le 7 juin 2021, en le décrivant comme une fonctionnalité qui "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." Mail va chercher le pixel de tracking que le destinataire lise quelque chose ou non. La métrique n'est pas devenue moins importante, elle est devenue en partie fictive, et aucun soin apporté dans ton outil e-mail ne renverse ça. Le taux d'ouverture ne survit que comme comparaison intra-expérience sur un segment non affecté, et meurt comme KPI rapporté.

Le taux de rebond et le taux d'engagement sont un risque de définition, pas de la vanity

Google Analytics 4 définit une session avec engagement comme une session qui "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", définit le taux d'engagement comme la part des sessions qui remplissent ce critère, et définit le taux de rebond comme "the percentage of sessions that were not engaged." Chacun de ces seuils est un choix de conception. Ajoute une deuxième étape à un flux d'onboarding et ton taux de rebond s'améliore sans qu'un seul visiteur soit mieux servi. Le chiffre n'est pas vaniteux, il est sensible à une définition que tu peux déplacer par accident, ce qui est un échec différent et demande une garde différente : gèle la définition, versionne-la, et annote le graphique le jour où elle change. Notre décryptage de la façon dont le taux d'engagement est calculé montre où les seuils mordent.

Le temps moyen sur la page a le même problème pour une raison structurelle plutôt qu'une question de seuil, puisque l'horloge dépend d'un événement suivant qui n'arrive jamais sur la dernière page d'une visite. Nous avons déroulé le calcul dans pourquoi la métrique de temps sur la page est bancale.

Comment transformer une vanity metric en métrique actionnable ?

Quatre gestes couvrent presque tous les cas, et ce sont les quatre mêmes vers lesquels Ries s'est tourné en 2009.

• Mets-la en cohortes. Remplace "total d'utilisateurs" par "utilisateurs inscrits en semaine N, toujours actifs en semaine N+4". Le total devient une courbe, et les courbes peuvent baisser.
• Segmente-la. Un agrégat qui mélange payant, organique et direct cache la seule chose sur laquelle tu peux agir. Découper le trafic par source fait généralement la différence entre un chiffre que tu regardes et un chiffre contre lequel tu dépenses, ce qui est tout l'intérêt d'attribuer le revenu à chaque canal.
• Passe-la en ratio. Les comptes absolus grandissent avec la dépense. Les taux non. Les inscriptions pour mille sessions survivent à un pic de trafic ; les inscriptions non.
• Apparie-la à une contre-métrique. Chaque chiffre sur lequel tu pousses devrait avoir un partenaire qui empire si tu pousses malhonnêtement. Le taux de conversion s'apparie au taux de remboursement. La durée de session s'apparie au taux d'achèvement des tâches. La vélocité s'apparie au taux de défauts.

Quand une prétendue vanity metric est-elle la bonne métrique ?

Quand c'est la chose que tu vends, quand tu l'achètes à un prix connu, ou quand c'est le seul indicateur avancé disponible pour quelque chose qui met un trimestre à se voir dans le revenu. Les campagnes de notoriété en sont l'exemple honnête. Les impressions et le volume de recherche de marque précèdent réellement le revenu qu'elles finissent par causer, et exiger d'elles une attribution dans la semaine produit de moins bonnes décisions qu'accepter un chiffre mou avec un décalage annoncé.

Le mode d'échec à éviter n'est pas de rapporter une métrique molle. C'est de rapporter une métrique molle sans la décision attachée, où elle existe pour être montrée plutôt que pour être utilisée.

Questions fréquentes

Les likes et les abonnés sont-ils toujours des vanity metrics ?

Non. Ils sont vanity quand rien dans ton plan ne change à aucune de leurs valeurs, ce qui est le cas courant pour un produit B2B à cycle de vente long. Ils sont utiles à la décision quand tu peux les tracer en avant jusqu'à du pipeline attribué, ou quand ton business est littéralement payé pour de la portée.

Quelle est la différence entre une vanity metric et un indicateur retardé ?

Un indicateur retardé rapporte un résultat réel en retard. Une vanity metric rapporte quelque chose qui ne changerait pas ton comportement à aucune valeur, tôt ou tard. Le revenu est retardé et utile ; le total d'utilisateurs inscrits est précoce et inutile.

Le revenu est-il parfois une vanity metric ?

Le revenu brut peut l'être, quand il est rapporté seul. Une entreprise peut faire croître son revenu chaque mois pendant que la rétention s'effondre, parce que la nouvelle acquisition dépasse la fuite. Apparié à la rétention nette du revenu, il arrête de flatter et se met à informer.

Pourquoi le taux d'ouverture e-mail est-il encore sur les dashboards ?

Parce que le pixel se déclenche encore et que l'outil rapporte encore un pourcentage. Mail Privacy Protection d'Apple charge ce pixel à la place du lecteur, donc une large part des ouvertures enregistrées correspond à personne qui ne regarde rien. Le chiffre est encore produit, ce qui n'est pas la même chose qu'être encore mesuré.

Combien de métriques une équipe devrait-elle vraiment suivre ?

Assez peu pour que chacune ait une décision nommée et un seuil nommé écrits à côté. Le compte importe moins que la règle : si tu ne peux pas dire ce que tu ferais différemment à une autre valeur, ça n'a pas sa place sur le dashboard.

Qui a inventé le terme vanity metrics ?

Eric Ries l'a popularisé en 2009, en définissant la catégorie comme les chiffres qui font du bien sans offrir d'indication claire sur quoi faire, et en proposant les split-tests, les vues par client, l'analyse de cohortes et la segmentation par mot-clé comme remplacements.

Les pages vues sont-elles toujours une vanity metric ?

Cela dépend du modèle économique, pas du chiffre lui-même. Pour un éditeur, les pages vues sont l'unité vendue aux annonceurs, les traiter comme de la vanity serait une erreur. Pour un SaaS qui vend des sièges, un pic de pages vues ne dit rien tant qu'on ignore s'il vient d'acheteurs, d'un fil Hacker News ou d'un scraper.

Pourquoi les totaux cumulés ne peuvent-ils pas révéler un problème ?

Des totaux comme le nombre d'utilisateurs inscrits ou de téléchargements ne peuvent que monter, ils sont donc incapables de signaler un mauvais mois même s'il survient. Ries visait précisément cette forme, parce qu'un chiffre qui ne peut pas baisser ne peut informer aucune décision. La solution consiste à convertir le total en taux par cohorte, pour qu'une baisse ait un endroit où apparaître.

Avec quoi faut-il associer une métrique suspectée de vanity pour la rendre utile ?

Avec un contre-indicateur qui se dégrade si on pousse le chiffre principal de façon malhonnête. Le taux de conversion s'associe au taux de remboursement, la durée de session à l'achèvement des tâches, la vélocité au taux de défauts. Sans ce partenaire, toute métrique capable de monter pendant un effondrement finira par servir à le masquer.

Le NPS est-il une vanity metric ?

Pris seul, le NPS est un score unique et retardé, basé sur un petit échantillon avec beaucoup d'arrondi, qui cache plus qu'il ne montre. Il devient utile dès qu'on arrête de lire le chiffre pour lire à la place les commentaires verbatim qui se cachent derrière.