Il test che distingue le metriche di vanità da quelle utili per decidere

Cosa rende una metrica una metrica di vanità?

Nessuna voce della solita lista di metriche di vanità è vana per natura, e un numero si merita l'etichetta solo quando nessun valore plausibile cambierebbe ciò che farai dopo. Il test è tutto qui. È una proprietà della decisione, non della metrica, ed è per questo che la stessa cifra può essere un dato operativo serio in un'azienda e pura decorazione in un'altra.

L'inquadramento più diffuso ribalta la questione. "I like sono vanità, il fatturato è reale" suona deciso e non spiega niente. Un team di crescita che compra attenzione e vende attenzione può agire sui like. Un fondatore che guarda il fatturato lordo senza la retention si fa lusingare da un numero con il simbolo della valuta davanti.

Da dove viene il termine metriche di vanità?

Lo ha reso popolare Eric Ries in un guest post pubblicato il 19 maggio 2009, sostenendo che alcuni numeri "ti fanno sentire bene, ma non danno indicazioni chiare su cosa fare". I suoi esempi erano tutti cumulativi e aggregati: miliardi di messaggi inviati, diecimila visite, pageview totali, utenti registrati totali.

Le alternative che proponeva riguardavano la struttura, non la scelta della singola metrica. Gli split test danno i risultati più utili da mettere in pratica, perché il confronto è già incluso. Le viste per cliente e per segmento battono gli aggregati. L'analisi per coorti segue i gruppi nel tempo invece di rovesciare tutti gli utenti in un unico calderone. E il traffico si può segmentare per parola chiave che lo ha portato, così acquisizione e comportamento restano collegati. La sua frase di sintesi era che anche le metriche sono persone, ed è la parte che la maggior parte dei team salta.

Nota cosa non ha fatto: non ha pubblicato una lista nera. Ogni sua soluzione prende un numero presunto vano e lo taglia in una forma capace di sostenere una decisione.

Il test in tre parti

Applicale in ordine e scrivi le risposte prima di aprire la dashboard.

1. Dai un nome alla decisione. Quale cosa concreta cambia in base a questo numero? "Sposteremmo budget da X a Y" è una decisione. "Capiremmo come stiamo andando" no.
2. Fissa la soglia in anticipo. A quale valore agisci, e in quale direzione? Se non riesci a impegnarti su un numero prima di vedere il numero, finirai per razionalizzare qualunque cosa compaia.
3. Chiediti se può salire mentre il business scende. Ogni metrica che può crescere durante un crollo ha bisogno di una metrica gemella di controllo, altrimenti prima o poi verrà usata per nascondere il crollo.

Una metrica che fallisce tutte e tre le domande è di vanità. Una metrica che fallisce solo la terza non è di vanità, è incompleta, e la soluzione è affiancarle un'altra metrica, non eliminarla.

Cosa decide il test in tre parti

Fallisce tutte e tre

• Nessuna decisione definita
• Nessuna soglia fissata
• Nessuna metrica di controllo necessaria, perché non c'è nulla in gioco

Fallisce solo la terza domanda

• Decisione e soglia esistono
• Può salire mentre il business scende
• Non è di vanità, solo incompleta, serve una metrica di controllo

Supera tutte e tre

• Indica la decisione
• Indica la soglia
• Affiancata a un crollo che altrimenti potrebbe nascondere

Quali metriche vengono chiamate vanity e quali sono gli argomenti delle due parti?

Metrica	Perché la si chiama vanity	La condizione che la rende utile per decidere
Utenti registrati cumulativi	Per costruzione cresce sempre, non può calare, quindi non segnala mai un problema	Mai in forma cumulativa; divisa in coorti diventa retention
Visualizzazioni di pagina	Nessun legame con il denaro in un business in abbonamento	È l'unità venduta, alla lettera, nell'editoria finanziata dalla pubblicità
Follower sui social	La portata è frenata da un algoritmo che non controlli	Puoi collegare i follower a un canale con ricavi attribuiti
Impression	Le definisce la piattaforma, le ridefinisce senza preavviso, tu non puoi verificarle	Le stai comprando, e il prezzo è a impression
Download dell'app	Conta l'intenzione, non l'uso; chi installa e poi cancella resta invisibile	Abbinati all'attivazione al giorno 7 o al giorno 30 della stessa coorte
Tasso di apertura delle email	Gonfiato dalle macchine dal 2021; il destinatario potrebbe non aver mai guardato nulla	Confronto tra due varianti dentro lo stesso segmento non toccato
Durata media della sessione	Falsata dal modo in cui si misura l'ultima pagina e dalle schede lasciate aperte	Segmentata per template, sulle pagine in cui il tempo di permanenza è il prodotto
Frequenza di rimbalzo	La definizione è cambiata sotto lo stesso nome, quindi il trend è un artefatto	Un solo template, una sola fonte di traffico, una sola definizione, confrontata con se stessa
NPS	Un solo punteggio in ritardo, campioni piccoli, molti arrotondamenti	Letto come i commenti testuali dietro il punteggio, non come il punteggio
Ricavi lordi	Salgono anche quando sale il churn, se l'acquisizione corre più veloce della perdita	Riportati accanto alla net revenue retention, mai da soli

Quattro di queste meritano un approfondimento, perché l'argomento non è quello più ovvio.

I totali cumulativi sono l'unica forma che è vanity per costruzione

"Utenti totali mai registrati" non può calare. Non possono calare nemmeno le iscrizioni totali, i download totali o i post pubblicati in totale. Un numero che è matematicamente incapace di dare cattive notizie non può informare una decisione, qualunque cosa conti. È l'unico caso in cui l'etichetta è giusta senza sapere nulla del tuo business. La correzione è sempre la stessa: trasforma il totale in un tasso su una coorte, così un mese brutto può finalmente sembrare un mese brutto.

Le visualizzazioni di pagina sono lo stipendio per un editore e rumore per un SaaS

La stessa metrica cambia di segno a seconda del modello di business. Se vendi impression, le visualizzazioni di pagina sono ricavi con una conversione a un solo passaggio, e trattarle come vanity è negligenza. Se vendi licenze per utente, un picco di visualizzazioni non ti dice nulla finché non sai se arriva da potenziali clienti, da un thread su Hacker News o da uno scraper. Prima di discuterne, assicurati che tutti contino la stessa cosa; le differenze tra visualizzazioni di pagina, sessioni e utenti spiegano una parte sorprendente di queste dispute.

Il tasso di apertura delle email ha smesso di essere una misura nel 2021

Questo non è un giudizio soggettivo, è un meccanismo. Apple ha annunciato Mail Privacy Protection il 7 giugno 2021, descrivendola come una funzione che "aiuta gli utenti a impedire ai mittenti di sapere quando aprono un'email, e maschera il loro indirizzo IP in modo che non possa essere collegato ad altre attività online né usato per determinarne la posizione." Mail scarica il pixel di tracciamento a prescindere dal fatto che il destinatario legga qualcosa. La metrica non è diventata meno importante, è diventata in parte fittizia, e nessuna cura nel tuo strumento di email marketing può invertire la situazione. Il tasso di apertura sopravvive solo come confronto interno a un esperimento su un segmento non toccato, e muore come KPI da riportare.

Frequenza di rimbalzo e tasso di engagement sono un rischio di definizione, non vanity

Google Analytics 4 definisce una sessione con engagement come una che "dura più di 10 secondi, ha un evento chiave oppure ha 2 o più visualizzazioni di schermata o di pagina", definisce il tasso di engagement come la quota di sessioni che rispettano questi criteri e la frequenza di rimbalzo come "la percentuale di sessioni senza engagement". Ognuna di queste soglie è una scelta di progettazione. Aggiungi un secondo passaggio a un flusso di onboarding e la tua frequenza di rimbalzo migliora senza che un solo visitatore sia stato servito meglio. Il numero non è vano, è sensibile a una definizione che puoi spostare per sbaglio, che è un tipo di errore diverso e richiede una protezione diversa: congela la definizione, versionala e annota il grafico nel giorno in cui cambia. La nostra analisi su come si calcola il tasso di engagement mostra dove le soglie pesano di più.

Il tempo medio sulla pagina ha lo stesso problema, ma per una ragione strutturale e non di soglia, perché il cronometro dipende da un evento successivo che non arriva mai sull'ultima pagina di una visita. Abbiamo ripercorso i calcoli in perché la metrica del tempo sulla pagina è sbagliata.

Come trasformi una metrica vanity in una metrica su cui agire?

Bastano quattro mosse per quasi ogni caso, e sono le stesse quattro a cui ricorse Ries nel 2009.

• Dividila in coorti. Sostituisci "utenti totali" con "utenti iscritti nella settimana N, ancora attivi nella settimana N+4". Il totale diventa una curva, e le curve possono scendere.
• Segmentala. Un dato aggregato che mescola traffico a pagamento, organico e diretto nasconde l'unica cosa su cui puoi agire. Dividere il traffico per fonte è di solito la differenza tra un numero che guardi e un numero su cui investi, ed è il senso di attribuire i ricavi a ciascun canale.
• Trasformala in rapporto. I valori assoluti crescono con la spesa. I tassi no. Le iscrizioni ogni mille sessioni reggono a un picco di traffico; le iscrizioni no.
• Abbinala a una contrometrica. Ogni numero che spingi dovrebbe avere un partner che peggiora se spingi in modo scorretto. Il tasso di conversione si abbina al tasso di rimborso. La durata della sessione si abbina al completamento dell'attività. La velocità si abbina al tasso di difetti.

Quando una cosiddetta metrica vanity è la metrica giusta?

Quando è la cosa che vendi, quando la stai comprando a un prezzo noto, o quando è l'unico indicatore anticipatore disponibile per qualcosa che impiega un trimestre a comparire nei ricavi. Le campagne di notorietà sono l'esempio onesto. Impression e volume di ricerca del marchio anticipano davvero i ricavi che alla fine causano, e pretendere da loro un'attribuzione nella stessa settimana porta a decisioni peggiori che accettare un numero morbido con un ritardo dichiarato.

L'errore da evitare non è riportare una metrica morbida. È riportarla senza la decisione collegata, quando esiste per essere mostrata e non per essere usata.

Domande frequenti

I like e i follower sono sempre metriche di vanità?

No. Sono di vanità quando il tuo piano non cambia a nessun loro valore, ed è il caso più comune per un prodotto B2B con un ciclo di vendita lungo. Diventano utili per decidere quando riesci a collegarli a una pipeline attribuita, oppure quando il tuo business viene pagato letteralmente in base alla copertura.

Che differenza c'è tra una metrica di vanità e un indicatore ritardato?

Un indicatore ritardato riporta un risultato reale, ma in ritardo. Una metrica di vanità riporta qualcosa che non cambierebbe il tuo comportamento a nessun valore, né presto né tardi. Il fatturato è ritardato e utile. Il totale degli utenti registrati arriva presto ed è inutile.

Il fatturato può essere una metrica di vanità?

Il fatturato lordo può esserlo, se lo guardi da solo. Un'azienda può far crescere il fatturato ogni mese mentre la retention crolla, perché i nuovi clienti arrivano più in fretta di quanti ne escono. Abbinato al net revenue retention smette di lusingarti e inizia a informarti.

Perché il tasso di apertura delle email è ancora nelle dashboard?

Perché il pixel scatta ancora e lo strumento continua a riportare una percentuale. La Mail Privacy Protection di Apple carica quel pixel al posto del lettore, quindi una larga parte delle aperture registrate corrisponde a nessuno che guarda qualcosa. Il numero viene ancora generato, ma questo non significa che venga ancora misurato.

Quante metriche dovrebbe monitorare un team?

Poche, abbastanza da poter scrivere accanto a ciascuna una decisione e una soglia con il loro nome. Il numero conta meno della regola. Se non sai dire cosa faresti in modo diverso a un valore diverso, quella metrica non deve stare nella dashboard.

Chi ha coniato il termine metriche di vanità?

Lo ha reso popolare Eric Ries nel 2009. Ha definito la categoria come numeri che ti fanno sentire bene senza darti indicazioni chiare su cosa fare, e ha proposto come alternative gli split test, le viste per cliente, l'analisi per coorti e la segmentazione per parola chiave.

Le visualizzazioni di pagina sono sempre una metrica di vanità?

Dipende dal modello di business, non dal numero in sé. Per un editore le visualizzazioni di pagina sono l'unità che vende agli inserzionisti, quindi trattarle come vanità è un errore. Per un SaaS basato sui posti, un picco di visualizzazioni non dice nulla finché non sai se è arrivato da potenziali acquirenti, da un thread capitato per caso su Hacker News o da uno scraper.

Perché i totali cumulativi non riescono a rivelare un problema?

Utenti totali, iscrizioni totali e download totali possono solo salire, quindi non riescono a segnalare un brutto mese nemmeno quando c'è. Ries ha indicato proprio questa forma, perché un numero incapace di scendere non può guidare nessuna decisione. La soluzione è scomporre il totale in un tasso per coorte, così un calo ha un posto dove emergere.

A cosa va abbinata una metrica a rischio vanità per diventare utile?

A una contro-metrica che peggiora se il numero principale viene spinto in modo disonesto. Il tasso di conversione si abbina al tasso di rimborso, la durata della sessione al completamento dei compiti, la velocity al tasso di difetti. Senza questo partner, qualsiasi metrica che può salire durante un crollo finirà prima o poi per nasconderne uno.

L'NPS è una metrica di vanità?

Da solo, l'NPS è un unico punteggio ritardato, costruito su un campione piccolo e con molti arrotondamenti, e nasconde più di quanto mostri. Diventa utile quando smetti di leggere il numero e leggi invece i commenti testuali che stanno dietro.