Woordenlijst

De test die vanity metrics scheidt van statistieken waar je op beslist

Taras Shynkarenko
Taras Shynkarenko
•Bijgewerkt: •8 min leestijd
De test die vanity metrics scheidt van statistieken waar je op beslistDe test die vanity metrics scheidt van statistieken waar je op beslist

TL;DR, kort antwoord

8 min leestijd

Eric Ries maakte de term in 2009 populair voor cijfers die "make you feel good, but they don't offer clear guidance for what to do." De test is niet welke statistiek het is, maar of je de beslissing die erop rust en de drempel die haar omslaat kunt benoemen voordat je naar het cijfer kijkt. Paginaweergaven zijn vanity voor een SaaS en het salaris voor een uitgever. Het openingspercentage van e-mail is sinds 2021 niet meer te meten, toen Apple mail namens de lezer begon te openen. Cumulatieve totalen zijn de enige vorm die per definitie vanity is, omdat ze alleen kunnen stijgen.

Wat maakt een statistiek een vanity metric?

Niets op het gebruikelijke lijstje vanity metrics is uit zichzelf ijdel. Een cijfer verdient het label pas als geen enkele plausibele waarde ervan verandert wat je daarna doet. Dat is de hele test. Het is een eigenschap van de beslissing, niet van de statistiek, en daarom kan hetzelfde cijfer bij het ene bedrijf een serieuze sturingsinput zijn en bij het andere decoratie.

De populaire benadering draait dit om. "Likes zijn vanity, omzet is echt" klinkt stellig en verklaart niets: een groeiteam dat aandacht inkoopt en aandacht verkoopt, kan op likes handelen, en een founder die bruto-omzet leest zonder naar retentie te kijken, laat zich vleien door een cijfer met een valutateken ervoor.

Waar komt de term vanity metrics vandaan?

Eric Ries maakte de term populair in een gastartikel dat op 19 mei 2009 verscheen. Hij betoogde dat sommige cijfers "make you feel good, but they don't offer clear guidance for what to do." Zijn voorbeelden waren cumulatief en geaggregeerd: miljarden verstuurde berichten, tienduizend hits, totale paginaweergaven, totaal aantal geregistreerde gebruikers.

De vervangers die hij voorstelde, gingen allemaal over structuur, niet over welke statistiek je kiest. Split-tests leveren de meest bruikbare resultaten op, omdat de vergelijking er al in zit. Weergaven per klant en per segment verslaan aggregaten. Cohortanalyse volgt groepen in de tijd in plaats van alle gebruikers in één bak te gooien. En verkeer kun je segmenteren op het zoekwoord dat het bracht, zodat acquisitie en gedrag met elkaar verbonden blijven. Zijn samenvatting was dat statistieken ook mensen zijn, en dat is het deel dat de meeste teams overslaan.

Let op wat hij niet deed: hij publiceerde geen zwarte lijst. Elk van zijn oplossingen neemt een zogenaamd ijdel cijfer en knipt het in een vorm die een beslissing kan dragen.

De test in drie delen

Pas ze in deze volgorde toe en schrijf de antwoorden op voordat je het dashboard opent.

  1. Benoem de beslissing. Wat verandert er precies afhankelijk van dit cijfer? "We zouden budget verschuiven van X naar Y" is een beslissing. "We zouden weten hoe we ervoor staan" is dat niet.
  2. Benoem vooraf de drempel. Bij welke waarde handel je, en in welke richting? Kun je je niet vastleggen op een cijfer voordat je het cijfer ziet, dan ga je wat er ook verschijnt achteraf goedpraten.
  3. Vraag je af of het kan stijgen terwijl het bedrijf daalt. Elke statistiek die kan stijgen tijdens een ineenstorting heeft een tegenstatistiek nodig, anders wordt ze uiteindelijk gebruikt om die ineenstorting te verbergen.

Een statistiek die op alle drie zakt, is vanity. Een statistiek die alleen op de derde zakt, is geen vanity maar onvolledig, en de oplossing is dan koppelen, niet schrappen.

Een team bekijkt samen een dashboard met statistieken en weegt af welke cijfers hun volgende beslissing echt sturen.

Wat de test in drie delen beslist
Zakt op alle drie
  • Geen beslissing benoemd
  • Geen drempel vastgelegd
  • Geen tegenstatistiek nodig, want er staat niets op het spel
Zakt alleen op de derde vraag
  • Beslissing en drempel bestaan
  • Kan stijgen terwijl het bedrijf daalt
  • Geen vanity, alleen onvolledig, heeft een tegenstatistiek nodig
Slaagt voor alle drie
  • Benoemt de beslissing
  • Benoemt de drempel
  • Gekoppeld aan een ineenstorting die ze anders zou verbergen
Dezelfde drie vragen delen een statistiek in als vanity, onvolledig of bruikbaar voor beslissingen.

Welke statistieken worden vanity genoemd, en wat zijn de argumenten aan beide kanten?

StatistiekHet argument om het vanity te noemenDe voorwaarde die het bruikbaar maakt voor beslissingen
Cumulatief aantal geregistreerde gebruikersPer definitie stijgend, kan niet dalen, dus signaleert nooit een probleemNooit in cumulatieve vorm; splits het in cohorten en het wordt retentie
PaginaweergavenGeen verband met geld in een abonnementsmodelHet is letterlijk de eenheid die je verkoopt bij uitgeverijen die op advertenties draaien
Volgers op socialBereik wordt geknepen door een algoritme dat je niet beheerstJe kunt volgers herleiden naar een kanaal met toegeschreven omzet
ImpressiesDoor het platform bepaald, zonder aankondiging aangepast, niet door jou te controlerenJe koopt ze in, en de prijs is per impressie
App-downloadsTelt intentie, geen gebruik; installeren en weer verwijderen blijft onzichtbaarGekoppeld aan activatie na 7 of 30 dagen uit hetzelfde cohort
Openingspercentage van e-mailSinds 2021 door machines opgeblazen; de ontvanger heeft misschien nooit gekekenTwee varianten vergelijken binnen hetzelfde onaangetaste segment
Gemiddelde sessieduurVervuild door hoe de laatste pagina wordt getimed en door inactieve tabbladenUitgesplitst per template, op pagina's waar verblijfsduur het product is
BouncepercentageDe definitie veranderde onder dezelfde naam, dus de trend is een artefactEén template, één verkeersbron, één definitie, vergeleken met zichzelf
NPSEén achterlopende score, kleine steekproeven, flink afgerondLees de letterlijke opmerkingen achter de score, niet de score
Bruto-omzetStijgt terwijl churn stijgt, als acquisitie het lek voorblijftGerapporteerd naast netto-omzetretentie, nooit alleen

Vier hiervan verdienen extra uitleg, omdat het argument niet het voor de hand liggende is.

Cumulatieve totalen zijn de enige vorm die per definitie vanity is

"Totaal aantal gebruikers dat zich ooit registreerde" kan niet dalen. Totaal aantal aanmeldingen, totaal aantal downloads en totaal aantal gepubliceerde posts evenmin. Een cijfer dat wiskundig niet in staat is slecht nieuws te brengen, kan geen beslissing sturen, wat het ook telt. Dit is het enige geval waarin het label terecht is zonder iets van je bedrijf te weten. De reparatie is altijd dezelfde: zet het totaal om in een ratio over een cohort, zodat een slechte maand eruit mag zien als een slechte maand.

Paginaweergaven zijn het salaris van een uitgever en ruis voor een SaaS

Dezelfde statistiek wisselt volledig van kant, afhankelijk van het verdienmodel. Verkoop je impressies, dan zijn paginaweergaven omzet met één conversiestap, en ze als vanity behandelen is een beroepsfout. Verkoop je seats, dan zegt een piek in paginaweergaven niets totdat je weet of die van kopers kwam, van een draad op Hacker News of van een scraper. Zorg voordat je erover discussieert dat iedereen hetzelfde telt; de verschillen tussen paginaweergaven, sessies en gebruikers verklaren een verrassend groot deel van deze discussies.

Iemand werpt een blik op een e-mailmelding op een telefoon, het soort opening dat een trackingpixel niet meer kan bevestigen.

Het openingspercentage van e-mail is sinds 2021 geen meting meer

Dit is geen kwestie van oordeel, het is een mechanisme. Apple kondigde Mail Privacy Protection aan op 7 juni 2021 en omschreef het als een functie die "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." Mail haalt de trackingpixel op, of de ontvanger nu iets leest of niet. De statistiek werd niet minder belangrijk, ze werd deels fictief, en geen enkele zorgvuldigheid in je e-mailtool draait dat terug. Het openingspercentage overleeft alleen als vergelijking binnen een experiment op een segment dat niet getroffen is, en sterft als gerapporteerde KPI.

Bouncepercentage en engagementpercentage zijn een definitierisico, geen vanity

Google Analytics 4 definieert een engaged session als een sessie die "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", definieert het engagementpercentage als het aandeel sessies dat daaraan voldoet, en definieert het bouncepercentage als "the percentage of sessions that were not engaged." Elk van die drempels is een ontwerpkeuze. Voeg een tweede stap toe aan een onboardingflow en je bouncepercentage verbetert zonder dat één bezoeker beter wordt geholpen. Het cijfer is niet ijdel, het is gevoelig voor een definitie die je per ongeluk kunt verschuiven. Dat is een ander soort falen en vraagt om een andere bescherming: bevries de definitie, geef haar een versie en zet een notitie in de grafiek op de dag dat ze verandert. Onze uitleg over hoe het engagementpercentage wordt berekend laat zien waar de drempels knellen.

De gemiddelde tijd op een pagina heeft hetzelfde probleem, maar om een structurele reden in plaats van een drempel: de klok hangt af van een volgend event dat op de laatste pagina van een bezoek nooit komt. We hebben de rekensom uitgewerkt in waarom de statistiek tijd op pagina gebrekkig is.

Flowsery
Flowsery

Start je gratis proefperiode van 14 dagen

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Hoe maak je van een vanity metric een bruikbare statistiek?

Vier zetten dekken bijna elk geval, en het zijn dezelfde vier waar Ries in 2009 naar greep.

  • Maak er een cohort van. Vervang "totaal aantal gebruikers" door "gebruikers die zich in week N aanmeldden en in week N+4 nog actief zijn". Het totaal wordt een curve, en curves kunnen dalen.
  • Segmenteer het. Een aggregaat dat betaald, organisch en direct verkeer mengt, verbergt het enige waarop je kunt handelen. Verkeer opsplitsen naar bron is meestal het verschil tussen een cijfer waar je naar kijkt en een cijfer waarop je geld uitgeeft, en dat is precies het punt van omzet terugkoppelen aan elk kanaal.
  • Maak er een ratio van. Absolute aantallen groeien mee met uitgaven. Ratio's niet. Aanmeldingen per duizend sessies overleven een verkeerspiek; het aantal aanmeldingen niet.
  • Koppel het aan een tegenstatistiek. Elk cijfer waar je op stuurt, heeft een partner nodig die slechter wordt als je oneerlijk stuurt. Conversieratio hoort bij het percentage terugbetalingen. Sessieduur hoort bij taakvoltooiing. Snelheid hoort bij het aantal defecten.

Wanneer is een zogenaamde vanity metric de juiste statistiek?

Als het is wat je verkoopt, als je het tegen een bekende prijs inkoopt, of als het de enige voorlopende indicator is voor iets dat een kwartaal nodig heeft om in de omzet te verschijnen. Bekendheidscampagnes zijn het eerlijke voorbeeld. Impressies en het zoekvolume op je merknaam lopen echt voor op de omzet die ze uiteindelijk opleveren, en attributie in dezelfde week van ze eisen leidt tot slechtere beslissingen dan een zacht cijfer accepteren met een vertraging die je benoemt.

Wat je moet vermijden, is niet het rapporteren van een zachte statistiek. Het is een zachte statistiek rapporteren zonder de bijbehorende beslissing, zodat ze er is om te laten zien in plaats van om te gebruiken.

Veelgestelde vragen

Zijn likes en volgers altijd vanity metrics?

Nee. Ze zijn vanity als er bij geen enkele waarde iets aan je plan verandert, en dat is meestal het geval bij een B2B-product met een lange salescyclus. Ze zijn bruikbaar voor beslissingen als je ze kunt doortrekken naar toegeschreven pipeline, of als je bedrijf letterlijk betaald wordt voor bereik.

Wat is het verschil tussen een vanity metric en een achterlopende indicator?

Een achterlopende indicator rapporteert een echte uitkomst, maar laat. Een vanity metric rapporteert iets dat bij geen enkele waarde je gedrag zou veranderen, vroeg of laat. Omzet loopt achter en is nuttig; het totaal aantal geregistreerde gebruikers is vroeg en nutteloos.

Is omzet ooit een vanity metric?

Bruto-omzet kan dat zijn, als je die los rapporteert. Een bedrijf kan elke maand meer omzet maken terwijl de retentie instort, omdat nieuwe acquisitie het lek voorblijft. Gekoppeld aan netto-omzetretentie vleit het cijfer niet meer en begint het te informeren.

Waarom staat het openingspercentage van e-mail nog op dashboards?

Omdat de pixel nog steeds afgaat en de tool nog steeds een percentage rapporteert. Apple's Mail Privacy Protection laadt die pixel namens de lezer, dus een groot deel van de geregistreerde openingen komt overeen met niemand die naar iets kijkt. Het cijfer wordt nog steeds gegenereerd, maar dat is niet hetzelfde als nog steeds gemeten.

Hoeveel statistieken moet een team eigenlijk bijhouden?

Weinig genoeg om bij elk ervan een benoemde beslissing en een benoemde drempel te kunnen zetten. Het aantal doet er minder toe dan de regel: als je niet kunt zeggen wat je bij een andere waarde anders zou doen, hoort het niet op het dashboard.

Wie heeft de term vanity metrics bedacht?

Eric Ries maakte de term in 2009 populair. Hij definieerde de categorie als cijfers waar je je goed bij voelt zonder dat ze duidelijk richting geven aan wat je moet doen, en stelde split-tests, weergaven per klant, cohortanalyse en segmentatie op zoekwoord voor als vervangers.

Zijn paginaweergaven altijd een vanity metric?

Dat hangt af van het verdienmodel, niet van het cijfer zelf. Voor een uitgever zijn paginaweergaven de eenheid die aan adverteerders wordt verkocht, dus ze als vanity behandelen is een vergissing. Voor een SaaS die op seats draait, zegt een piek in paginaweergaven niets totdat je weet of die van kopers kwam, van een verdwaalde draad op Hacker News of van een scraper.

Waarom kunnen cumulatieve totalen geen probleem laten zien?

Het totaal aantal gebruikers, aanmeldingen en downloads gaat alleen maar omhoog, dus ze kunnen geen slechte maand rapporteren, ook als die er is. Ries wees specifiek op deze vorm, omdat een cijfer dat niet kan dalen geen enkele beslissing kan sturen. De oplossing is het totaal opsplitsen in een cohortratio, zodat een daling ergens zichtbaar kan worden.

Waaraan moet je een statistiek die naar vanity neigt koppelen om haar bruikbaar te maken?

Aan een tegenstatistiek die slechter wordt als het hoofdcijfer oneerlijk wordt opgedreven. Conversieratio hoort bij het percentage terugbetalingen, sessieduur bij taakvoltooiing en snelheid bij het aantal defecten. Zonder die partner wordt elke statistiek die tijdens een ineenstorting kan stijgen, uiteindelijk gebruikt om er een te verbergen.

Is NPS een vanity metric?

Op zichzelf is NPS één achterlopende score, gebaseerd op een kleine steekproef met flinke afronding, die meer verbergt dan laat zien. Het wordt nuttig zodra je stopt met het cijfer lezen en in plaats daarvan de letterlijke opmerkingen erachter leest.

Was dit artikel nuttig?

Laat ons weten wat je ervan vindt!

Zie ons vaker in Google

Met één klik markeer je Flowsery als voorkeursbron, zodat onze artikelen hoger staan in je Topverhalen, AI-modus en AI-overzichten.

Voordat je gaat...

Flowsery

Flowsery

Analytics voor je website, met omzet voorop

Volg elke bezoeker, bron en conversie in realtime. Eenvoudig, krachtig en zonder cookies.

Realtime dashboard

Doelen bijhouden

Tracking zonder cookies

Gerelateerde begrippen

Hoe webanalyse werkt, en waar het ophoudtHoe webanalyse werkt, en waar het ophoudt
Woordenlijst

Hoe webanalyse werkt, en waar het ophoudt

Een heldere definitie van webanalyse, wat een trackingscript verzamelt, de belangrijkste statistieken en hoe elk ervan verkeerd wordt gelezen, en waar productanalyse het overneemt.

•7 min leestijd
Waarom je GA4-bouncepercentage gewoon het omgekeerde engagementpercentage isWaarom je GA4-bouncepercentage gewoon het omgekeerde engagementpercentage is
Woordenlijst

Waarom je GA4-bouncepercentage gewoon het omgekeerde engagementpercentage is

Je GA4-bouncepercentage is het aandeel sessies zonder engagement. Hoe Google het definieert, hoe het verschilt van Universal Analytics en waar je het toevoegt.

•7 min leestijd
Wat het rapport over landingspagina's in GA4 telt en waar het leeg blijftWat het rapport over landingspagina's in GA4 telt en waar het leeg blijft
Woordenlijst

Wat het rapport over landingspagina's in GA4 telt en waar het leeg blijft

Het rapport over landingspagina's in GA4 toont de eerste pagina van elke sessie. Waar je het vindt, de standaardstatistieken, waarom (not set)-rijen verschijnen en hoe je de bron toevoegt.

•8 min leestijd
Hoe het bijhouden van zoekopdrachten op je site in GA4 vastlegt wat bezoekers typenHoe het bijhouden van zoekopdrachten op je site in GA4 vastlegt wat bezoekers typen
Woordenlijst

Hoe het bijhouden van zoekopdrachten op je site in GA4 vastlegt wat bezoekers typen

Stel zoekopdrachten op je site in GA4 in met enhanced measurement, voeg je eigen queryparameters toe, vind de dimensie Search term en volg zoekopdrachten zonder URL.

•8 min leestijd
Gebruikerseigenschappen in GA4 instellen en erover rapporterenGebruikerseigenschappen in GA4 instellen en erover rapporteren
Woordenlijst

Gebruikerseigenschappen in GA4 instellen en erover rapporteren

Stel gebruikerseigenschappen in GA4 in met gtag of Tag Manager, registreer ze als aangepaste dimensies op gebruikersniveau en blijf binnen de limiet van 25 eigenschappen.

•8 min leestijd
Zo koppel je Search Console aan GA4 en publiceer je de rapportenZo koppel je Search Console aan GA4 en publiceer je de rapporten
Woordenlijst

Zo koppel je Search Console aan GA4 en publiceer je de rapporten

Zo koppel je Search Console aan GA4 via Beheer, welke rollen je nodig hebt, hoe je de twee rapporten in de Bibliotheek publiceert en wat de data niet kan combineren.

•7 min leestijd

Gerelateerde artikelen