Der Test, der Vanity-Metriken von brauchbaren Zahlen trennt

Was macht eine Metrik zu einer Vanity-Metrik?

Nichts auf der üblichen Liste der Vanity-Metriken ist von sich aus eitel, und eine Zahl verdient das Etikett erst, wenn kein plausibler Wert ändern würde, was Sie als Nächstes tun. Das ist der ganze Test. Er ist eine Eigenschaft der Entscheidung, nicht der Metrik, und deshalb kann dieselbe Zahl in einem Unternehmen ein ernsthafter operativer Input und in einem anderen Dekoration sein.

Der populäre Rahmen dreht das um. "Likes sind Vanity, Umsatz ist echt" klingt entschieden und erklärt nichts: Ein Growth-Team, das Aufmerksamkeit kauft und Aufmerksamkeit verkauft, kann auf Likes reagieren, und wer den Bruttoumsatz ohne Retention liest, wird von einer Zahl mit einem Währungszeichen davor geschmeichelt.

Woher kommt der Begriff Vanity-Metriken?

Eric Ries hat ihn mit einem Gastbeitrag vom 19. Mai 2009 populär gemacht und argumentiert, dass manche Zahlen "make you feel good, but they don't offer clear guidance for what to do." Seine Beispiele waren kumulativ und aggregiert: Milliarden gesendeter Nachrichten, zehntausend Hits, Seitenaufrufe gesamt, registrierte Nutzer gesamt.

Seine vorgeschlagenen Ersatzstücke drehten sich alle um Struktur statt darum, welche Metrik Sie wählen. Split-Tests liefern die umsetzbarsten Ergebnisse, weil der Vergleich eingebaut ist. Sichten pro Kunde und pro Segment schlagen Aggregate. Die Kohortenanalyse verfolgt Gruppen über die Zeit, statt alle Nutzer in einen Topf zu gießen. Und Traffic lässt sich nach dem Keyword segmentieren, das ihn gebracht hat, sodass Akquise und Verhalten verbunden bleiben. Sein Fazit lautete, dass Metriken auch Menschen sind, und genau diesen Teil überspringen die meisten Teams.

Beachten Sie, was er nicht getan hat: Er hat keine Sperrliste veröffentlicht. Jede seiner Abhilfen nimmt eine angeblich eitle Zahl und schneidet sie in eine Form, die eine Entscheidung tragen kann.

Der dreiteilige Test

Wenden Sie diese Fragen in dieser Reihenfolge an und schreiben Sie die Antworten auf, bevor Sie das Dashboard öffnen.

1. Benennen Sie die Entscheidung. Welche konkrete Sache ändert sich abhängig von dieser Zahl? "Wir würden Budget von X nach Y verschieben" ist eine Entscheidung. "Wir wüssten, wie es uns geht" ist keine.
2. Benennen Sie die Schwelle vorab. Bei welchem Wert handeln Sie, und in welche Richtung? Wenn Sie sich vor dem Blick auf die Zahl nicht auf eine Zahl festlegen können, werden Sie rationalisieren, was auch immer erscheint.
3. Fragen Sie, ob sie steigen kann, während das Geschäft fällt. Jede Metrik, die während eines Zusammenbruchs steigen kann, braucht eine gepaarte Gegenmetrik, sonst wird sie irgendwann genutzt, um den Zusammenbruch zu verbergen.

Eine Metrik, die an allen dreien scheitert, ist Vanity. Eine Metrik, die nur an der dritten scheitert, ist keine Vanity, sie ist unvollständig, und die Abhilfe ist Paarung statt Löschung.

Was der dreiteilige Test entscheidet

Scheitert an allen drei

• Keine Entscheidung benannt
• Keine Schwelle festgelegt
• Kein Gegen-Indikator nötig, weil nichts auf dem Spiel steht

Scheitert nur an der dritten Frage

• Entscheidung und Schwelle sind vorhanden
• Kann steigen, während das Geschäft sinkt
• Nicht Vanity, nur unvollständig, braucht einen Gegen-Indikator

Besteht alle drei

• Benennt die Entscheidung
• Benennt die Schwelle
• Abgesichert gegen einen Einbruch, den sie sonst verbergen könnte

Welche Metriken gelten als Vanity, und was spricht jeweils dafür und dagegen?

Metrik	Das Argument, sie Vanity zu nennen	Die Bedingung, unter der sie eine Entscheidung trägt
Registrierte Nutzer kumuliert	Monoton von der Konstruktion her, kann nicht fallen, signalisiert also nie ein Problem	Nie in kumulativer Form; in Kohorten geschnitten wird daraus Retention
Seitenaufrufe	Kein Bezug zum Geld in einem Abo-Geschäft	Sie sind die buchstäbliche verkaufte Einheit im werbefinanzierten Publishing
Social-Follower	Die Reichweite drosselt ein Algorithmus, den Sie nicht kontrollieren	Sie können Follower zu einem Kanal mit zugeordnetem Umsatz zurückverfolgen
Impressionen	Von der Plattform definiert, ohne Vorwarnung neu definiert, von Ihnen nicht prüfbar	Sie kaufen sie, und der Preis läuft pro Impression
App-Downloads	Zählt Absicht, nicht Nutzung; installieren und löschen bleibt unsichtbar	Gepaart mit Aktivierung an Tag 7 oder Tag 30 aus derselben Kohorte
E-Mail-Öffnungsrate	Seit 2021 maschinell aufgebläht; der Empfänger hat womöglich nie hingesehen	Vergleich zweier Varianten innerhalb desselben unberührten Segments
Durchschnittliche Sitzungsdauer	Verfälscht davon, wie die letzte Seite getaktet wird, und von Tabs im Leerlauf	Nach Template segmentiert, auf Seiten, auf denen Verweildauer das Produkt ist
Absprungrate	Die Definition hat sich unter dem Namen geändert, der Trend ist also ein Artefakt	Ein Template, eine Traffic-Quelle, eine Definition, mit sich selbst verglichen
NPS	Ein einzelner nachlaufender Wert, kleine Stichproben, starke Rundung	Gelesen als die Freitextkommentare hinter dem Wert, nicht als der Wert
Bruttoumsatz	Steigt, während die Abwanderung steigt, falls die Akquise das Leck überholt	Neben der Netto-Umsatzbindung berichtet, nie allein

Vier davon lohnen die Ausführung, weil das Argument nicht das naheliegende ist.

Kumulative Summen sind die einzige Form, die von der Konstruktion her Vanity ist

"Jemals registrierte Nutzer gesamt" kann nicht fallen. Genauso wenig Anmeldungen gesamt, Downloads gesamt oder veröffentlichte Beiträge gesamt. Eine Zahl, die mathematisch unfähig ist, schlechte Nachrichten zu überbringen, kann keine Entscheidung informieren, egal was sie zählt. Das ist der eine Fall, in dem das Etikett fair ist, ohne irgendetwas über Ihr Geschäft zu wissen. Die Reparatur ist immer dieselbe: Wandeln Sie die Summe in eine Rate über eine Kohorte um, sodass ein schlechter Monat wie ein schlechter Monat aussehen darf.

Seitenaufrufe sind für einen Verlag die Gehaltsabrechnung und für ein SaaS Rauschen

Dieselbe Metrik wechselt je nach Geschäftsmodell komplett die Seite. Wenn Sie Impressionen verkaufen, sind Seitenaufrufe Umsatz mit einem einzigen Umrechnungsschritt, und sie als Vanity zu behandeln ist grob fahrlässig. Wenn Sie Lizenzen verkaufen, sagt Ihnen ein Ausschlag bei den Seitenaufrufen nichts, solange Sie nicht wissen, ob er von Käufern, von einem Hacker-News-Thread oder von einem Scraper kam. Bevor Sie darüber streiten, stellen Sie sicher, dass alle dasselbe zählen; die Unterschiede zwischen Seitenaufrufen, Sitzungen und Nutzern machen einen überraschenden Anteil dieser Streitfälle aus.

Die E-Mail-Öffnungsrate hörte 2021 auf, eine Messung zu sein

Das ist keine Ermessensfrage, das ist ein Mechanismus. Apple kündigte Mail Privacy Protection am 7. Juni 2021 an und beschrieb sie als Funktion, die "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." Mail lädt das Tracking-Pixel, ob der Empfänger etwas liest oder nicht. Die Metrik wurde nicht unwichtiger, sie wurde teilweise fiktiv, und keine Sorgfalt in Ihrem E-Mail-Tool dreht das zurück. Die Öffnungsrate überlebt nur als Vergleich innerhalb eines Experiments auf einem nicht betroffenen Segment und stirbt als berichteter KPI.

Absprungrate und Engagement-Rate sind Definitionsrisiko, nicht Vanity

Google Analytics 4 definiert eine engagierte Sitzung als eine, die "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", definiert die Engagement-Rate als den Anteil qualifizierter Sitzungen und die Absprungrate als "the percentage of sessions that were not engaged." Jede dieser Schwellen ist eine Designentscheidung. Fügen Sie einem Onboarding-Fluss einen zweiten Schritt hinzu, und Ihre Absprungrate verbessert sich, ohne dass ein einziger Besucher besser bedient wird. Die Zahl ist nicht eitel, sie ist empfindlich gegenüber einer Definition, die Sie versehentlich verschieben können, was ein anderer Fehler ist und einen anderen Schutz braucht: Definition einfrieren, versionieren und die Grafik an dem Tag annotieren, an dem sie sich ändert. Unsere Aufschlüsselung dazu, wie die Engagement-Rate berechnet wird, zeigt, wo die Schwellen beißen.

Die durchschnittliche Verweildauer auf der Seite hat dasselbe Problem aus einem strukturellen statt einem schwellenbedingten Grund, denn die Uhr hängt an einem folgenden Ereignis, das auf der letzten Seite eines Besuchs nie eintrifft. Den Rechenweg dazu sind wir durchgegangen in warum Time on Page in Google Analytics eine fehlerhafte Kennzahl ist.

Wie verwandeln Sie eine Vanity-Metrik in eine handlungsfähige?

Vier Schritte decken fast jeden Fall ab, und es sind dieselben vier, zu denen Ries 2009 gegriffen hat.

• Kohortieren Sie sie. Ersetzen Sie "Nutzer gesamt" durch "Nutzer, die sich in Woche N angemeldet haben und in Woche N+4 noch aktiv sind". Aus der Summe wird eine Kurve, und Kurven können fallen.
• Segmentieren Sie sie. Ein Aggregat, das Paid, Organic und Direct mischt, verbirgt das Einzige, worauf Sie reagieren können. Traffic nach Quelle aufzuteilen ist meist der Unterschied zwischen einer Zahl, die Sie ansehen, und einer Zahl, gegen die Sie Geld ausgeben, und genau darum geht es bei der Umsatzzuordnung nach Kanal.
• Machen Sie ein Verhältnis daraus. Absolute Zählungen wachsen mit dem Budget. Raten nicht. Anmeldungen je tausend Sitzungen überstehen einen Traffic-Ausschlag; Anmeldungen nicht.
• Paaren Sie sie mit einer Gegenmetrik. Jede Zahl, auf die Sie drücken, sollte eine Partnerin haben, die schlechter wird, wenn Sie unehrlich drücken. Conversion-Rate paart mit Rückgabequote. Sitzungsdauer paart mit Aufgabenabschluss. Velocity paart mit Fehlerrate.

Wann ist eine sogenannte Vanity-Metrik die richtige Metrik?

Wenn sie das ist, was Sie verkaufen, wenn Sie sie zu einem bekannten Preis kaufen, oder wenn sie der einzige verfügbare Frühindikator für etwas ist, das ein Quartal braucht, um im Umsatz aufzutauchen. Awareness-Kampagnen sind das ehrliche Beispiel. Impressionen und das Volumen der Markensuche laufen dem Umsatz, den sie letztlich verursachen, tatsächlich voraus, und von ihnen Attribution in derselben Woche zu verlangen, erzeugt schlechtere Entscheidungen als eine weiche Zahl mit ausgewiesenem Verzug zu akzeptieren.

Der Fehler, den Sie vermeiden wollen, ist nicht, eine weiche Metrik zu berichten. Es ist, eine weiche Metrik ohne die daran hängende Entscheidung zu berichten, wo sie existiert, um gezeigt zu werden, statt um genutzt zu werden.

Häufig gestellte Fragen

Sind Likes und Follower immer Vanity-Metriken?

Nein. Sie sind Vanity, wenn sich bei keinem ihrer Werte etwas an Ihrem Plan ändert, was bei einem B2B-Produkt mit langem Vertriebszyklus der Normalfall ist. Sie tragen eine Entscheidung, wenn Sie sie vorwärts zu zugeordneter Pipeline verfolgen können, oder wenn Ihr Geschäft buchstäblich für Reichweite bezahlt wird.

Was ist der Unterschied zwischen einer Vanity-Metrik und einem nachlaufenden Indikator?

Ein nachlaufender Indikator berichtet ein echtes Ergebnis spät. Eine Vanity-Metrik berichtet etwas, das Ihr Verhalten bei keinem Wert ändern würde, weder früh noch spät. Umsatz läuft nach und ist nützlich; registrierte Nutzer gesamt ist früh und nutzlos.

Ist Umsatz jemals eine Vanity-Metrik?

Bruttoumsatz kann es sein, wenn er allein berichtet wird. Ein Unternehmen kann den Umsatz jeden Monat steigern, während die Retention zusammenbricht, weil die Neuakquise das Leck überholt. Gepaart mit der Netto-Umsatzbindung hört er auf zu schmeicheln und fängt an zu informieren.

Warum steht die E-Mail-Öffnungsrate immer noch auf Dashboards?

Weil das Pixel weiter feuert und das Tool weiter einen Prozentsatz meldet. Apples Mail Privacy Protection lädt dieses Pixel stellvertretend für den Leser, ein großer Anteil der erfassten Öffnungen entspricht also niemandem, der irgendetwas ansieht. Die Zahl wird weiterhin erzeugt, was nicht dasselbe ist wie weiterhin gemessen.

Wie viele Metriken sollte ein Team wirklich verfolgen?

So wenige, dass neben jeder eine benannte Entscheidung und eine benannte Schwelle steht. Die Anzahl zählt weniger als die Regel: Wenn Sie nicht sagen können, was Sie bei einem anderen Wert anders machen würden, gehört sie nicht aufs Dashboard.

Wer hat den Begriff Vanity-Metriken geprägt?

Eric Ries hat ihn 2009 populär gemacht und die Kategorie als Zahlen definiert, die ein gutes Gefühl geben, ohne klare Orientierung für das weitere Vorgehen zu bieten, und schlug Split-Tests, Sichten pro Kunde, Kohortenanalyse und Keyword-Segmentierung als Ersatz vor.

Sind Seitenaufrufe immer eine Vanity-Metrik?

Das hängt vom Geschäftsmodell ab, nicht von der Zahl selbst. Für einen Verlag sind Seitenaufrufe die Einheit, die an Werbetreibende verkauft wird, sie als Vanity abzutun wäre ein Fehler. Für ein SaaS-Unternehmen, das Sitzplätze verkauft, sagt ein Anstieg der Seitenaufrufe nichts aus, solange nicht klar ist, ob er von Käufern, einem Hacker-News-Thread oder einem Scraper stammt.

Warum können kumulative Summen kein Problem zeigen?

Summen wie die Gesamtzahl registrierter Nutzer oder Downloads können nur steigen, deshalb können sie einen schlechten Monat gar nicht melden, selbst wenn er eintritt. Ries kritisierte genau diese Form, weil eine Zahl, die nicht fallen kann, keine Entscheidung informieren kann. Die Lösung ist, die Summe in eine Kohortenrate umzuwandeln, damit ein Rückgang irgendwo sichtbar wird.

Womit sollte eine vanity-verdächtige Metrik gepaart werden, um nützlich zu werden?

Mit einem Gegen-Indikator, der sich verschlechtert, wenn die Hauptzahl unehrlich hochgetrieben wird. Conversion-Rate wird mit Rückerstattungsrate gepaart, Sitzungsdauer mit abgeschlossenen Aufgaben, Velocity mit Fehlerrate. Ohne diesen Partner wird jede Metrik, die während eines Einbruchs steigen kann, irgendwann genutzt, um den Einbruch zu verbergen.

Ist NPS eine Vanity-Metrik?

Allein für sich genommen ist NPS ein einzelner nachlaufender Wert auf Basis einer kleinen Stichprobe mit starker Rundung, der mehr verbirgt als zeigt. Nützlich wird er, sobald man aufhört, die Zahl zu lesen, und stattdessen die wörtlichen Kommentare dahinter liest.