O teste que separa métricas de vaidade das úteis para decidir

O que torna uma métrica uma métrica de vaidade?

Nada na lista habitual de métricas de vaidade é vaidoso por natureza, e um número só ganha o rótulo quando nenhum valor plausível dele mudaria o que você faz em seguida. É esse o teste inteiro. É uma propriedade da decisão, não da métrica, e por isso o mesmo número pode ser insumo operacional sério em uma empresa e enfeite em outra.

O enquadramento popular inverte isso. "Curtidas são vaidade, receita é real" soa decisivo e não explica nada: um time de growth que compra atenção e vende atenção consegue agir sobre curtidas, e um fundador que lê receita bruta sem retenção está sendo bajulado por um número com cifrão na frente.

De onde vem o termo métricas de vaidade?

Eric Ries popularizou o termo em um post convidado publicado em 19 de maio de 2009, argumentando que alguns números "make you feel good, but they don't offer clear guidance for what to do." Seus exemplos eram cumulativos e agregados: bilhões de mensagens enviadas, dez mil hits, total de pageviews, total de usuários cadastrados.

As substituições que ele propôs eram todas sobre estrutura e não sobre qual métrica escolher. Testes A/B produzem os resultados mais acionáveis, porque a comparação já está embutida. Visões por cliente e por segmento ganham dos agregados. Análise de coorte acompanha grupos ao longo do tempo em vez de despejar todo usuário em um balde só. E o tráfego pode ser segmentado pela palavra-chave que trouxe ele, de modo que aquisição e comportamento continuem conectados. A frase de fechamento dele era que métricas também são pessoas, que é a parte que a maioria dos times pula.

Note o que ele não fez: não publicou uma lista de proibidos. Cada uma das correções dele pega um número supostamente vaidoso e corta ele em um formato capaz de carregar uma decisão.

O teste de três partes

Aplique na ordem, e escreva as respostas antes de abrir o dashboard.

1. Nomeie a decisão. Que coisa específica muda dependendo desse número? "Moveríamos orçamento de X para Y" é decisão. "Saberíamos como estamos indo" não é.
2. Nomeie o limiar de antemão. Em que valor você age, e em qual direção? Se você não consegue se comprometer com um número antes de ver o número, vai racionalizar o que quer que apareça.
3. Pergunte se ele pode subir enquanto o negócio afunda. Toda métrica que consegue subir durante um colapso precisa de uma contramétrica pareada, ou vai acabar sendo usada para esconder o colapso.

Uma métrica que falha nas três é vaidade. Uma métrica que falha só na terceira não é vaidade, é incompleta, e a correção é parear em vez de apagar.

O que o teste de três partes decide

Falha nas três

• Nenhuma decisão nomeada
• Nenhum limite definido
• Nenhum contraindicador necessário, porque nada está em jogo

Falha só na terceira pergunta

• Decisão e limite existem
• Pode subir enquanto o negócio cai
• Não é vaidade, só está incompleta, precisa de um contraindicador

Passa nas três

• Nomeia a decisão
• Nomeia o limite
• Pareada contra um colapso que, de outro modo, poderia esconder

Quais métricas são chamadas de vaidade, e qual é o argumento de cada lado?

Métrica	O argumento para chamar de vaidade	A condição que torna ela útil para decidir
Usuários cadastrados acumulados	Monotônica por construção, não pode cair, então nunca sinaliza problema	Nunca na forma acumulada; divida em coortes e vira retenção
Pageviews	Nenhuma relação com dinheiro em um negócio de assinatura	É a unidade literalmente vendida em mídia financiada por anúncio
Seguidores em redes sociais	O alcance é estrangulado por um algoritmo que você não controla	Você consegue rastrear seguidores até um canal com receita atribuída
Impressões	Definidas pela plataforma, redefinidas sem aviso, não verificáveis por você	Você está comprando elas, e o preço é por impressão
Downloads de app	Conta intenção, não uso; instalar e apagar é invisível	Pareada com ativação em 7 ou 30 dias da mesma coorte
Taxa de abertura de e-mail	Inflada por máquina desde 2021; o destinatário pode nunca ter olhado	Comparando duas variantes dentro do mesmo segmento intocado
Duração média de sessão	Contaminada por como a última página é cronometrada e por abas ociosas	Segmentada por template, em páginas onde o tempo de permanência é o produto
Taxa de rejeição	A definição mudou por baixo do nome, então a tendência é artefato	Um template, uma fonte de tráfego, uma definição, comparada consigo mesma
NPS	Uma nota isolada e atrasada, amostras pequenas, arredondamento pesado	Lida como os comentários por trás da nota, não como a nota
Receita bruta	Sobe enquanto o churn sobe, se a aquisição correr mais que o vazamento	Reportada ao lado da retenção líquida de receita, nunca sozinha

Quatro delas merecem detalhamento, porque o argumento não é o óbvio.

Totais cumulativos são o único formato que é vaidade por construção

"Total de usuários já cadastrados" não pode cair. Nem total de cadastros, nem total de downloads, nem total de posts publicados. Um número matematicamente incapaz de entregar má notícia não consegue informar uma decisão, não importa o que ele conte. Esse é o único caso em que o rótulo é justo sem saber nada do seu negócio. O conserto é sempre o mesmo: converter o total em uma taxa sobre uma coorte, para que um mês ruim possa parecer um mês ruim.

Pageviews são folha de pagamento para um veículo de mídia e ruído para um SaaS

A mesma métrica troca de lado por completo dependendo do modelo de negócio. Se você vende impressões, pageviews são receita com uma conversão de um passo, e tratar elas como vaidade é erro grosseiro. Se você vende assentos, um pico de pageviews não diz nada até você saber se veio de compradores, de uma thread no Hacker News ou de um scraper. Antes de discutir, garanta que todo mundo esteja contando a mesma coisa; as diferenças entre pageviews, sessões e usuários explicam uma parcela surpreendente dessas brigas.

A taxa de abertura de e-mail deixou de ser uma medição em 2021

Essa não é questão de julgamento, é mecanismo. A Apple anunciou o Mail Privacy Protection em 7 de junho de 2021, descrevendo como um recurso que "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." O Mail busca o pixel de rastreamento independentemente de o destinatário ler qualquer coisa. A métrica não ficou menos importante, ficou parcialmente fictícia, e nenhum cuidado na sua ferramenta de e-mail reverte isso. A taxa de abertura sobrevive só como comparação dentro de um experimento em um segmento não afetado, e morre como KPI reportado.

Taxa de rejeição e taxa de engajamento são risco de definição, não vaidade

O Google Analytics 4 define sessão engajada como aquela que "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", define taxa de engajamento como a parcela de sessões que se qualificam e define taxa de rejeição como "the percentage of sessions that were not engaged." Cada um desses limiares é uma escolha de projeto. Adicione um segundo passo a um fluxo de onboarding e sua taxa de rejeição melhora sem um único visitante ser melhor atendido. O número não é vaidoso, é sensível a uma definição que você pode mover sem querer, o que é outra falha e pede outra proteção: congele a definição, versione ela e anote o gráfico no dia em que ela mudar. Nossa análise de como a taxa de engajamento é calculada mostra onde os limiares apertam.

O tempo médio na página tem o mesmo problema por uma razão estrutural em vez de um limiar, já que o relógio depende de um evento seguinte que nunca chega na última página de uma visita. Fizemos a aritmética em por que a métrica de tempo na página é falha.

Como converter uma métrica de vaidade em uma acionável?

Quatro movimentos cobrem quase todo caso, e são os mesmos quatro a que Ries recorreu em 2009.

• Coorte ela. Troque "total de usuários" por "usuários que se cadastraram na semana N e continuam ativos na semana N+4". O total vira uma curva, e curvas podem cair.
• Segmente ela. Um agregado que mistura pago, orgânico e direto esconde a única coisa sobre a qual você pode agir. Dividir o tráfego por origem costuma ser a diferença entre um número que você olha e um número contra o qual você gasta, que é o ponto de atribuir receita de volta a cada canal.
• Transforme em razão. Contagens absolutas crescem com investimento. Taxas não. Cadastros por mil sessões sobrevive a um pico de tráfego; cadastros não.
• Pareie com uma contramétrica. Todo número que você empurra deveria ter um parceiro que piora se você empurrar de forma desonesta. Taxa de conversão pareia com taxa de reembolso. Duração de sessão pareia com conclusão de tarefa. Velocidade pareia com taxa de defeitos.

Quando uma suposta métrica de vaidade é a métrica certa?

Quando ela é o que você vende, quando você está comprando ela a um preço conhecido, ou quando é o único indicador antecedente disponível para algo que leva um trimestre para aparecer na receita. Campanhas de conscientização são o exemplo honesto. Impressões e volume de busca por marca genuinamente antecedem a receita que acabam causando, e exigir atribuição na mesma semana produz decisões piores que aceitar um número mole com um atraso declarado.

O modo de falha a evitar não é reportar uma métrica mole. É reportar uma métrica mole sem a decisão anexada, onde ela existe para ser exibida em vez de usada.

Perguntas frequentes

Curtidas e seguidores são sempre métricas de vaidade?

Não. São vaidade quando nada no seu plano muda em qualquer valor delas, que é o caso comum de um produto B2B com ciclo de vendas longo. São úteis para decidir quando você consegue rastrear elas adiante até pipeline atribuído, ou quando seu negócio é literalmente pago por alcance.

Qual é a diferença entre uma métrica de vaidade e um indicador atrasado?

Um indicador atrasado reporta um resultado real com atraso. Uma métrica de vaidade reporta algo que não mudaria seu comportamento em valor nenhum, cedo ou tarde. Receita é atrasada e útil; total de usuários cadastrados é precoce e inútil.

Receita pode ser uma métrica de vaidade?

Receita bruta pode, quando é reportada sozinha. Uma empresa consegue crescer receita todo mês enquanto a retenção desaba, porque a nova aquisição corre mais que o vazamento. Pareada com retenção líquida de receita, ela para de bajular e começa a informar.

Por que a taxa de abertura de e-mail continua nos dashboards?

Porque o pixel ainda dispara e a ferramenta ainda reporta um percentual. O Mail Privacy Protection da Apple carrega esse pixel em nome do leitor, então uma parcela grande das aberturas registradas corresponde a ninguém olhando nada. O número continua sendo gerado, o que não é a mesma coisa que continuar sendo medido.

Quantas métricas um time deveria acompanhar?

Poucas o bastante para que cada uma tenha uma decisão nomeada e um limiar nomeado escritos ao lado. A quantidade importa menos que a regra: se você não consegue dizer o que faria diferente em outro valor, aquilo não pertence ao dashboard.

Quem cunhou o termo métricas de vaidade?

Eric Ries popularizou o termo em 2009, definindo a categoria como números que fazem você se sentir bem sem oferecer orientação clara sobre o que fazer, e propondo testes A/B, visões por cliente, análise de coorte e segmentação por palavra-chave como substitutos.

Pageviews são sempre uma métrica de vaidade?

Depende do modelo de negócio, não do número em si. Para um veículo de mídia, pageviews são a unidade vendida a anunciantes, então tratá-las como vaidade seria um erro. Para um SaaS que vende assentos, um pico de pageviews não diz nada até você saber se veio de compradores, de uma thread no Hacker News ou de um scraper.

Por que totais cumulativos não conseguem revelar um problema?

Totais como o número de usuários registrados ou downloads só sobem, por isso são incapazes de reportar um mês ruim mesmo quando ele acontece. Ries apontou exatamente esse formato, porque um número que não consegue cair não consegue informar nenhuma decisão. A correção é converter o total em uma taxa por coorte, para que uma queda tenha onde aparecer.

Com o que uma métrica suspeita de vaidade deve ser pareada para se tornar útil?

Com um contraindicador que piora se o número principal for forçado de forma desonesta. Taxa de conversão é pareada com taxa de reembolso, duração de sessão com conclusão de tarefas, velocidade com taxa de defeitos. Sem esse par, qualquer métrica capaz de subir durante um colapso acabará sendo usada para escondê-lo.

NPS é uma métrica de vaidade?

Sozinho, o NPS é um único escore atrasado baseado em uma amostra pequena com muito arredondamento, que esconde mais do que mostra. Ele se torna útil assim que você para de ler o número e passa a ler os comentários literais por trás dele.