La prueba que distingue las métricas de vanidad de las útiles

¿Qué convierte a una métrica en métrica de vanidad?

Nada de la lista habitual de métricas de vanidad es vano por sí mismo, y un número se gana la etiqueta solo cuando ningún valor plausible suyo cambiaría lo que haces después. Esa es toda la prueba. Es una propiedad de la decisión, no de la métrica, y por eso la misma cifra puede ser una entrada operativa seria en una empresa y decoración en otra.

El planteamiento popular lo tiene al revés. "Los likes son vanidad, los ingresos son reales" suena contundente y no explica nada: un equipo de crecimiento que compra atención y vende atención puede actuar sobre los likes, y un fundador que lee ingresos brutos sin retención está siendo adulado por un número con un símbolo de moneda delante.

¿De dónde viene el término métricas de vanidad?

Eric Ries lo popularizó en un artículo invitado publicado el 19 de mayo de 2009, donde defendía que algunos números "make you feel good, but they don't offer clear guidance for what to do." Sus ejemplos eran acumulados y agregados: miles de millones de mensajes enviados, diez mil hits, páginas vistas totales, usuarios registrados totales.

Sus reemplazos propuestos iban de estructura y no de qué métrica eliges. Los test A/B producen los resultados más accionables, porque la comparación viene incorporada. Las vistas por cliente y por segmento ganan a los agregados. El análisis de cohortes sigue a grupos a lo largo del tiempo en vez de verter a todos los usuarios en un mismo cubo. Y el tráfico se puede segmentar por la palabra clave que lo trajo, de forma que adquisición y comportamiento sigan conectados. Su frase resumen era que las métricas también son personas, que es la parte que la mayoría de los equipos se salta.

Fíjate en lo que no hizo: no publicó una lista negra. Cada uno de sus arreglos coge un número supuestamente vano y lo corta en una forma capaz de sostener una decisión.

La prueba de tres partes

Aplícalas en orden, y escribe las respuestas antes de abrir el panel.

1. Nombra la decisión. ¿Qué cosa concreta cambia según este número? "Moveríamos presupuesto de X a Y" es una decisión. "Sabríamos cómo vamos" no lo es.
2. Nombra el umbral por adelantado. ¿A qué valor actúas, y en qué dirección? Si no puedes comprometerte con un número antes de ver el número, vas a racionalizar lo que aparezca.
3. Pregúntate si puede subir mientras el negocio baja. Toda métrica que puede subir durante un derrumbe necesita una contramétrica emparejada, o acabará usándose para tapar el derrumbe.

Una métrica que falla las tres es vanidad. Una métrica que falla solo la tercera no es vanidad, está incompleta, y el arreglo es emparejarla en vez de borrarla.

Lo que decide la prueba de tres partes

Falla las tres

• No se nombra ninguna decisión
• No se fija ningún umbral
• No hace falta un contraindicador porque no hay nada en juego

Falla solo la tercera pregunta

• La decisión y el umbral existen
• Puede subir mientras el negocio cae
• No es vanidad, solo está incompleta, necesita un contraindicador

Supera las tres

• Nombra la decisión
• Nombra el umbral
• Emparejada contra un colapso que de otro modo podría ocultar

¿Qué métricas reciben la etiqueta de vanidad, y cuál es el argumento de cada lado?

Métrica	El caso para llamarla vanidad	La condición que la hace útil para decidir
Usuarios registrados acumulados	Monótona por construcción, no puede caer, así que nunca señala un problema	Nunca en forma acumulada; divídela en cohortes y se convierte en retención
Páginas vistas	Ninguna relación con el dinero en un negocio de suscripción	Es la unidad literal que se vende en un medio financiado con publicidad
Seguidores en redes	El alcance lo estrangula un algoritmo que no controlas	Puedes trazar los seguidores hasta un canal con ingresos atribuidos
Impresiones	Las define la plataforma, las redefine sin avisar, tú no puedes verificarlas	Las estás comprando, y el precio es por impresión
Descargas de app	Cuenta intención, no uso; instalar y borrar es invisible	Emparejada con activación a día 7 o día 30 de la misma cohorte
Tasa de apertura de correo	Inflada por máquinas desde 2021; puede que el destinatario nunca mirara	Comparando dos variantes dentro del mismo segmento no afectado
Duración media de sesión	Contaminada por cómo se cronometra la última página y por pestañas ociosas	Segmentada por plantilla, en páginas donde el tiempo de permanencia es el producto
Tasa de rebote	La definición cambió bajo el mismo nombre, así que la tendencia es un artefacto	Una plantilla, una fuente de tráfico, una definición, comparada consigo misma
NPS	Una única puntuación rezagada, muestras pequeñas, mucho redondeo	Leída como los comentarios literales detrás de la puntuación, no como la puntuación
Ingresos brutos	Suben mientras sube el churn, si la adquisición corre más que la fuga	Reportados junto a la retención neta de ingresos, nunca solos

Cuatro de estas merecen desarrollarse, porque el argumento no es el obvio.

Los totales acumulados son la única forma que es vanidad por construcción

"Usuarios registrados de todos los tiempos" no puede caer. Tampoco los registros totales, las descargas totales o las publicaciones totales. Un número matemáticamente incapaz de dar malas noticias no puede informar una decisión, cuente lo que cuente. Este es el único caso en el que la etiqueta es justa sin saber nada de tu negocio. La reparación es siempre la misma: convierte el total en una tasa sobre una cohorte, para que un mal mes tenga permitido parecer un mal mes.

Las páginas vistas son nómina para un medio y ruido para un SaaS

La misma métrica cambia de bando por completo según el modelo de negocio. Si vendes impresiones, las páginas vistas son ingresos con una conversión de un solo paso, y tratarlas como vanidad es negligencia. Si vendes licencias, un pico de páginas vistas no te dice nada hasta que sepas si vino de compradores, de un hilo de Hacker News o de un scraper. Antes de discutirlo, asegúrate de que todos cuentan lo mismo; las diferencias entre páginas vistas, sesiones y usuarios explican una parte sorprendente de estas disputas.

La tasa de apertura de correo dejó de ser una medición en 2021

Esta no es una cuestión de criterio, es un mecanismo. Apple anunció Mail Privacy Protection el 7 de junio de 2021, describiéndola como una función que "helps users prevent senders from knowing when they open an email, and masks their IP address so it can't be linked to other online activity or used to determine their location." Mail descarga el píxel de seguimiento lea o no lea nada el destinatario. La métrica no se volvió menos importante, se volvió parcialmente ficticia, y ningún cuidado en tu herramienta de correo revierte eso. La tasa de apertura sobrevive solo como comparación dentro de un experimento sobre un segmento no afectado, y muere como KPI reportado.

La tasa de rebote y la tasa de interacción son riesgo de definición, no vanidad

Google Analytics 4 define una sesión con interacción como aquella que "lasts longer than 10 seconds, has a key event, or has 2 or more screen or page views", define la tasa de interacción como la proporción de sesiones que cumplen eso, y define la tasa de rebote como "the percentage of sessions that were not engaged." Cada uno de esos umbrales es una decisión de diseño. Añade un segundo paso a un flujo de onboarding y tu tasa de rebote mejora sin que ni un solo visitante haya sido mejor atendido. El número no es vano, es sensible a una definición que puedes mover sin querer, que es otro fallo y necesita otra protección: congela la definición, versiónala y anota el gráfico el día que cambia. Nuestro desglose de cómo se calcula la tasa de interacción cubre dónde muerden los umbrales.

El tiempo medio en página tiene el mismo problema por una razón estructural en vez de por un umbral, ya que el reloj depende de un evento siguiente que nunca llega en la última página de una visita. Repasamos la aritmética en por qué la métrica de tiempo en página está rota.

¿Cómo conviertes una métrica de vanidad en una accionable?

Cuatro movimientos cubren casi todos los casos, y son los mismos cuatro a los que recurrió Ries en 2009.

• Cohórtala. Sustituye "usuarios totales" por "usuarios que se registraron en la semana N y siguen activos en la semana N+4". El total se vuelve una curva, y las curvas pueden caer.
• Segméntala. Un agregado que mezcla pago, orgánico y directo esconde lo único sobre lo que puedes actuar. Dividir el tráfico por fuente suele ser la diferencia entre un número que miras y un número contra el que gastas, que es el sentido de atribuir los ingresos a cada canal.
• Conviértela en ratio. Los recuentos absolutos crecen con el gasto. Las tasas no. Los registros por cada mil sesiones sobreviven a un pico de tráfico; los registros no.
• Empárejala con una contramétrica. Todo número que empujes debería tener un compañero que empeore si empujas de forma deshonesta. La tasa de conversión se empareja con la tasa de devoluciones. La duración de sesión con la finalización de la tarea. La velocidad con la tasa de defectos.

¿Cuándo es la métrica correcta una supuesta métrica de vanidad?

Cuando es lo que vendes, cuando la estás comprando a un precio conocido, o cuando es el único indicador adelantado disponible para algo que tarda un trimestre en aparecer en los ingresos. Las campañas de notoriedad son el ejemplo honesto. Las impresiones y el volumen de búsqueda de marca anticipan de verdad los ingresos que acaban causando, y exigirles atribución en la misma semana produce peores decisiones que aceptar un número blando con un retraso declarado.

El fallo que hay que evitar no es reportar una métrica blanda. Es reportar una métrica blanda sin la decisión adjunta, donde existe para ser enseñada en vez de para ser usada.

Preguntas frecuentes

¿Son los likes y los seguidores siempre métricas de vanidad?

No. Son vanidad cuando nada de tu plan cambia con ningún valor suyo, que es el caso común de un producto B2B con un ciclo de venta largo. Son útiles para decidir cuando puedes trazarlos hacia adelante hasta pipeline atribuido, o cuando tu negocio cobra literalmente por alcance.

¿Cuál es la diferencia entre una métrica de vanidad y un indicador rezagado?

Un indicador rezagado reporta tarde un resultado real. Una métrica de vanidad reporta algo que no cambiaría tu comportamiento con ningún valor, pronto o tarde. Los ingresos son rezagados y útiles; los usuarios registrados totales son tempranos e inútiles.

¿Son los ingresos alguna vez una métrica de vanidad?

Los ingresos brutos pueden serlo, cuando se reportan solos. Una empresa puede crecer en ingresos cada mes mientras la retención se derrumba, porque la adquisición nueva corre más que la fuga. Emparejados con la retención neta de ingresos dejan de adular y empiezan a informar.

¿Por qué sigue la tasa de apertura de correo en los paneles?

Porque el píxel sigue disparándose y la herramienta sigue reportando un porcentaje. Mail Privacy Protection de Apple carga ese píxel en nombre del lector, así que una parte grande de las aperturas registradas no corresponde a nadie mirando nada. El número se sigue generando, que no es lo mismo que seguir midiéndose.

¿Cuántas métricas debería seguir un equipo?

Las suficientemente pocas como para que cada una tenga al lado una decisión con nombre y un umbral con nombre. El número importa menos que la regla: si no puedes decir qué harías distinto con otro valor, no pertenece al panel.

¿Quién acuñó el término métricas de vanidad?

Eric Ries lo popularizó en 2009, definiendo la categoría como números que te hacen sentir bien sin ofrecer una guía clara de qué hacer, y proponiendo test A/B, vistas por cliente, análisis de cohortes y segmentación por palabra clave como reemplazos.

¿Las páginas vistas son siempre una métrica de vanidad?

Depende del modelo de negocio, no del número en sí. Para un medio de comunicación, las páginas vistas son la unidad que se vende a los anunciantes, así que tratarlas como vanidad sería un error. Para un SaaS que vende asientos, un pico de páginas vistas no dice nada hasta que sabes si vino de compradores, de un hilo de Hacker News o de un scraper.

¿Por qué los totales acumulados no pueden revelar un problema?

Totales como el número de usuarios registrados o de descargas solo pueden subir, así que son incapaces de reportar un mal mes aunque ocurra. Ries señaló justo esta forma porque un número que no puede caer no puede informar ninguna decisión. La solución es convertir el total en una tasa por cohorte, para que una caída tenga dónde aparecer.

¿Con qué debe emparejarse una métrica sospechosa de vanidad para volverse útil?

Con un contraindicador que empeore si se fuerza el número principal de forma deshonesta. La tasa de conversión se empareja con la tasa de reembolso, la duración de sesión con la finalización de tareas, la velocidad con la tasa de defectos. Sin ese par, cualquier métrica que pueda subir durante un colapso terminará usándose para ocultarlo.

¿El NPS es una métrica de vanidad?

Por sí solo, el NPS es una sola puntuación rezagada basada en una muestra pequeña con mucho redondeo, que oculta más de lo que muestra. Se vuelve útil en cuanto dejas de leer el número y lees en cambio los comentarios textuales detrás de él.