Метрики, которые обманывают: тщеславные цифры и закон Гудхарта

Тщеславные метрики приятно видеть, но они не ведут ни к какому решению. Закон Гудхарта: когда мера становится целью, она перестаёт быть хорошей мерой.

Числа убеждают сильнее слов

Цифры выглядят как факты. Они кажутся честнее, чем мнения, и поэтому им верят. Беда не в том, что числа лгут, а в том, что они отвечают на вопрос, который вы не задавали. «Просмотров стало вдвое больше» правда, только непонятно, что с этим делать. Этот урок учит четырём привычкам: проверять, ведёт ли число к решению, помнить закон Гудхарта, смотреть на группы и не верить единицам.

Тщеславные и рабочие метрики

Американский предприниматель Эрик Райс в книге «Бережливый стартап» (The Lean Startup, 2011) разделил метрики на два вида. Тщеславные (vanity) приятно видеть, они только растут и ни к какому решению не ведут: общее число просмотров, подписчиков за всё время, лайков. Действенные (actionable) показывают связь «действие → результат», так что по ним можно понять, что сработало. К этому добавляют простой тест, и он остаётся лучшим:

Если это число изменится вдвое, что я сделаю иначе?

Если ответа нет, число украшает отчёт. Примеры:

• Просмотры страниц за месяц. Выросли вдвое? Непонятно: пришли нужные люди или случайные, нашли они то, что искали, или нет. Тщеславная.
• Подписчики канала за всё время. В них входят давно ушедшие. Тщеславная.
• Доля посетителей из поиска, дошедших до формы. Если она упала, вы пойдёте переписывать страницу для людей из поиска. Рабочая.
• Заявки с рабочим телефоном от нужного сегмента. Если их стало меньше, вы пойдёте разбираться с формой и с источниками. Рабочая.

Чем отличаются рабочие? Чаще всего они долей или считаются на что-то (на посетителя, на источник, на сегмент), имеют знаменатель и период и привязаны к решению. Тщеславные метрики обычно «голые числа» без знаменателя и без решения.

Закон Гудхарта

Британский экономист Чарльз Гудхарт сформулировал в 1975 году, анализируя денежную политику, наблюдение, которое сегодня применяют к любым показателям. В короткой формулировке антрополога Мэрилин Стратерн (1997) оно звучит так: когда мера становится целью, она перестаёт быть хорошей мерой. Близкое наблюдение сделал Дональд Кэмпбелл.

Как это выглядит на сайте. Допустим, вы выбрали главной метрикой «число заявок» (так мы выбирали North Star в уроке о росте, и там предупреждали об этом) и начали награждать за её рост: премией, гордостью, графиком на стене. Что произойдёт? Заявок станет больше, потому что проще всего растить число, убрав из формы поля, добавив всплывающее окно или пообещав подарок за телефон. А полезных заявок станет не больше, а меньше: придут «лишь бы оставили телефон» и спам. Метрика, которая хорошо измеряла пользу, когда на неё не давили, перестала её измерять.

Другие примеры:

• CTR (доля кликов) растёт от интригующего заголовка, а польза для читателя падает.
• Время на сайте растёт, если запутать навигацию.
• Число отзывов растёт, если за них платить, и перестаёт что-либо значить.
• Скорость ответа растёт, если отвечать «принято», вместо того чтобы решать задачу.

Что делать.

1. Ставьте рядом метрику качества: «заявок» плюс «заявок, дошедших до разговора». Если первая растёт, а вторая падает, вы подгоняете число.
2. Не награждайте за одно число. Награда запускает подгонку.
3. Перепроверяйте связь между числом и тем, что вы хотите, раз в квартал.
4. Меняйте метрику, когда она перестала описывать пользу. Метрики не священны.

Откройте схему. В первой вкладке можно «давить» на число заявок и смотреть, что происходит с настоящими заявками. Формулы упрощены: это иллюстрация закона, а не измерение.

Цель стала мишенью Среднее и состав

Давление на «число заявок»: 0%

Заявок в месяц	100
Доля настоящих заявок	60%
Настоящих заявок	60

Без давления: 100 заявок, из них 60 настоящие.

Формулы упрощены: давление растит число заявок и снижает долю настоящих. Числа выдуманы, а смысл не выдуман: показатель, за который награждают, начинают улучшать любыми способами.

Другие ловушки

Смешение групп (парадокс Симпсона). Во второй вкладке схемы в каждой группе конверсия выросла, а в целом упала. Причина в составе: на второй неделе пришло больше людей с телефона, где конверсия ниже. Общее среднее смешивает группы, и когда состав меняется, оно может говорить обратное тому, что происходит внутри каждой. Поэтому важные показатели смотрят по группам: по устройствам, источникам, новым и вернувшимся.

Малые числа. Вы это видели в уроке о лестнице на деле и в уроке о воронке и когортах: три против пяти кажутся изменением на две трети, а на деле это случайный разброс. Не делайте выводов из единиц.

Корреляция не причина. Если в месяцы, когда вы больше писали в канале, было больше заявок, это ещё не значит, что причина в канале: могла сработать сезонность, реклама или чей-то пост. Причину проверяют экспериментом (следующий урок), а не сопоставлением графиков.

Среднее и медиана. Среднее тянут вверх редкие большие значения. Для времени и для сумм надёжнее медиана (середина).

Лишний трафик. В счётчике бывают роботы, внутренний трафик (вы и коллеги), спам-переходы. Они искажают всё. Метрика умеет их отфильтровывать, но фильтры нужно включить и проверять.

Окно времени. Сравнивать понедельник с воскресеньем нельзя; сравнивайте периоды одинаковой структуры (неделя с неделей, месяц с тем же месяцем прошлого года) и записывайте, что в них происходило (акция, отпуск, праздник).

Пять вопросов к любому числу

Когда вам показывают цифру, спрашивайте:

1. Что именно считали? Определение (вспомните «отказ»).
2. От какого числа? Знаменатель.
3. За какой период? И сопоставим ли он.
4. С чем сравнивают? С прошлым периодом, с другой группой.
5. Какое решение это число поддерживает? Если никакое, оно тщеславное.

Проверьте себя: заявок стало вдвое больше, но доля заявок, дошедших до разговора, упала с 60% до 20%. Что вы заподозрите?

Что число заявок «подгоняли»: стало проще оставить заявку (короче форма, приманка), и пришли люди, которым вы на самом деле не нужны. Это ловушка Гудхарта: число выросло, польза нет.

Практика

Разберите учебную панель и защитите свою метрику.

1. Таблица. Для шести показателей отметьте «тщеславная», «рабочая» или «вводит в заблуждение» и впишите, какое решение она поддерживает.
2. Три переписанных показателя. Что было и во что вы переписали: доля или счёт на что-то.
3. Защита главной метрики вашего проекта: главное действие и вторая метрика рядом.

Проверка смотрит на отметки у тех показателей, где ответ ясен, на форму переписанных показателей и на защиту. Разумна ли защита для вашего проекта, решаете вы: представьте, как проще всего «улучшить» ваше главное число без пользы, и убедитесь, что вторая метрика это покажет.