A/B-тесты и их ловушки

A/B-тест — эксперимент: половине посетителей показывают вариант A, другой — B, и сравнивают заранее выбранную метрику. Ловушки — малая выборка и подглядывание.

Как узнать, что изменение помогло

У вас уже есть гипотезы, счётчик и понимание, какие цифры обманывают. Остался вопрос: как проверить, что изменение действительно помогло? Самый надёжный из известных способов эксперимент. В интернете его называют A/B-тестом: половине посетителей показывают вариант A (как есть), другой половине вариант B (с изменением), и потом сравнивают одну заранее выбранную метрику.

Откуда это. Идея случайного деления на группы старше интернета: в 1920-х годах статистик Рональд Фишер описал рандомизированные эксперименты на полях, а в медицине так проверяют лекарства (плацебо против лекарства). В вебе A/B-тесты стали массовыми в 2000-х, когда крупные компании начали проверять разные варианты страниц на миллионах посетителей. Google закрыл свой бесплатный инструмент Optimize в 2023 году, но сам способ остался, а сервисы для него разные: встроенные в конструкторы, отдельные или самодельные.

Зачем случайность? Если показывать вариант B по утрам, а A вечером, вы не узнаете, повлиял ли вариант или время суток. Случайное деление (каждый человек попадает в один из вариантов и всегда видит один и тот же) делает группы похожими во всём, кроме изменения. Тогда разница объясняется изменением.

Главная идея: шум

Люди ведут себя по-разному, и две одинаковые группы никогда не дадут одинаковую конверсию. В уроке про три версии текста вы видели, как два одинаковых текста «побеждают» друг друга на малых числах. Это называют шумом. Эксперимент должен отличить настоящий эффект от шума, а для этого нужны две вещи: достаточно людей и честное правило остановки.

Сколько людей нужно

Чем меньше разница, которую вы хотите заметить, тем больше людей нужно. Грубое правило для долей: на вариант

n ≈ 16 × p × (1 − p) ÷ d²

где p это текущая доля (например, 0,05 для 5%), а d это минимальная интересная разница в долях (0,01, если хотите заметить рост с 5% до 6%). Число 16 соответствует привычным порогам: ложная победа в 5% случаев и 80% шанс заметить настоящую разницу.

Пример. p = 0,05, d = 0,01: n ≈ 16 × 0,05 × 0,95 ÷ 0,0001 = 7 600 человек на вариант, то есть 15 200 всего. Если на страницу приходит 600 человек в день, нужно около 25 дней. А если у вас 40 человек в месяц, такой тест не закончится никогда. Для сравнения: чтобы заметить разницу между 5% и 25%, достаточно нескольких десятков человек на вариант, но таких улучшений от одной правки обычно не бывает.

Эта формула грубая, для точных расчётов есть калькуляторы размера выборки (названия в источниках и в поиске). Важнее то, что она учит: выборку считают до теста, а не после.

Подглядывание

Самая популярная ошибка. Вы запустили тест, смотрите каждый день, и на пятый день вариант B «значимо» лучше. Хочется остановиться и радоваться. Так нельзя: чем чаще вы смотрите и чем раньше готовы остановиться, тем выше шанс объявить победителем то, что выиграло случайно. Каждый взгляд новая возможность принять шум за эффект. Эван Миллер в статье «How not to run an A/B test» (в источниках) показывает это на числах: тест, остановленный при первой «значимости», ошибается в несколько раз чаще, чем заявлено.

Откройте схему. Задайте число посетителей и проведите триста экспериментов с двумя одинаковыми вариантами. Без подглядывания «победителей» около пяти процентов. С подглядыванием в десять взглядов их гораздо больше. Потом включите настоящую разницу в один процентный пункт и посмотрите, как часто тест её замечает при разных размерах выборки.

200 на вариант1000 на вариант3000 на вариант7600 на вариант15000 на вариант

подглядывать 10 раз и остановиться при первой «победе» у варианта B на самом деле 6% вместо 5%

Провести 300 экспериментов

Правило для оценки: чтобы заметить разницу в d процентных пунктов при доле p, нужно около 16·p·(1−p)/d² человек на вариант. Для 5% против 6% это около 7600. Это грубая оценка для привычных порогов (5% ложных побед и 80% шанса заметить). Всё в схеме смоделировано, настоящих людей нет.

Защита: срок и размер выборки записывают до запуска, а результат смотрят один раз, в конце. Если очень хочется следить, следите за здоровьем теста (число людей в вариантах примерно одинаково, ничего не сломано), но не принимайте решение.

Другие ловушки

• Много метрик. Если вы смотрите двадцать метрик на пятипроцентном уровне, то хотя бы одна «значимо» изменится случайно примерно в двух случаях из трёх (проблема множественных сравнений). Поэтому выбирают одну главную метрику до теста, остальные только для контроля (проверяют, не ухудшилось ли что-то важное).
• Сезонность и события. Неделя с акцией не похожа на обычную. Берите полные недели (потому что поведение в будни и выходные разное) и записывайте всё, что происходило.
• Новизна. Новый вид привлекает внимание просто потому, что новый. Тест должен идти достаточно долго, чтобы люди привыкли.
• Менять во время теста. Правка текста, цены или рекламы в середине теста превращает его в другой. Всё замораживают.
• Разный состав. Если в один вариант случайно попали одни мобильные посетители, различие объясняется составом. Случайное деление нужно делать по человеку, а не по визиту.
• Закон Гудхарта. Главная метрика должна быть тем, что вы действительно хотите (урок про метрики, которые обманывают), с контрольной рядом.
• Этика. Тесты на людях без их ведома это обычная практика, но не оправдание для обмана: не проверяйте тёмные паттерны и не скрывайте цену.

Когда не тестировать

Тест требует людей. Если на странице сорок посетителей в месяц, тест бессмыслен. Тогда честные альтернативы:

• Большие изменения вместо маленьких. Сильное улучшение (понятное обещание, короткая форма) видно и на малых числах, а правка цвета кнопки нет.
• Последовательные изменения. Делайте изменения по одному, записывайте дату и сравнивайте периоды (с оговорками про сезонность).
• Качественное исследование. Поговорите с пятью людьми из своей аудитории и посмотрите, как они пользуются сайтом. По оценке Якоба Нильсена и Томаса Ландауэра (1993), пять человек находят около 85% проблем удобства.
• Опрос в одну строку. На странице «Спасибо»: «Что почти остановило вас перед заявкой?»

И ещё одна честная причина не тестировать: когда изменение очевидно исправляет ошибку (форма не отправлялась), его просто делают.

Проверьте себя: почему нельзя остановить тест, как только разница стала «значимой»?

Потому что каждый взгляд на результат шанс увидеть случайное отличие и принять его за эффект. Чем чаще смотрите, тем больше ложных побед. Срок и выборку записывают заранее и смотрят один раз.

Практика

Составьте план одного теста.

1. Гипотеза (из первого урока части) и главная метрика про главное действие из брифа.
2. Числа: текущее значение (допущение), минимальная интересная разница, выборка на вариант по правилу, посетителей в день, срок.
3. Правило остановки и что не меняем.
4. Две ловушки и защиты.
5. Малый трафик: что вы сделаете вместо теста.

Проверка смотрит на форму плана. Разумны ли ваши допущения, решаете вы: если срок получился на полгода, не запускайте тест, а возьмите план для малого трафика.