Какая версия работает лучше: проверка на читателях

Проверка версий истории — сравнение текстов, различающихся одной вещью. Пять читателей покажут, что непонятно; A/B-тест имеет смысл только при большом трафике.

Вы написали три версии, что дальше

У вас накопилось несколько историй: ABT, кейс, история основателя, хребет, кисётэнкэцу. Какая из них работает? Легко выбрать «ту, что мне нравится», но нравится она вам, а читать будет другой человек. Проверить это можно, и без больших затрат. Нужно решить три вопроса: что сравниваем, как измеряем и как решаем.

Что сравниваем

Правило первое: меняйте одну вещь. Если версии A и B различаются и рассказом, и заголовком, и картинкой, то когда одна окажется лучше, вы не поймёте почему. Пусть различается только форма рассказа, остальное одинаково.

Правило второе: сравнивайте то, что отвечает на ваш вопрос. «Какая версия убедительнее для того, кто видит нас впервые?» не то же самое, что «какая красивее».

Что измеряем

Два вида измерений, и они дополняют друг друга.

• Что люди делают. Дочитали ли до конца. Нажали ли на вашу кнопку. Это числа, но на малом сайте их мало.
• Что люди понимают. Просьба «перескажите своими словами, о чём эта страница» показывает, что дошло, лучше любой анкеты. А вопрос «чему вы не поверили?» находит места, где история ломается.

Спрашивайте про понимание и доверие, а не про симпатию. «Понравилось?» в ответ получает вежливое «да».

Проверьте себя: почему лучше просить пересказать, а не оценить?

Пересказ показывает, что человек понял и запомнил. Оценка «понравилось» чаще вежливость, чем информация.

Проверка на пяти читателях

Исследователи Nielsen Norman Group давно показали, что на небольшом числе внимательных участников (около пяти на группу) обнаруживается большая часть проблем понимания, а каждый следующий человек добавляет всё меньше нового. Это качественная проверка, и она отвечает на вопрос «что непонятно и чему не верят», а не «какая версия лучше в процентах».

Как её провести.

1. Найдите пять человек из вашей аудитории, но не друзей, которые вас знают.
2. Покажите каждому одну версию (пяти одну, пяти другую).
3. Попросите читать вслух или думать вслух. Не подсказывайте.
4. Задайте три вопроса: «О чём эта страница?», «Что бы вы сделали дальше?», «Чему вы не поверили?».
5. Запишите ответы дословно, без пересказа.

Когда нужен A/B-тест, и чем он опасен

A/B-тест это показ двух версий разным посетителям сайта одновременно и сравнение того, что они делают. Он нужен, когда посетителей много. Если их несколько десятков в неделю, A/B-тест вам не поможет: числа случайны. Посмотрите сами.

20 на версию50 на версию200 на версию1000 на версию5000 на версию

Провести 20 тестов

Тексты в схеме одинаковые, и в каждом по замыслу кликают 10% посетителей. На малых числах случай легко создаёт «победителя». С ростом числа посетителей такие «победы» исчезают. Поэтому на двадцати посетителях нельзя делать вывод о тексте.

Здесь оба текста одинаковые, и по замыслу кликают по 10% посетителей. Но при небольшом числе посетителей один из них регулярно «выигрывает» на несколько пунктов. Чем больше посетителей, тем реже, и это хороший способ запомнить: небольшая разница на малых числах ничего не значит.

Типичные ошибки, о которых подробно пишет Эван Миллер в статье «How Not To Run an A/B Test»:

• Подглядывание. Остановить тест в тот день, когда одна версия вырвалась вперёд.
• Несколько изменений сразу. Тогда неясно, что сработало.
• Слишком короткий срок. Недельные колебания принимают за эффект.
• Порог после. Выбирать критерий победы, увидев результат.

Подробнее про числа, пороги и ловушки A/B-тестов будет в части о метриках.

Проверьте себя: почему нельзя остановить тест, когда одна версия вырвалась вперёд?

Случайные колебания на малых числах легко создают временного «победителя». Нужно заранее решить, сколько данных собрать, и дождаться.

План проверки

Хороший план умещается на одну страницу и составляется до проверки.

1. Версии. Что в A, что в B.
2. Что одинаково. Остальной текст, кнопка, оформление.
3. Что измеряем. Дочитали ли до конца и нажали ли главное действие.
4. Сколько читателей. Не меньше пяти.
5. Вопросы. Три, как выше.
6. Правило решения. С числом: «выбираю версию, которую пересказали точнее, и если после неё не менее 3 из 5 готовы сделать шаг». Записать, пока не знаете результата.
7. Как предупредим читателей. Скажем, что это проверка текста, не собираем лишнего и даём уйти.

Про последнее. Проверка на людях это обращение с чужими данными, пусть и небольшое. Если вы записываете только ответы без имён, вопросов нет. Если собираете сведения о людях, их собирают на законных основаниях и с согласием: об этом мы поговорим в части о праве.

Практика

1. Поставьте на страницу выбранную пока версию: двенадцать слов и больше, без гарантий и слов «лучший» и «№1».
2. Составьте план проверки двух версий по шагам выше. Рабочую заметку с планом никто не увидит на готовом сайте: в галерее она не показывается.
3. Выберите правило решения с числом и запишите его.

Затем, если захотите, проведите проверку на настоящих людях: пять человек и блокнот. Результат запишите и вернитесь к странице: она должна измениться.

Чем кончается эта часть

Вы прошли путь от «зачем нужны истории» до «как проверить, что они работают»: структура, герой, формы, страница, бренд, кейс, данные, прокрутка, этика и проверка. Теперь у вашего сайта есть голос. Дальше его надо сделать найденным: это поисковая оптимизация, соцсети и измерения, которым посвящены следующие части курса.