Что имеет смысл проверять A/B-тестом
A/B-тестирование оправдано там, где изменение влияет на деньги и где мнения в команде расходятся. Спор «какой заголовок лучше» решается не голосованием, а заявками. Чаще всего мы тестируем:
- Оффер и заголовок первого экрана посадочной страницы.
- Число полей в форме заявки и текст кнопки.
- Подачу цены: «от» в начале, калькулятор или пакеты.
- Порядок блоков: отзывы и гарантии выше или ниже описания услуги.
- Квиз против обычной формы на рекламном трафике.
Мелочи вроде цвета кнопки проверяем редко: на трафике малого бизнеса разница в них обычно тонет в случайных колебаниях, и тест длится месяцами.
Почему тест требует расчёта, а не интуиции
Если остановить тест на третий день, когда один вариант «вырвался вперёд», вывод часто оказывается случайным. Поэтому до запуска мы считаем, сколько визитов и конверсий нужно, чтобы заметить разницу заданного размера, и сколько дней на это уйдёт при вашем трафике. Если срок выходит слишком длинным, предлагаем проверять более сильные изменения или объединять страницы.
Как проходит тест по неделям
| Неделя | Работа | Что передаём |
|---|---|---|
| 1-я | Проверяем цели в Яндекс Метрике, выбираем гипотезы, считаем выборку и срок | План теста с расчётом длительности |
| 2-я | Готовим вариант B, настраиваем разделение трафика, запускаем | Работающий тест и контроль равномерности показов |
| 3–5-я | Следим за ходом, не вмешиваемся до набора выборки | Промежуточная сводка раз в неделю |
| 6-я | Проверяем статистическую значимость, разбираем сегменты | Вывод, какой вариант оставить, и следующая гипотеза |
Что вы получаете после теста
По итогам теста вы получаете не только ответ «победил вариант B», но и разбор по сегментам: устройства, источники трафика, новые и вернувшиеся посетители. Бывает, что вариант выигрывает на телефонах и проигрывает на компьютерах, — тогда предлагаем разные решения для разных устройств. Отдельно фиксируем, что не подтвердилось: отрицательный результат тоже экономит деньги на будущих переделках.
Цена теста и что её меняет
Один A/B-тест под ключ стоит от 35 000 ₽ разово. Стоимость растёт, если вариант B требует дизайна и вёрстки, если тестируются сложные элементы (корзина, калькулятор, личный кабинет), если нужно учитывать звонки, а не только формы, и если вариантов больше двух. Серию тестов удобнее вести в рамках повышения конверсии сайта.
Когда тестировать бессмысленно
При нескольких заявках в месяц тест не наберёт данных и за полгода: разумнее внести изменения по итогам юзабилити-аудита и смотреть на общую динамику. Если цели в Метрике не настроены или заявки считаются вручную, сравнивать варианты не по чему — начинаем с учёта конверсий.