· 10 мин чтения

A/B-тестирование сайта: что это и как провести сплит-тест

Что такое A/B-тестирование и сплит-тест, сколько нужно трафика для значимого результата, что тестировать, как посчитать итог и каких ошибок избегать.

Директор по маркетингу и росту
Кратко с ИИ
A/B-тестирование сайта: что это и как провести сплит-тест

A/B-тестирование (сплит-тест) — это эксперимент, в котором посетителей сайта случайно делят на группы и показывают им разные версии страницы, а потом сравнивают, какая версия чаще приводит к целевому действию. Оно имеет смысл, когда на странице достаточно трафика и конверсий, чтобы разница между вариантами была статистически значимой, а не случайной. Проводится тест по схеме: гипотеза, одна главная метрика, расчёт выборки, запуск в инструменте вроде Varioqub и решение только после набора нужного объёма данных.

Что такое A/B-тест простыми словами

Вариант A — текущая страница, вариант B — та же страница с одним изменением: другой заголовок, другая форма, другой порядок блоков. Система распределяет посетителей между вариантами случайно и запоминает, кто какую версию видел, чтобы человек при повторном заходе попал в ту же группу. Обе группы приходят в одно и то же время и из одних и тех же источников, поэтому разница в результате объясняется изменением, а не сезоном или новой рекламной кампанией.

В этом главное отличие от сравнения «до и после». Если в понедельник поменять заголовок и посмотреть на заявки за неделю, на результат повлияют праздники, ставки в Директе и действия конкурентов. В сплит-тесте все эти факторы действуют на обе группы одинаково.

Есть и родственные форматы: A/B/n-тест сравнивает сразу несколько вариантов, мультивариантный тест перебирает комбинации нескольких элементов. Оба требуют заметно больше трафика, поэтому для большинства сайтов малого и среднего бизнеса рабочий формат один: два варианта и одно изменение.

Когда A/B-тестирование имеет смысл, а когда нет

Тест отвечает на вопрос «стало лучше или это случайность». Чтобы ответить уверенно, нужно достаточно наблюдений. Объём зависит от двух вещей: текущей конверсии и того, насколько крупный эффект вы хотите заметить.

Посчитаем на примере при стандартных настройках: уровень значимости 5% и мощность теста 80%. Если страница конвертирует 2% посетителей и вы хотите заметить рост до 2,4% (плюс 20% к конверсии), нужно примерно 21 тысяча посетителей на каждый вариант, то есть около 42 тысяч на весь тест. Если конверсия 5% и цель — увидеть рост до 6%, хватит примерно 8 тысяч посетителей на вариант. Чем ниже конверсия и скромнее ожидаемый эффект, тем больше трафика нужно.

Признаки того, что тестировать рано:

  • на странице меньше нескольких сотен конверсий в месяц, и тест растянется на квартал и дольше;
  • целевое действие случается раз в несколько дней, а промежуточные шаги не измеряются;
  • на сайте есть очевидные поломки: форма не отправляется, страница грузится десять секунд, на телефоне не видно кнопки. Такое нужно чинить, а не тестировать;
  • трафик нестабилен: реклама то включается, то выключается, и состав аудитории меняется каждую неделю.

Если трафика мало, лучше вносить крупные осмысленные изменения на основе анализа поведения и разговоров с клиентами, а эксперименты оставить на этап, когда страница получает стабильный поток посетителей. Найти слабые места без эксперимента помогает аудит конверсии.

Что тестировать на сайте и лендинге

Лучше всего тестировать то, что влияет на решение посетителя, а не на его вкус. Цвет кнопки редко даёт эффект, который можно измерить на трафике обычного бизнеса. Работают изменения смысла и трения:

  • оффер и заголовок первого экрана: что обещаем и кому;
  • форма: число полей, обязательный телефон или мессенджер, несколько коротких шагов вместо одного длинного экрана;
  • цена и её подача: «от», пакеты, рассрочка, пробный период;
  • призыв к действию: «Получить расчёт» против «Оставить заявку»;
  • доказательства: где стоят кейсы, гарантии и сроки;
  • длина и порядок блоков на посадочной странице под конкретный источник трафика.

Чаще всего тесты окупаются там, куда идёт платный трафик: каждая доля процента конверсии на такой странице превращается в деньги. Если посадочной ещё нет или текущую проще пересобрать, чем латать, начать стоит с разработки лендинга, сразу закладывая в него возможность проверять гипотезы.

Как провести сплит-тест: пошагово

1. Гипотеза. Формулируйте её так, чтобы было понятно, что меняем, почему и какой показатель должен сдвинуться: «Если убрать из формы поле с почтой, больше людей дойдут до отправки, потому что в записях сессий видно, что на этом поле форму часто бросают». Гипотеза без причины превращается в перебор случайных идей.

2. Главная метрика. Выберите одну: отправка формы, клик по телефону, оплата. Остальные показатели смотрите как вспомогательные. Если выбирать метрику после теста, почти всегда найдётся «победитель» по какому-нибудь из десятка показателей. Цели должны собираться в аналитике ещё до запуска.

3. Расчёт выборки и длительности. Посчитайте объём на вариант в калькуляторе выборок и разделите на дневной трафик страницы. Округляйте вверх до целых недель: поведение в будни и выходные отличается, и тест, остановленный в четверг, смещён. Ориентир — не меньше двух полных недель, даже если выборка набралась раньше.

4. Инструмент и проверка. Перед запуском убедитесь, что оба варианта корректно отображаются на телефоне и компьютере, цели срабатывают в обеих группах, а версия B не грузится заметно медленнее. Мелькание исходной страницы перед подменой тоже искажает эксперимент.

5. Запуск без вмешательства. Во время теста не меняйте рекламные кампании, цены и сам вариант. Любая правка ломает чистоту сравнения.

6. Решение. Когда выборка набрана, подведите итог один раз и примите решение: внедрить, отказаться или сформулировать следующую гипотезу.

Инструменты для A/B-тестов в России

Google Optimize закрылся в сентябре 2023 года, и для российских сайтов основным готовым инструментом стал Varioqub от Яндекса. Он работает поверх счётчика Яндекс Метрики: берёт из него данные о визитах и целях, делит аудиторию на группы и строит отчёт по выбранным метрикам. Изменения можно вносить через визуальный редактор, редирект на другую страницу или флаги в коде сайта. Длительность эксперимента задаётся от 1 до 90 дней, долю аудитории в тесте — от 1% до 100%, а перед запуском можно оценить выборку во встроенном калькуляторе. На момент публикации базовые возможности доступны бесплатно с ограничениями на число одновременных экспериментов и метрик, расширенные тарифы платные и рассчитаны на крупные проекты.

Второй путь — собственная реализация. Разработчик делит посетителей на сервере или в браузере, записывает номер группы в cookie и передаёт его в аналитику как параметр визита. Так не бывает мелькания страницы, можно тестировать что угодно, от логики калькулятора до шагов оформления заказа, и нет внешних лимитов. Цена — время разработки и необходимость самостоятельно считать статистику.

Зарубежные платформы вроде VWO или AB Tasty функционально богаче, но для российской компании оплата и вопросы хранения персональных данных часто перевешивают их удобство.

ВариантСтоимостьСильные стороныОграничения
Varioqub (Яндекс)Базовая версия бесплатнаВизуальный редактор, отчёт на данных Метрики, калькулятор выборкиЛимиты бесплатной версии, нужен счётчик Метрики
Собственная реализацияВремя разработкиБез мелькания, любые сценарии, полный контрольНужен разработчик и расчёт статистики
Зарубежные платформыПодписка в валютеШирокий набор функцийОплата из России, хранение данных

Как посчитать результат

Сравнивать нужно не только конверсии, но и вероятность того, что разница случайна. Пример: вариант A увидели 10 000 посетителей, заявок 300 (3%), вариант B — тоже 10 000 посетителей и 360 заявок (3,6%). Разница выглядит как плюс 20%, и стандартный z-тест для двух долей даёт p-значение около 0,02. Это ниже принятого порога 0,05, значит разницу можно считать статистически значимой.

Если бы при тех же конверсиях в каждой группе было по 2 000 посетителей (60 и 72 заявки), p-значение оказалось бы около 0,29, и вывод «B лучше» был бы гаданием. Те же проценты, совсем другая уверенность.

Что ещё проверить перед внедрением:

  • группы получили примерно равное число посетителей: заметный перекос говорит об ошибке в настройке;
  • эффект не держится на одном дне или одном источнике трафика;
  • выросло не только число заявок, но и их качество. Если B даёт больше обращений, но меньше сделок, это не победа, и здесь помогает сверка с CRM.

Нейтральный итог тоже полезен. Он говорит, что изменение не важно для посетителей, и можно оставить вариант, который проще поддерживать.

Типичные ошибки

Подглядывание. Самая частая ошибка: смотреть отчёт каждый день и остановить тест, как только B вырвался вперёд со значимостью. При ежедневных проверках шанс «найти» несуществующий эффект растёт в разы, потому что в начале теста колебания всегда большие. Решение — заранее зафиксировать объём выборки и дату окончания и не принимать решений до неё.

Слишком мало трафика. Тест на нескольких сотнях посетителей почти всегда показывает либо «ничего», либо случайный выброс. Если расчёт даёт срок больше двух месяцев, лучше проверить более смелое изменение или выбрать метрику, которая случается чаще.

Много вариантов сразу. Каждый новый вариант делит трафик и увеличивает шанс ложной победы. Пять вариантов на сайте с умеренной посещаемостью дают тест, который либо не закончится, либо закончится ложным выводом.

Несколько изменений в одном варианте. Если поменять заголовок, форму и фотографии одновременно, тест покажет, что новая версия лучше или хуже, но не скажет почему.

Пересекающиеся тесты. Два эксперимента на одной странице для одной аудитории влияют друг на друга, и результат каждого становится ненадёжным.

Что мы рекомендуем

Правило простое. Посчитайте выборку для вашей конверсии и эффекта в 15–20%. Если тест укладывается в 2–6 недель трафика, запускайте A/B-тест: один вариант, одна гипотеза, одна главная метрика. Если выходит дольше, сначала найдите и исправьте очевидные проблемы страницы, а к экспериментам вернитесь, когда поток посетителей вырастет.

Для старта обычно хватает Varioqub и аккуратно настроенных целей. Собственная реализация оправдана, когда проверяются сложные сценарии вроде калькулятора, корзины или личного кабинета либо когда мелькание страницы недопустимо. В проектах мы обычно ведём список гипотез с приоритетами, чтобы следующий тест вытекал из результата предыдущего. Если нужна помощь с планом, настройкой и разбором итогов, посмотрите, как мы проводим A/B-тесты под ключ.

FAQ

Частые вопросы

Связаться с нами

Столько, сколько нужно, чтобы набрать рассчитанную заранее выборку, но не меньше двух полных недель. Срок округляют до целых недель, чтобы в обе группы попали и будни, и выходные. Если по расчёту тест занимает больше двух месяцев, лучше проверить более крупное изменение.

Обычно это синонимы. Иногда сплит-тестом называют частный случай, когда варианты живут на разных адресах и трафик распределяется редиректом, а A/B-тестом называют подмену элементов на одной странице. Логика и статистика в обоих случаях одинаковые.

При аккуратной настройке нет. Тест должен быть временным, для варианта на другом адресе используют временный редирект, а у копии страницы указывают канонический адрес оригинала. Поисковому роботу нельзя показывать версию, отличную от той, что видят посетители.

Это мера того, насколько маловероятно получить такую разницу между вариантами случайно, если на самом деле разницы нет. Порог 5% означает, что вы готовы ошибиться не чаще чем в одном случае из двадцати. Значимость не говорит о размере эффекта, поэтому смотрят и на неё, и на сам прирост.

Да, в рекламных кабинетах есть собственные эксперименты, где аудиторию делят между вариантами кампаний. Но это отдельная задача: тест объявлений отвечает на вопрос, кто кликнет, а тест страницы показывает, кто оставит заявку после клика.

10+ лет в деле, 100+ проектов, клиенты в 9+ странах