A/B тест: 3 метода проведения

Здравствуйте!

Генерация свежих идей — важнейшая часть развития любого продукта. Однако далеко не каждая идея способна повысить конверсию, увеличить аудиторию или положительно повлиять на другие ключевые метрики. Возникает закономерный вопрос: как быстро и надёжно проверять гипотезы?

Существует множество инструментов для проверки идей, но одним из самых популярных остаётся A/B-тестирование, о котором мы и поговорим сегодня.

Что такое A/B-тест?

Термин A/B-тестирование пришёл из английского языка, где его также называют split-testing. По сути, это метод сравнения двух вариантов одного элемента, чтобы определить, какой из них работает лучше.

A/B-тест (или сплит-тест) — это маркетинговый метод, при котором одна группа элементов сравнивается с другой, отличающейся по одному или нескольким параметрам. Цель — понять, у какой версии выше конверсия или другие целевые показатели.

Всё довольно просто: вы создаёте два варианта, например, email-рассылки с разными призывами к действию, и смотрите, какой вариант даёт больше конверсий. Именно в этом и заключается суть A/B-тестирования.

Вот наглядный пример на уровне сайта: мы проверяем, как влияет на результат изменение расположения блоков — в частности, подъём модельного ряда выше по странице.

A/B-тест

Если же вы тестируете сразу несколько элементов на странице (заголовки, кнопки CTA разной формы и размера), то это уже не классический A/B-тест, а многовариантное тестирование, или A/B/N-тест.

Почему A/B-тестирование так популярно?

Маркетологи часто демонстрируют свою экспертизу через различные инструменты, включая A/B-тестирование. Владельцы бизнеса, в свою очередь, ищут «волшебную таблетку», которая instantly улучшит результаты рекламных материалов и посадочных страниц.

Кому нужно A/B-тестирование?

A/B-тесты полезны проектным менеджерам, маркетологам, продуктовым дизайнерам, веб-мастерам и всем, кто стремится улучшить продукт. Простыми словами, этот инструмент нужен каждому, кто хочет сделать сайт или приложение удобнее и приятнее для целевой аудитории.

Главная задача тестирования — получить объективные данные о возможных улучшениях. При этом важно помнить: не все эксперименты приводят к росту. В первую очередь A/B-тесты помогают не ухудшить продукт.

Что можно тестировать?

Вариантов для тестирования огромное множество. С помощью A/B-тестов можно проверять практически любые гипотезы по улучшению сайта или приложения.

Чаще всего тестируют:

• дизайн и расположение блоков;
• внешний вид, размер и текст кнопок CTA;
• заголовки, подзаголовки, офферы и текстовые описания;
• размер текста и глубину контента;
• рекламные объявления и баннеры;
• email-рассылки;
• упоминания в СМИ.

Что даёт A/B-тест

Сплит-тестирование действительно может принести пользу и изменить ситуацию за относительно короткое время:

1. Рост конверсии — самый желанный результат для владельцев сайтов;
2. Улучшение поведенческих факторов, что косвенно влияет на продажи;
3. Увеличение среднего чека — например, за счёт блока «с этим товаром покупают».

В конечном счёте всё сводится к росту продаж. Однако важно понимать: взрывной рост за счёт замены одного элемента случается крайне редко (примерно 1 к 1000). Небольшие изменения редко дают кардинальный эффект.

Поэтому такие эксперименты имеет смысл проводить, когда даже рост конверсии на 1 % существенно влияет на бизнес. Если же этот прирост незначителен, лучше сосредоточиться на более крупных задачах.

Также не стоит начинать A/B-тестирование при нестабильном или неоднородном трафике — результаты будут недостоверными.

Инструменты для A/B-тестирования

Сегодня существует несколько сервисов, которые упрощают проведение тестов: они автоматически распределяют пользователей и собирают статистику.

Сервисы и аналитические платформы

Вот несколько проверенных инструментов, которыми мы регулярно пользуемся.

Яндекс.Метрика и Google Analytics

В Яндекс.Метрике доступны инструменты, дающие статистически значимые данные:

1. Карта кликов — показывает, куда чаще всего кликают пользователи;
2. Воронка заказов — помогает оценить удобство формы оформления;
3. Карта прокрутки — демонстрирует, насколько контент удерживает внимание;
4. Карта путей по сайту — визуализирует типичные маршруты посетителей.

Эксперименты Google Analytics

Для проведения полноценных A/B-тестов мы используем бесплатный инструмент «Эксперименты» в Google Analytics. Он предоставляет всю необходимую аналитику. Инструкция по настройке доступна по ссылке: support.google.com/analytics/answer/1745152.

Google Analytics эксперименты

Как проводить A/B-тест

Теперь разберём правильную последовательность действий.

Шаг 1. Постановка цели. Цель теста должна соответствовать глобальным задачам компании.

Шаг 2. Выбор метрики. Рекомендуется отслеживать один ключевой показатель (конверсия, выручка, количество посетителей и т.д.).

Шаг 3. Формулировка гипотезы. Гипотеза должна быть напрямую связана с выбранной метрикой.

Шаг 4. Подготовка вариантов. Изменения могут быть как визуальными, так и функциональными — в зависимости от ресурсов команды.

Шаг 5. Запуск и сбор данных. Важно выдержать необходимый период и не делать преждевременных выводов.

Шаг 6. Анализ результатов. На основании данных принимается решение о внедрении изменений.

Полезные советы

Если у вас ещё нет опыта проведения A/B-тестов, начните с изучения реальных кейсов. Особенно полезны примеры из рунета.

Составьте список гипотез заранее, опираясь на данные веб-визора или обратную связь пользователей. Проводите только один тест за раз — это позволит точно понять, какое именно изменение повлияло на результат.

Гипотезы должны быть конкретными. Расплывчатые формулировки («сделаем сайт более продающим») не дадут понятных выводов.

Результаты, полученные за слишком короткий срок или на малом объёме трафика, обычно недостоверны. Перед запуском теста оцените ежедневное количество посетителей и рассчитайте необходимую продолжительность.

Калькулятор времени тестирования

Для расчёта оптимальной длительности теста можно использовать калькулятор: vwo.com/ab-split-test-duration/.

Калькулятор на английском языке. Основные поля для заполнения:

1. Текущая конверсия страницы;
2. Процент, на который вы хотите увеличить конверсию;
3. Количество комбинаций;
4. Среднее число посетителей в день;
5. Доля посетителей, участвующих в тесте.

После ввода данных калькулятор покажет рекомендуемую продолжительность теста.

По теме:

Эффективные каналы рекламы

Коротко о главном

A/B-тестирование стоит проводить, когда бизнес уже стабилен и даже небольшое улучшение конверсии существенно влияет на оборот.

P.S. Не стоит безоговорочно доверять экспертам, которые предлагают изменения «по ощущениям». Как показывает практика, проверять нужно всё.

В одном из наших кейсов по контекстной рекламе ретаргетинг с «непонятным» призывом приносил заявки по 475 рублей, а вариант с логотипом — по 863 рубля. Вывод очевиден: тестируйте всё.

До новых встреч!