A/B тест: 3 метода проведения

Здравствуйте!

Генерирование свежих идей - важнейшая часть развития любого продукта. Конечно, не каждая идея повысит конверсию, увеличит аудиторию или положительно отразится на других метриках. Возникает вопрос, а как тогда быстро проверять гипотезы и идеи?

Существует множество инструментов проверки, однако один из наиболее популярных - это А/Б тестирование, о котором мы и поговорим сегодня. 

Что такое А/Б тест?

Фраза A/B testing произошла из английского, где этот тест ещё называют split-testing или сплит-тестирование. Но самое интересное, это перевод.

A/Б тест (или сплит тест) - это один из методов маркетинга, когда одна группа элементов сравнивается с другой группой элементов с разными данными.

Цель действий - выяснить, у какой группы элементов конверсия или показатели будут больше.

То есть все довольно просто. Вы создаете 2 различных варианта рекламной продукции (пусть это будут электронные письма, продающие Ваши услуги) и в конце этих писем делаете разный призыв к действию. И просто считаете, конверсия какого письма была выше. Именно это и есть суть а/б теста.

Вот наглядный пример на уровне сайтов, где мы определяем, как влияет на результат изменённое расположение блоков. А именно поднятый наверх модельный ряд.

A/Б тест

А вот если Вы тестируете, к примеру, 2 посадочных страницы, в которых изменены заголовки, кнопки призыва к действию разной формы и разного размера, то это уже не просто а/b test, а  многовариативное тестирование или A/B/N-test.

Так почему же про этот тест так много сейчас говорят? Все очень просто.

Маркетологи любят показывать свою экспертность за счёт разного рода фишек, к которым тестирование можно отнести.

А владельцы компаний мечтают найти волшебную таблетку и считают, что сплит-тестирование - просто панацея для их рекламных материалов (в частности при создании landing page).

Кому нужно а/б тестирование?

А/Б тесты будут полезны многим: project-менеджерам, марктетологам, продуктовым дизайнерам, веб-мастерам и тд. Говоря простым языком, то в этом инструменте нуждаются все, кто хочет улучшить свой продукт, делая его приятнее и удобнее для ЦА.

Этот вид тестирования нужен для получения объективной информации о возможных способах улучшения текущей версии продукта. Но это не всегда история про успешные тестирования и небывалый рост. В первую очередь нужно думать о том, как НЕ сделать продукт ХУЖЕ. И в этом а/б тесты помогают как нельзя лучше. 

Что можно тестировать?

Вариантов тестирования огромное множество, предположения по улучшению существующего сайта или приложения могут касаться различных его элементов, и а/б тесты позволяют проверить абсолютно любые гипотезы.

Чаще всего с помощью а/б тестов проверяют:

• Дизайн и макет, размещение блоков и разделов;
• Внешний вид, размер, расположение кнопок СТА и их текст;
• Заголовки, подзаголовки, офферы, призывы к действию, текстовые описания;
• Размер текста и глубину содержания;
• Рекламные объявления: тексты, заголовки, баннеры;
• E-mail рассылки;
• Упоминания в СМИ и тд.

Что даёт а/б тест

На самом деле не все так плохо, и сплит тестирование сайта реально даёт пользу для компаний, и может за короткий промежуток времени изменить ситуацию, а именно:

1. Увеличение конверсии. Самый простой и при этом самый желаемый показатель любого владельца, особенно в сайтах;
2. Изменение поведенческих факторов. Не самый очевидный, но опять же влияющий на увеличение продаж фактор;
3. Увеличение среднего чека. Это добавление разного рода call to action или на примере сайтов, всем знакомый блок “с этим товаром покупают”.

Если обобщить, все сводится к увеличению продаж. И определённо это стоит Вашего внимания. Но есть одно “НО”. И уже возможно на этом этапе Вы поймёте, что Вам это не нужно.

Это “НО” говорит о том, что добиться взрывных продаж с помощью замены одного элемента если и можно, то очень редко. Примерные шансы 1 к 1000. Так как идёт замена небольших составляющих, которые редко когда отличаются кардинально друг от друга.

Поэтому мы рекомендуем такого рода эксперименты делать после того, когда для Вас увеличение конверсии в 1% (полученный потом и кровью) сделает погоду.

А когда для Вас это капля в море, то лучше сфокусировать своё внимание на более важных составляющих.

К тому же, пока у Вас нет устоявшегося трафика, пока Вы только тестируете разные каналы и способы рекламы в интернете, то можете даже не начинать тестировать. Так как показатели будут не верны, ведь трафик не однородный, а, как известно, разные люди действуют по-разному.

Инструменты для А/Б тестирования

На сегодня существует несколько инструментов, упрощающих работу исследователей. Эти программы могут самостоятельно разделять пользователей и отслеживать эффективность всех вариантов тестируемых страниц. 

- Сервисы

Не будем ходить вокруг да около, а приступим к практике. Ниже мы привели небольшой список наиболее популярных сервисов, которыми лично мы пользовались и можем с уверенностью советовать их Вам. 

- Яндекс.Метрика и Google Analytics

В Яндекс.Метрике достаточно инструментов, которые дают статистически значимые данные для анализа поведения пользователей на сайте:

1. Карта кликов. Позволяет увидеть, куда пользователи кликают чаще всего и сделать вывод о том, насколько сайт для них удобен;
2. Воронка заказов. Позволяет понять, насколько форма заказа удобна для пользователя;
3. Карта прокрутки. Даёт представление о том, что видит большинство Ваших посетителей, насколько информация на странице заставляет их прокручивать сайт вниз;
4. Карта путей по сайту. Помогает увидеть откуда приходят посетители и какие траектории их движения используются чаще всего на сайте. На основании анализа путей по сайту также можно разработать гипотезы улучшения пользовательского интерфейса.

 - Google Analytics эксперименты

Если мы говорим об отдельных сервисах, то они тоже есть, но, как правило, только для сайтов. Мы в своей работе используем эксперименты от Google Analytics.

Он бесплатный и даёт нам всю необходимую аналитику. Поэтому лично наша рекомендация - использовать его. Вот инструкция как всё настроить - support.google.com/analytics/answer/1745152. И вот скрин одного из наших тестирований:

Google Analytics эксперименты 

Как делать а/б тест

Теперь расскажу, как сделать все правильно. Заголовок письма, кнопка призыва к действию, наличие цен в коммерческом предложении, всё это можно реализовать как вручную, так и с помощью специальных сервисов.

И сразу, без долгих объяснений в любви, вручную делать это запрещено, потому, что времени займёт массу. А если у Вас времени все-таки много, то лучше и полезнее будет Вам внедрить любой канал из статьи.

Давайте ниже разберём последовательность действий при проведении тестирования:

Шаг 1. Постановка цели. Она должна соответствовать глобальной цели компании. При проведении теста важно проанализировать, получится ли повысить число заказов, обращений с помощью новой идеи;

Шаг 2. Выбор метрики. Под понятием "метрика" подразумеваются основные показатели бизнеса. Речь идёт о выручке, объёме продаж, чистой прибыли, числе поситителей, коэффициенте конверсии и тд. Желательно выбирать только один покзатель для анализа. Если берёте несколько показателей, то они должны быть тесно связаны между собой;

Шаг 3. Определение гипотез. Нужно выбирать гипотезу, которая будет связана с главной метрикой теста. При негативном исходе стоит задуматься, как ещё можно повысить показатели. После, подготовиться к проведению нового теста, а все сделанные изменения отменить;

Шаг 4. Дизайн. Он может быть техническим и влияющим на функционирование ресурса или содержать только незначительные изменения визуального характера. Многое зависит от возможностей команды, наличия материальных и временных ресурсов для выполнения теста. 

Шаг 5. Проведение эксперимента и накопление данных. Здесь потребуется запустить тест и выждать период. Не стоит в это время заранее наблюдать за результатами, потому, что в первые минуты эксперимента Вам может показаться, что всё плохо и печально. Поэтому не спешите с выводами, а следуйте заданному расписанию.

Шаг 6. Анализ. Теперь можно проанализировать собранную информацию. Следует ли внести правки на страницу сайта или в объявление и распространить их на всю аудиторию? Или потребуется оставить старую версию?

Как видите, процесс тестирования довольно кропотливое дело, но если следовать алгоритму, то проблем не возникнет. Главное - это терпение и чёткость действий.

Советы для правильных действий

Если у Вас нет опыта в проведении а/б тестов (иначе Вас бы тут не было), то крайне рекомендуем Вам предварительно прочитать кейсы.

И особенно обратите внимание на кейсы людей, добившихся увеличения конверсии/изменения поведения в рунете. Так Вы поймете, что лучше тестировать.

Либо Вы можете пойти другим путем. Составьте предварительный список (план) того, что Вы будете тестировать на сайте. Это нужно делать исходя из своих предположений, обратной связи фокус группы (наихудший вариант) или на основе данных из вебвизора.

Это для того, чтобы Вас не кидало из стороны в сторону.

Важно. Забудьте про многовариативность и делайте только один тест за раз. На нашем опыте лучше всего работает связка "1 тест = 1 изменение".

Иначе Вы не поймёте, что на самом деле дало результат. А ещё интереснее будет, когда одно изменение даст +0,5, а другое изменение на этой же странице -0,5 к конверсии. Что в результате 0 и упущенный из виду положительно влияющий элемент. Поэтому, не допускайте такой ошибки.

Важно. Забудьте про расплывчатые теории. Из серии “надо что-то изменить в сайте, сделав его более продающим”.

Нормальная теория для тестирования -  на одной странице кнопка красная, на другой синяя. На одной странице есть цена, на другой нет цен. Только тогда Вы будете уверены в результатах. Четкие критерии = понятные результаты.

Важно. Результат, полученный за очень короткий срок = плохой результат.

Особенно, если за короткий срок на Ваших сайтах побывало от силы 20 человек.

Поэтому перед тем, как броситься в тестирование сайта, Вам нужно понимать, сколько человек его посещает ежедневно и сколько дней тестирование должно длиться.

Калькулятор времени тестирования

Чтобы Вам было не скучно, мы нашли калькулятор, благодаря которому Вы сможете рассчитать оптимальную продолжительность для тестирования сайта - vwo.com/ab-split-test-duration/ .

Калькулятор

Он на английском языке, поэтому на всякий случай мы перевели и расшифровал строчки, которые Вам необходимо будет заполнить:

1. Конверсия Вашей страницы на данный момент. Как считать, читайте здесь - средняя конверсия сайта;
2. Процент, на который Вы хотите увеличить существующую конверсию;
3. Необходимое число комбинаций. Если Вы, к примеру, хотите узнать, какой заголовок на сайте лучше конвертирует, то тогда это одна комбинация.
   Если Вы хотите поменять заголовок, но при этом изменить его текст и размер, то это будет две комбинации;
4. Число посетителей в день на Вашем сайте (естественно, усредненное);
5. Число посетителей, которые будут принимать участие в тестах. 

И все!

Нажимаете кнопку рассчитать и получаете срок, спустя который можно уже делать выводы о результатах теста.

Поэтому это ещё один камень в “огород” a/б теста, касающийся его неактуальности для взрывного роста продаж.

По теме:

Эффективные каналы рекламы

Коротко о главном

Если у Вас стоит вопрос, нужно ли делать а/б тест или не нужно, то скажу сразу - нужно. И это даже не обсуждается. Вопрос только когда. А наша практика показывает, что лучший вариант, когда компания уже устоялась и маленькое изменение очень сильно повлияет на оборот.

P.S. И еще одно замечание, которое Вам нужно учесть. Не доверяйте экспертам, которые говорят, что это надо поменять, потому, что это не работает (по ощущениям). Как мы и писали в нашей статье - все надо тестировать.

К примеру, мы настраивали контекстную рекламу одному своему клиенту (ретаргетинг на посетителей сайта, которые не оставили заявку).

“Эксперты” сказали, что призыв не понятен и надо менять картинку, а именно просто догонять логотипом компании. Окей. Всё нужно тестировать.

Но (минутка славы) в итоге - реклама, которая работала изначально (которая “якобы непонятна”) приносила заявки по 475 рублей, логотип же (зато “понятно, что происходит”) стал приносить заявки по 863 рубля. Вывод: нужно тестировать всё.

До новых встреч!