Репрезентативная выборка в контекстной рекламе: как определить эффективность кампании на этапе тестирования

Здравствуйте!

Перед запуском рекламной кампании принято проводить A/B-тестирование. Однако не всякий тест можно считать показательным. Одна из самых распространённых ошибок — неверно определённая репрезентативная выборка. В результате рекламодатель тратит бюджет на запуск неэффективной рекламы.

Что такое репрезентативная выборка

С понятиями «генеральная совокупность» и «репрезентативная выборка» сталкиваются все, кто запускает A/B-тесты и стремится получить статистически значимые результаты. Чаще всего провальные тесты происходят по двум причинам: слишком маленькая выборка и недостаточный объём данных.

Сегодня для расчёта репрезентативной выборки не нужно вручную применять сложные формулы. Достаточно воспользоваться удобными онлайн-калькуляторами (Optimizely, Mindbox, VWO) или методикой SurveyMonkey.

Чтобы эффективно работать с этими инструментами, важно понимать базовые понятия и принципы расчёта выборки.

Вот ключевые термины, которые нужно знать:

1. Генеральная совокупность. Вся группа людей, чьё мнение или поведение имеет значение для рекламодателя. Это может быть аудитория ремаркетинга, подписчики в соцсетях, покупатели офлайн-магазинов или мужчины 25–40 лет.
2. Репрезентативная выборка. Часть генеральной совокупности, которая участвует в A/B-тесте.
3. Достоверность (уровень доверия). Вероятность того, что выборка окажется значимой. Обычно задаётся в диапазоне 80–99 %. Значение ниже 80 % считается ненадёжным. Чаще всего используют уровень 95 %.
4. Погрешность. Допустимый процент ошибки в результатах. Обычно находится в пределах 1–10 %, наиболее часто применяют 5 %.

Каждый из перечисленных калькуляторов имеет свои особенности. Разберём их ниже.

Зачем считать выборку и что ещё влияет на результаты теста

Перед запуском рекламной кампании проводят тестирование, чтобы выявить наиболее эффективный вариант объявления. В тесте можно проверять заголовки, креативы, описания, расширения, CTA-кнопки и другие элементы.

По данным AppSumo, значимые результаты показывает лишь 1 из 8 тестов. Правильно рассчитанная репрезентативная выборка помогает получить достоверные выводы. Ниже рассмотрим основные причины, по которым тест может оказаться непоказательным.

Недостаточно данных

Предположим, запущено тестирование двух объявлений с разными заголовками. Вечером получены первые результаты:

По итогам первого дня может показаться, что текущее объявление работает лучше. Однако делать выводы по нескольким десяткам переходов и паре кликов нельзя. Для принятия решения необходимо набрать достаточный объём данных.

Размер выборки можно рассчитать с помощью калькулятора Optimizely. Указываем текущий коэффициент конверсии (например, 18 %), уровень статистической значимости 95 % и минимальное желаемое изменение конверсии 20 %. Калькулятор показывает, что для статистически значимых результатов в каждой группе должно быть 1300 человек.

Неправильно сформулирована гипотеза

Ещё одна частая причина непоказательных результатов — слабая гипотеза. Если в тесте меняется только описание объявления, а значимой разницы не обнаруживается, стоит протестировать более заметные изменения: креатив, торговое предложение, цену или условия оплаты.

Выбрана неподходящая метрика

Для получения значимых результатов важно выбрать одну ключевую метрику. Большинство калькуляторов ориентированы на конверсию в покупку. Если данных по конверсиям мало, можно ориентироваться на CTR и использовать калькулятор Mindbox.

С помощью Mindbox можно рассчитать выборку для 2–5 вариантов по следующим показателям:

• Open Rate — доля открытых писем;
• Click Rate — по сути, CTR для объявлений;
• Conversion Rate — конверсия в заказы;
• Конверсия в другие целевые действия.

Пример: средний Open Rate — 15 %, ожидаемый прирост — 30 %. Размер выборки для каждого варианта составит 2224 человека. При тестировании конверсии в заказы (средняя конверсия 5 %) выборка вырастет до 29 827 человек на группу.

Чем ближе метрика к деньгам, тем показательнее результаты, но тем больше требуется трафика. Поэтому при ограниченном бюджете часто начинают с Click Rate или Open Rate.

Как определить размер выборки

Метод SurveyMonkey

Компания SurveyMonkey предлагает определять размер выборки по таблице с учётом уровня доверия и погрешности. Пример расчёта для интернет-магазина электроинструментов в Курске:

1. Определяем генеральную совокупность с помощью myTarget — мужчины 25–70 лет из Курска, интересующиеся ремонтом и строительством. Получаем диапазон 34 000–108 000 человек.
2. Выбираем уровень доверия 99 % и погрешность 1 %.
3. По таблице для аудитории ~100 000 человек подходящая выборка — 660 человек.
4. При средней конверсии 12 % необходимо показать объявления 5500 пользователям на каждый вариант.

Optimizely

В калькуляторе Optimizely при тех же исходных данных (CR = 12 %, минимальное изменение 14 %, доверие 99 %) получаем 5300 человек на контрольную группу — результат очень близкий к методу SurveyMonkey.

Mindbox

Калькулятор Mindbox при тех же условиях даёт 6166 человек на группу. Цифры сопоставимы, а сам инструмент позволяет учитывать мощность теста и работать с метриками Click Rate и Open Rate.

Основные сложности при расчёте выборки

Недостаточное количество просмотров

При низком трафике можно снизить уровень доверия (до 80 %) и мощность. Это уменьшит требуемый размер выборки, сохранив статистическую значимость.

Узкая тематика

В нишах с низким трафиком рекомендуется тестировать Click Rate вместо Conversion Rate и снижать показатели достоверности. Такой подход позволяет сократить выборку в несколько раз.

Низкий бюджет

При ограниченном бюджете стоит тестировать кардинально разные варианты объявлений и использовать системы автоматизации для быстрого создания креативов.

Высокий бюджет

При большом бюджете можно тестировать три и более групп одновременно, однако важно следить, чтобы затраты на тестирование не превышали ожидаемый эффект.

Советы по расчёту выборки

• Наберитесь терпения — для значимых результатов может потребоваться 2 недели или несколько тысяч посещений.
• Будьте последовательны в определении целевой аудитории.
• Устанавливайте высокий уровень достоверности, чтобы результаты теста оставались значимыми.

До новых встреч!