Проведение A/B-тестирований — все о методах сплит-тестирования

A/B-тестирование — это маркетинговый инструмент, который помогает выбрать наиболее эффективное решение какой-либо задачи с помощью сравнения двух вариантов. Другое название метода — сплит-тестирование. Его широко используют в интернет-маркетинге и рекламе для проверки новых функций площадок, выбора наиболее эффективного креатива, изучения поведения пользователей. В нашей статье разбираемся, как использовать этот метод в своих проектах.

Кому нужно A/B-тестирование, и что им можно проверить?

Метод обычно используют в маркетинге и рекламе. Тестирование может проводиться перед запуском сайта, рекламной кампании или внесением изменений в уже действующий проект. Чаще других исследование проводят следующие специалисты.

• Маркетологи проводят A/B-эксперименты для проверки гипотез при разработке стратегии продвижения. Они могут отследить, на какие визуальные и текстовые элементы маркетинговой кампании или рекламы аудитория реагирует лучше, а затем запустить наиболее удачные объявления. Это сэкономит ресурсы компании и повысит эффективность продвижения. Например, с помощью сплит-теста можно повысить показатель CTR (кликабельность объявления).
• Продакт-менеджеры используют A/B-тесты для изучения реакции пользователей при выводе на рынок новых и модернизации уже существующих продуктов, формировании и изменении ассортиментной политики и ценовых моделей, оптимизации воронки продаж. В этом случае тестирование помогает адаптировать продукт и ассортимент компании под потребности аудитории, снизить инновационные и коммерческие риски, оптимизировать расходы на реализацию нововведений.‍
• Дизайнеры продуктов изучают взаимодействие пользователя с продуктом, тестируют новые визуальные решения. Например, цвета и структуру интерфейса, графику, шрифты. Результаты исследования помогают определить, насколько удобным будет новый дизайн, как на изменения отреагируют юзеры.

Как работает A/B-тестирование в рекламе?

На успех рекламной кампании влияют разные факторы, поэтому невозможно наверняка узнать, как отреагирует аудитория на креативы. Спасают сплит-тесты. Они позволяют дать прогноз, каким будет отклик пользователей. После этого можно запустить наиболее эффективные объявления, что повысит шансы на успех.

Например, с помощью A/B-теста можно сравнить два варианта рекламного объявления с одинаковой аудиторией и одинаковым текстом, но в одном использовать рекламную запись с кнопкой перехода в интернет-магазин, а в другом — без нее. После запуска теста необходимо дождаться результатов и оценить статистику по каждой рекламной записи.

По предложенному алгоритму можно протестировать и другие параметры объявления, например, полностью рекламный креатив или настройки аудитории. Это поможет понять, какие объявления лучше решают задачи бизнеса.

Тестировать рекламные кампании с помощью A/B-теста можно на любых площадках. Например, на платформе myTarget, которая предназначена для размещения рекламы в социальных сетях ВКонтакте, Одноклассники и других проектах компании VK, можно выполнить детальную настройку эксперимента по заданным параметрам и проверить гипотезу на целевой аудитории.

Как проводить A/B-тесты? Этапы проведения

Сплит-тесты проводятся по определенному алгоритму. Чтобы полученные результаты оказались точными, необходимо уделить внимание каждому этапу.

Определите цели тестирования

Первое, с чего следует начать — это определить бизнес-задачи компании и убедиться, что цели сплит-тестирования с ними совпадают. В качестве целей могут выступать увеличение объема продаж, повышение узнаваемости бренда, улучшение конверсии сайта.

Предположим, вы — менеджер проекта, который находится на стадии стартапа. Перед вами стоит задача — увеличить количество активных пользователей (повысить метрику DAU, обозначающую отношение количества ежедневных активных пользователей к количеству ежемесячных активных пользователей, выраженную в процентах). Вы полагаете, что добиться результата можно двумя путями: за счет улучшения показателей удержания пользователей или с помощью увеличения количества новых регистраций.

В процессе A/B-тестирования воронки обнаруживаете, что большой процент пользователей уходит с сайта еще до завершения регистрации. Таким образом, можно сделать вывод, что изменение страницы регистрации должно помочь увеличить количество активных пользователей.

Определите тестируемые метрики

Метрики — это показатели, по которым оценивается эффективность каждого исследуемого варианта. В маркетинге много метрик: кликабельность объявлений (CTR), конверсия (CR), цена за клик (CPC), рентабельность рекламных расходов (ROAS) и другие показатели, о которых мы подробно рассказали в статье «Все показатели эффективности рекламы: оценка рекламных кампаний».

Для A/B-тестирования достаточно выбрать 1–3 метрики, так как при большом количестве показателей определить эффект теста будет сложнее. Например, чтобы оценить эффективность рекламного объявления, цель которого — вступления в группу, можно взять показатели CTR, CPC, CPS.

Продвигайте бизнес через Яндекс Директ, ВКонтакте, Одноклассники, Telegram, Авито и оплачивайте рекламу в одном окне через OneSpot. Получайте кешбэк и тратьте его на запуск рекламы.

Подробнее

Разработайте гипотезу

На этапе разработки гипотезы необходимо определить, что именно поменяется (на странице сайта, в приложении, рекламном объявлении) и что вы собираетесь проверять. Разберем на примере, как выдвинуть гипотезу при подготовке A/B-теста рекламного объявления.

Для проведения рекламной кампании нужно разработать новый дизайн кнопки призыва к действию (Call-To-Action). Есть несколько параметров, которые можете протестировать: саму фразу, шрифт, цвет кнопки. Допустим, сначала решили поменять цвет кнопки с зеленого (вариант А) на красный (вариант B). В таком случае можете выдвинуть три гипотезы:

• изменение цвета кнопки увеличит количество кликов;
• изменение цвета кнопки сократит количество кликов;
• цвет кнопки существенно не повлияет на кликабельность объявления.

Для того чтобы эксперимент оказался максимально точным, лучше проверять каждый параметр отдельно от других. Если вы подготовите два сильно отличающихся друг от друга варианта (с разными призывами, шрифтами, визуальным оформлением), будет трудно понять, что повлияло на выбор пользователей, и сложно интерпретировать результаты теста.

Читайте также: Призывы к действию (CTA) — примеры call-to-action в рекламе

Подготовьте эксперимент

Точность эксперимента во многом зависит от тщательности подготовки, так что уделите этому этапу внимание. Чтобы создать A/B-тестирование, выполните следующие действия.

1. Подготовьте две версии продукта или объявления, которые будете тестировать, — вариант A и вариант B.
2. Выберите аудиторию для тестирования по типам пользователей, географическому положению, платформе и разбейте ее на две равные группы.
3. Определите минимальный размер выборки с помощью специального калькулятора. Обратите внимание: для получения статистически значимых результатов необходим достаточно большой размер выборки.
4. Задайте период тестирования. Чтобы его рассчитать, разделите общий размер выборки на ваш ежедневный трафик. Результатом будет количество дней, необходимое для проведения теста.

Проведите эксперимент

Перед началом исследования проверьте все данные. Если ошибок нет, запускайте тест. Убедитесь в первый день, что все работает, и дожидайтесь результатов. Как правило, срок тестирования не превышает 10–14 дней, но иногда, например, при большом размере выборки и невысоком трафике, исследование может занять 3–4 недели.

Анализируйте результаты

Результатом A/B-теста может стать подтверждение одной из выдвинутых гипотез. Вернемся к нашему примеру с цветом кнопки и рассмотрим, какие результаты мы можем получить по итогам эксперимента.

1. Изменение цвета кнопки привело к повышению кликабельности объявления. В этом случае эксперимент прошел успешно, можно внести изменения в дизайн и запустить рекламную кампанию.
2. Изменение цвета кнопки привело к снижению CTR. Эксперимент не удался –  следует оставить цвет без изменения и поискать другие пути увеличения кликабельности.
3. Изменение цвета кнопки никак не повлияло на кликабельность. В этом случае стоит провести лучше исследовать пользователей, чтобы разобраться, почему новый вариант не работает так, как ожидалось.

Для быстрой проверки достоверности эксперимента можно воспользоваться калькулятором Яндекс Директ, который позволит сравнить результаты A/B-теста и определить наиболее эффективный вариант.

Читайте также: Аналитика рекламы в Telegram Ads

Инструменты для A/B тестирования

Функция для проведения A/B-тестов есть в готовых аналитических сервисах, таких как Яндекс Метрика и Google Analytics. Они универсальны и вполне подходят для несложного маркетингового анализа и типовых сплит-тестов. Рассмотрим их подробнее.

Яндекс Метрика

Для проведения A/B-тестов в интерфейсе Яндекс Метрики реализован специальный инструмент — Varioqub. С его помощью можно проводить A/B-тестирование сайта, сравнивать несколько вариантов посадочной страницы и отдельных элементов проекта.

Как работает Varioqub?

Чтобы провести A/B-тестирование с помощью Varioqub необходимо добавить код сервиса к себе на сайт, создать эксперимент, выбрать название, условия и метрики эксперимента, добавить два варианта, которые вы хотите протестировать. Вносить изменения в проект можно прямо в интерфейсе сервиса. Например, если тестируете два варианта посадочной страницы, то можете здесь же поменять цвет фона, заголовки и тексты кнопок.

После выполнения всех настроек можно запускать исследование. Во время эксперимента каждый пользователь получает идентификатор, по которому Varioqub определяет, какой из вариантов будет показан. Действия пользователей логируются через счетчик Яндекс Метрики.

По итогам эксперимента Varioqub считает метрики и определяет, какая версия лучше. На панели результатов можно посмотреть детализацию по выбранным метрикам, которая покажет, какие изменения положительно повлияют на проект.

Плюсы и минусы Varioqub

Плюсы инструмента:

• подходит для тестирования сайтов разной конфигурации: от одностраничной визитки до сайта с большой архитектурой;
• несложные настройки, с которыми может разобраться начинающий пользователь;
• возможность внесения изменений в интерфейсе сервиса;
• подробная детализация результатов эксперимента.

Минусы инструмента:

•  нет возможности проведения A/B-тестов в мобильных приложениях;
•  ограниченный набор функций в базовом тарифе;
•  высокая стоимость расширенного тарифа – от 100000 рублей в месяц (на декабрь 2023 года).

Google Analytics

Функция проведения A/B-тестов входит в бесплатную версию Google Analytics и доступна всем пользователям сервиса. Инструмент для тестирования находится во вкладке «Мои отчеты» → «Поведение» → «Эксперименты».

Как провести A/B-тест в Google Analytics?

В разделе «Эксперименты» создайте новый эксперимент, введите название и цель, задайте процент и распределение трафика, участвующего в тестировании, время проведения и порог достоверности. Если хотите получать уведомления о ходе тестирования, следует указать адрес электронной почты. Далее нужно ввести URL адреса страниц, которые будете проверять, код эксперимента и запустить A/B-тест.

В процессе исследования Google Analytics будет замерять результаты два раза в день и определять, какой вариант является эффективным. По итогам эксперимента данные сплит-теста будут отражены в разделе «Статистика».

 Плюсы и минусы A/B-тестов в Google Analytics

Плюсы инструмента:

• бесплатно;
• простой интерфейс;
• возможность одновременного тестирования до 35 страниц или отдельных элементов сайта;
• уведомление на почту об изменениях во время эксперимента.

Минусы инструмента:

• отсутствие визуального редактора;
• не работает с мобильными приложениями.

Другие системы аналитики

Помимо Varioqub и Google Analytics, существуют и другие сервисы для проведения A/B-тестов. Например, ChangeAgain, A/B Tasty, VWO, Hubspot, Optimizely. Они отличаются функционалом, вариативностью настроек и стоимостью. Для простых тестирований вполне подойдут бесплатные сервисы со стандартным набором функций. Если же вы проводите мультивариантные эксперименты, и необходима развернутая аналитика, то имеет смысл выбрать платную платформу с гибкими настройками и хорошим визуальным редактором. Кроме того, для проведения сплит-тестов можно использовать собственные системы сквозной аналитики, которые позволяют собирать, объединять и анализировать данные о рекламных кампаниях.

Читайте также: Сквозная аналитика в рекламе и маркетинге

Советы по проведению A/B-тестов 

1. Перед запуском тестирования определите метрики, разработайте гипотезу и подготовьте эксперимент. Тщательное планирование и подготовка помогут получить максимально точные результаты и исключить ошибки.
2. Если у вас не так много опыта и нет навыков программирования, используйте готовые инструменты аналитических систем Яндекс Метрика и Google Analytics. Они имеют простые настройки и понятный интерфейс, при этом позволяют оценить эффективность каждого варианта и целесообразность планируемых изменений.
3. Независимо от результатов исследования, относитесь к каждому эксперименту как к возможности для обучения. Используйте полученный опыт для разработки последующих гипотез.