Маркетинг в целом
Кампании и объявления
Результаты и аналитика
Начинающим

Проведение A/B-тестирований — все о методах сплит-тестирования

ID
Проведение A/B-тестирований — все о методах сплит-тестирования OneSpot
OneSpot One

A/B-тестирование — это маркетинговый инструмент, который помогает выбрать наиболее эффективное решение какой-либо задачи с помощью сравнения двух вариантов. Другое название метода — сплит-тестирование. Его широко используют в интернет-маркетинге и рекламе для проверки новых функций площадок, выбора наиболее эффективного креатива, изучения поведения пользователей. В нашей статье разбираемся, как использовать этот метод в своих проектах.

Кому нужно A/B-тестирование, и что им можно проверить?

Метод обычно используют в маркетинге и рекламе. Тестирование может проводиться перед запуском сайта, рекламной кампании или внесением изменений в уже действующий проект. Чаще других исследование проводят следующие специалисты.

  • Маркетологи проводят A/B-эксперименты для проверки гипотез при разработке стратегии продвижения. Они могут отследить, на какие визуальные и текстовые элементы маркетинговой кампании или рекламы аудитория реагирует лучше, а затем запустить наиболее удачные объявления. Это сэкономит ресурсы компании и повысит эффективность продвижения. Например, с помощью сплит-теста можно повысить показатель CTR (кликабельность объявления).
  • Продакт-менеджеры используют A/B-тесты для изучения реакции пользователей при выводе на рынок новых и модернизации уже существующих продуктов, формировании и изменении ассортиментной политики и ценовых моделей, оптимизации воронки продаж. В этом случае тестирование помогает адаптировать продукт и ассортимент компании под потребности аудитории, снизить инновационные и коммерческие риски, оптимизировать расходы на реализацию нововведений.
  • Дизайнеры продуктов изучают взаимодействие пользователя с продуктом, тестируют новые визуальные решения. Например, цвета и структуру интерфейса, графику, шрифты. Результаты исследования помогают определить, насколько удобным будет новый дизайн, как на изменения отреагируют юзеры.
📌 Важно: умение проводить A/B-тестирование может пригодиться и другим специалистам, которые взаимодействуют с сайтами и приложениями, — администраторам, вебмастерам, UX-писателям, UX-исследователям, аналитикам.

Как работает A/B-тестирование в рекламе?

На успех рекламной кампании влияют разные факторы, поэтому невозможно наверняка узнать, как отреагирует аудитория на креативы. Спасают сплит-тесты. Они позволяют дать прогноз, каким будет отклик пользователей. После этого можно запустить наиболее эффективные объявления, что повысит шансы на успех.

Например, с помощью A/B-теста можно сравнить два варианта рекламного объявления с одинаковой аудиторией и одинаковым текстом, но в одном использовать рекламную запись с кнопкой перехода в интернет-магазин, а в другом — без нее. После запуска теста необходимо дождаться результатов и оценить статистику по каждой рекламной записи.

По предложенному алгоритму можно протестировать и другие параметры объявления, например, полностью рекламный креатив или настройки аудитории. Это поможет понять, какие объявления лучше решают задачи бизнеса.

Пример A/B-теста в рекламе

Тестировать рекламные кампании с помощью A/B-теста можно на любых площадках. Например, на платформе myTarget, которая предназначена для размещения рекламы в социальных сетях ВКонтакте, Одноклассники и других проектах компании VK, можно выполнить детальную настройку эксперимента по заданным параметрам и проверить гипотезу на целевой аудитории.

Настройка A/B-тестирования в myTarget

Как проводить A/B-тесты? Этапы проведения

Сплит-тесты проводятся по определенному алгоритму. Чтобы полученные результаты оказались точными, необходимо уделить внимание каждому этапу.

Определите цели тестирования

Первое, с чего следует начать — это определить бизнес-задачи компании и убедиться, что цели сплит-тестирования с ними совпадают. В качестве целей могут выступать увеличение объема продаж, повышение узнаваемости бренда, улучшение конверсии сайта.

Предположим, вы — менеджер проекта, который находится на стадии стартапа. Перед вами стоит задача — увеличить количество активных пользователей (повысить метрику DAU, обозначающую отношение количества ежедневных активных пользователей к количеству ежемесячных активных пользователей, выраженную в процентах). Вы полагаете, что добиться результата можно двумя путями: за счет улучшения показателей удержания пользователей или с помощью увеличения количества новых регистраций.

В процессе A/B-тестирования воронки обнаруживаете, что большой процент пользователей уходит с сайта еще до завершения регистрации. Таким образом, можно сделать вывод, что изменение страницы регистрации должно помочь увеличить количество активных пользователей.

Определите тестируемые метрики

Метрики — это показатели, по которым оценивается эффективность каждого исследуемого варианта. В маркетинге много метрик: кликабельность объявлений (CTR), конверсия (CR), цена за клик (CPC), рентабельность рекламных расходов (ROAS) и другие показатели, о которых мы подробно рассказали в статье «Все показатели эффективности рекламы: оценка рекламных кампаний».

Для A/B-тестирования достаточно выбрать 1–3 метрики, так как при большом количестве показателей определить эффект теста будет сложнее. Например, чтобы оценить эффективность рекламного объявления, цель которого — вступления в группу, можно взять показатели CTR, CPC, CPS.

Продвигайте бизнес через Яндекс Директ, ВКонтакте, Одноклассники, Telegram, Авито и оплачивайте рекламу в одном окне через OneSpot. Получайте кешбэк и тратьте его на запуск рекламы.

Подробнее
OneSpot

Разработайте гипотезу

На этапе разработки гипотезы необходимо определить, что именно поменяется (на странице сайта, в приложении, рекламном объявлении) и что вы собираетесь проверять. Разберем на примере, как выдвинуть гипотезу при подготовке A/B-теста рекламного объявления.

Для проведения рекламной кампании нужно разработать новый дизайн кнопки призыва к действию (Call-To-Action). Есть несколько параметров, которые можете протестировать: саму фразу, шрифт, цвет кнопки. Допустим, сначала решили поменять цвет кнопки с зеленого (вариант А) на красный (вариант B). В таком случае можете выдвинуть три гипотезы:

  • изменение цвета кнопки увеличит количество кликов;
  • изменение цвета кнопки сократит количество кликов;
  • цвет кнопки существенно не повлияет на кликабельность объявления.

Для того чтобы эксперимент оказался максимально точным, лучше проверять каждый параметр отдельно от других. Если вы подготовите два сильно отличающихся друг от друга варианта (с разными призывами, шрифтами, визуальным оформлением), будет трудно понять, что повлияло на выбор пользователей, и сложно интерпретировать результаты теста.

Читайте также: Призывы к действию (CTA) — примеры call-to-action в рекламе

Подготовьте эксперимент

Точность эксперимента во многом зависит от тщательности подготовки, так что уделите этому этапу внимание. Чтобы создать A/B-тестирование, выполните следующие действия.

  1. Подготовьте две версии продукта или объявления, которые будете тестировать, — вариант A и вариант B.
  2. Выберите аудиторию для тестирования по типам пользователей, географическому положению, платформе и разбейте ее на две равные группы.
  3. Определите минимальный размер выборки с помощью специального калькулятора. Обратите внимание: для получения статистически значимых результатов необходим достаточно большой размер выборки.
  4. Задайте период тестирования. Чтобы его рассчитать, разделите общий размер выборки на ваш ежедневный трафик. Результатом будет количество дней, необходимое для проведения теста.

Проведите эксперимент

Перед началом исследования проверьте все данные. Если ошибок нет, запускайте тест. Убедитесь в первый день, что все работает, и дожидайтесь результатов. Как правило, срок тестирования не превышает 10–14 дней, но иногда, например, при большом размере выборки и невысоком трафике, исследование может занять 3–4 недели.

Анализируйте результаты

Результатом A/B-теста может стать подтверждение одной из выдвинутых гипотез. Вернемся к нашему примеру с цветом кнопки и рассмотрим, какие результаты мы можем получить по итогам эксперимента.

  1. Изменение цвета кнопки привело к повышению кликабельности объявления. В этом случае эксперимент прошел успешно, можно внести изменения в дизайн и запустить рекламную кампанию.
  2. Изменение цвета кнопки привело к снижению CTR. Эксперимент не удался –  следует оставить цвет без изменения и поискать другие пути увеличения кликабельности.
  3. Изменение цвета кнопки никак не повлияло на кликабельность. В этом случае стоит провести лучше исследовать пользователей, чтобы разобраться, почему новый вариант не работает так, как ожидалось.

Для быстрой проверки достоверности эксперимента можно воспользоваться калькулятором Яндекс Директ, который позволит сравнить результаты A/B-теста и определить наиболее эффективный вариант.

Пример расчета эффективности A/B-теста на калькуляторе Яндекс Директ
Читайте также: Аналитика рекламы в Telegram Ads

Инструменты для A/B тестирования

Функция для проведения A/B-тестов есть в готовых аналитических сервисах, таких как Яндекс Метрика и Google Analytics. Они универсальны и вполне подходят для несложного маркетингового анализа и типовых сплит-тестов. Рассмотрим их подробнее.

Яндекс Метрика

Для проведения A/B-тестов в интерфейсе Яндекс Метрики реализован специальный инструмент — Varioqub. С его помощью можно проводить A/B-тестирование сайта, сравнивать несколько вариантов посадочной страницы и отдельных элементов проекта.

Инструмент Яндекс Метрика для A/B тестов — Varioqub

Как работает Varioqub?

Чтобы провести A/B-тестирование с помощью Varioqub необходимо добавить код сервиса к себе на сайт, создать эксперимент, выбрать название, условия и метрики эксперимента, добавить два варианта, которые вы хотите протестировать. Вносить изменения в проект можно прямо в интерфейсе сервиса. Например, если тестируете два варианта посадочной страницы, то можете здесь же поменять цвет фона, заголовки и тексты кнопок.

После выполнения всех настроек можно запускать исследование. Во время эксперимента каждый пользователь получает идентификатор, по которому Varioqub определяет, какой из вариантов будет показан. Действия пользователей логируются через счетчик Яндекс Метрики.

По итогам эксперимента Varioqub считает метрики и определяет, какая версия лучше. На панели результатов можно посмотреть детализацию по выбранным метрикам, которая покажет, какие изменения положительно повлияют на проект.

Плюсы и минусы Varioqub

Плюсы инструмента:

  • подходит для тестирования сайтов разной конфигурации: от одностраничной визитки до сайта с большой архитектурой;
  • несложные настройки, с которыми может разобраться начинающий пользователь;
  • возможность внесения изменений в интерфейсе сервиса;
  • подробная детализация результатов эксперимента.

Минусы инструмента:

  •  нет возможности проведения A/B-тестов в мобильных приложениях;
  •  ограниченный набор функций в базовом тарифе;
  •  высокая стоимость расширенного тарифа – от 100000 рублей в месяц (на декабрь 2023 года).

Google Analytics

Функция проведения A/B-тестов входит в бесплатную версию Google Analytics и доступна всем пользователям сервиса. Инструмент для тестирования находится во вкладке «Мои отчеты» → «Поведение» → «Эксперименты».

Как провести A/B-тест в Google Analytics?

В разделе «Эксперименты» создайте новый эксперимент, введите название и цель, задайте процент и распределение трафика, участвующего в тестировании, время проведения и порог достоверности. Если хотите получать уведомления о ходе тестирования, следует указать адрес электронной почты. Далее нужно ввести URL адреса страниц, которые будете проверять, код эксперимента и запустить A/B-тест.

В процессе исследования Google Analytics будет замерять результаты два раза в день и определять, какой вариант является эффективным. По итогам эксперимента данные сплит-теста будут отражены в разделе «Статистика».

Результаты A/B-теста в Google Analytics

 Плюсы и минусы A/B-тестов в Google Analytics

Плюсы инструмента:

  • бесплатно;
  • простой интерфейс;
  • возможность одновременного тестирования до 35 страниц или отдельных элементов сайта;
  • уведомление на почту об изменениях во время эксперимента.

Минусы инструмента:

  • отсутствие визуального редактора;
  • не работает с мобильными приложениями.

Другие системы аналитики

Помимо Varioqub и Google Analytics, существуют и другие сервисы для проведения A/B-тестов. Например, ChangeAgain, A/B Tasty, VWO, Hubspot, Optimizely. Они отличаются функционалом, вариативностью настроек и стоимостью. Для простых тестирований вполне подойдут бесплатные сервисы со стандартным набором функций. Если же вы проводите мультивариантные эксперименты, и необходима развернутая аналитика, то имеет смысл выбрать платную платформу с гибкими настройками и хорошим визуальным редактором. Кроме того, для проведения сплит-тестов можно использовать собственные системы сквозной аналитики, которые позволяют собирать, объединять и анализировать данные о рекламных кампаниях.

Читайте также: Сквозная аналитика в рекламе и маркетинге

Советы по проведению A/B-тестов 

  1. Перед запуском тестирования определите метрики, разработайте гипотезу и подготовьте эксперимент. Тщательное планирование и подготовка помогут получить максимально точные результаты и исключить ошибки.
  2. Если у вас не так много опыта и нет навыков программирования, используйте готовые инструменты аналитических систем Яндекс Метрика и Google Analytics. Они имеют простые настройки и понятный интерфейс, при этом позволяют оценить эффективность каждого варианта и целесообразность планируемых изменений.
  3. Независимо от результатов исследования, относитесь к каждому эксперименту как к возможности для обучения. Используйте полученный опыт для разработки последующих гипотез.

Доступ к материалу откроется сразу после заполнения формы

Text Link
Данные успешно отправлены!
Поле заполнено не верно!

Доступ к материалу откроется после заполнения формы

Text Link
Данные успешно отправлены!
Поле заполнено не верно!
Рассчитать бюджет на Telegram Ads
Как рассчитывается курс евро?
Курс для оплаты Telegram
__
Курс по ЦБ на сегодня
__
3 ₽
Базовый тариф
Недвижимость
Образование
Криптовалюта
У вас есть рекламный кабинет Telegram Ads?
Еще нет
Уже есть
Для первого запуска минимальный бюджет на Telegram Ads – 500 евро
Хочу потратить на Telegram Ads
Комиссия OneSpot 20%
Комиссия 20% списывается в момент пополнения рекламного кабинета Telegram Ads со счета в OneSpot. Остальные площаки пополняются без комиссии.
__
НДС 20%
НДС 20% списывается в момент пополнения счета в OneSpot
__
Сколько нужно оплатить?
Анализируйте рекламу на всех площадках в одном окне
Узнать больше

Предыдущий пост

Следующий пост

Площадка

Заголовок

Id

Ищете что-то более старое? А его нет.

Смотреть актуальные
Площадка

Заголовок

Id

Уже пишем новую статью!

Смотреть другие
Яндекс

Советы по настройке рекламы в Яндекс Навигаторе

ID
Telegram

Как в Telegram принимать оплату за рекламные размещения

ID
Маркетинг в целом

Разбираемся в основах SEO-продвижения

ID
Яндекс

Для чего нужны UTM-метки в Яндекс Директе

ID
ВКонтакте

Служба поддержки VK, помоги!

ID
Telegram

Как искать каналы в Telegram для рекламного размещения

ID
Telegram

Учимся создавать рекламные посты в Telegram-каналах

ID
ВКонтакте

Прямые трансляции ВКонтакте — как настроить и провести

ID
Telegram

Зарабатываем на Telegram правильно

ID
Яндекс

Что такое операторы соответствия в Яндекс Директе и как их использовать

ID
Маркетинг в целом

Суть индекса потребительской лояльности

ID
ВКонтакте

Запускаем рекламу в Дзене: инструкция по настройке и советы

ID
Маркетинг в целом

Продвижение и реклама онлайн-школ и курсов

ID
ВКонтакте

Составляем контент-план для VK правильно

ID
Google

Google Tag Manager (GTM) — подключение и настройка

ID
Маркетинг в целом

Продвижение и онлайн реклама салонов красоты

ID
Telegram

Взломали аккаунт в Telegram? Расскажем, как решить проблему

ID
Яндекс

Как рассчитать бюджет для Яндекс Директа

ID
ВКонтакте

Как размещать рекламу в Маркет-платформе ВКонтакте

ID
Telegram

Как добавить эмодзи в объявление в Telegram Ads

ID
ВКонтакте

Как правильно загружать товары в магазин ВКонтакте

ID
Маркетинг в целом

Продвижение и реклама агентств недвижимости и объектов

ID
Маркетинг в целом

Реклама и иноагенты — разбираем новый закон

ID
Маркетинг в целом

Федеральный закон о рекламе: кратко самое главное

ID
Яндекс

Как монетизировать свой сайт с Яндекс Дистрибуцией

ID
Telegram

Как смотреть статистику Telegram-каналов

ID
Маркетинг в целом

Реклама и продвижение мероприятий и event-агентств

ID
Яндекс

Автостратегии в Яндекс Директ и РСЯ

ID
Telegram

Сколько стоит реклама в Telegram?

ID
Маркетинг в целом

Бенчмаркинг в маркетинге

ID
Telegram

Как в Telegram правильно делать ссылки

ID
Яндекс

Что такое Яндекс Datalens

ID
Маркетинг в целом

Зачем бизнесу нужна карта пути клиента (CJM)

ID
Telegram

Как увеличить конверсию из регистрации в клиента на 10%

ID
ВКонтакте

Что такое сторис в VK?

ID
Маркетинг в целом

Все о рекламных бюджетах — способы и методы формирования бюджетов на рекламу

ID
Telegram

Ведение канала в Telegram – инструкция для маркетолога

ID
Маркетинг в целом

Особенности b2b маркетинга и рекламы

ID
Telegram

Продвижение сайта в Telegram Ads: 884 регистрации за месяц на курс по нутрициологии

ID
ВКонтакте

Голосование VK — что это такое и как правильно провести

ID
Маркетинг в целом

Лидогенерация: что это такое, способы генерации лидов

ID
Яндекс

Модели атрибуции в Яндекс Директ

ID
Telegram

Инструкция, как добавить комментарии в Telegram-канал

ID
Telegram

Как Telegram Ads помог магазину дизайнерской мебели повысить продажи на 30%

ID
Яндекс

Реклама мобильных приложений в Яндекс Директ

ID
Telegram

Как сделать канал в Telegram и правильно его настроить

ID
Маркетинг в целом

Что такое SERM в маркетинге

ID
Маркетинг в целом

Целевая аудитория — определение и описание ЦА, примеры

ID
ВКонтакте

Чем отличаются сообщества во ВК

ID
Маркетинг в целом

CustDev — что это, как провести кастдев

ID
Маркетинг в целом

Коллтрекинг — как работает, виды и советы по выбору коллтрекинга

ID
Telegram

Используйте эти обновления Telegram Ads, чтобы получить больше заявок

ID
Маркетинг в целом

UGC контент — что это, примеры пользовательского контента

ID
Telegram

Как продвинуть свой сайт в Telegram Ads

ID
Яндекс

Управление ставками в Яндекс Директ

ID
Яндекс

Центр конверсий в Яндекс Директ — что это и как настроить

ID
Яндекс

Агентские аккаунты в Яндекс Директ

ID
Маркетинг в целом

Сторителлинг — что это, как написать, примеры историй

ID
Маркетинг в целом

Управление репутацией в сети — как ответить на отзыв?

ID
Telegram

Кейс с розыгрышем в Telegram: пригласили в канал клиентов и получили подписчика за 40 рублей

ID
Маркетинг в целом

Проведение A/B-тестирований — все о методах сплит-тестирования

ID
Яндекс

Как сделать турбо-сайт (турбо-страницы) в Яндекс Директ

ID
Маркетинг в целом

Контент-маркетинг — что это, его задачи и виды, инструкция по внедрению

ID
Маркетинг в целом

Медицинский маркетинг и реклама медицинских услуг

ID
Яндекс

Чем отличается РСЯ от поиска Яндекса?

ID
Маркетинг в целом

Как прогреть аудиторию и что такое прогревающая воронка в социальных сетях?

ID
Яндекс

Рекламная подписка Яндекса: что это такое, как работает и сколько стоит?

ID
Маркетинг в целом

Маркетинг и продвижение стоматологии

ID
Яндекс

РСЯ и Яндекс Директ — отличия и разница

ID
Маркетинг в целом

Отдел маркетинга: чем занимается, структура и функции отдела

ID
Яндекс

Мастер кампаний в Яндекс Директ — что это и как настроить

ID
VK Реклама

Как дать доступ к рекламному кабинету ВКонтакте?

ID
Яндекс

CTR в Яндекс Директ — как повысить CTR и какой считается хорошим?

ID
Telegram

Как выбрать каналы для продвижения через Telegram Ads

ID
VK Реклама

Реклама мобильных приложений в новом кабинете VK Реклама

ID
Маркетинг в целом

Продающие заголовки — как написать цепляющий рекламный заголовок, примеры

ID
Яндекс

Смарт-баннеры в Яндекс Директ

ID
Маркетинг в целом

Закон о маркировке рекламы с 1 сентября 2023: важные обновления

ID
Маркетинг в целом

Баннерная реклама в интернете — виды, примеры, плюсы и минусы

ID
Маркетинг в целом

Что такое охват аудитории в рекламе и как посчитать охваты?

ID
Telegram

Как сделать рассылку в Telegram?

ID
Маркетинг в целом

LTV в маркетинге — что это, как считать показатель LTV клиента

ID
Telegram

UTM-метки для Telegram

ID
VK Реклама

Реклама сайта в новом кабинете VK Реклама

ID
Маркетинг в целом

Tone of voice — что это такое, примеры тона бренда

ID
Маркетинг в целом

Расходы на рекламу в бухгалтерском учете

ID
Яндекс

Как посмотреть рекламу конкурентов в Яндекс Директ

ID
Маркетинг в целом

Реклама и продвижение интернет-магазинов

ID
Маркетинг в целом

Баннерная слепота — что это и как сделать баннер заметным

ID
Яндекс

Размеры баннеров для РСЯ, требования и форматы

ID
Маркетинг в целом

Что такое нативная реклама — виды, форматы и примеры

ID
Яндекс

Настройка РСЯ в Яндекс Директе: пошаговая инструкция

ID
VK Реклама

Реклама в клипах и историях ВКонтакте — форматы, требования и как запустить

ID
Telegram

Инструкция: как создать магазин в Telegram и продавать товары в канале?

ID
ВКонтакте

Как посмотреть статистику страниц и групп ВКонтакте?

ID
VK Реклама

Как перенести аудиторию в новый рекламный кабинет ВКонтакте

ID
Telegram

Кейс врача в Telegram Ads: как пройти модерацию в медицинской тематике и привести 7633 подписчика за 2,5 месяца

ID
Яндекс

Почему нет показов в Яндекс Директ или их мало?

ID
ВКонтакте

Запускаем кампанию с лид-формой ВКонтакте: пошаговое руководство

ID
Яндекс

Автотаргетинг в Яндекс Директ: как работает и как настроить?

ID

Последние вебинары

Скопировано в буфер