Маркетинг в целом
Кампании и объявления
Результаты и аналитика
Начинающим

Проведение A/B-тестирований — все о методах сплит-тестирования

ID
Проведение A/B-тестирований — все о методах сплит-тестирования OneSpot
OneSpot One

A/B-тестирование — это маркетинговый инструмент, который помогает выбрать наиболее эффективное решение какой-либо задачи с помощью сравнения двух вариантов. Другое название метода — сплит-тестирование. Его широко используют в интернет-маркетинге и рекламе для проверки новых функций площадок, выбора наиболее эффективного креатива, изучения поведения пользователей. В нашей статье разбираемся, как использовать этот метод в своих проектах.

Кому нужно A/B-тестирование, и что им можно проверить?

Метод обычно используют в маркетинге и рекламе. Тестирование может проводиться перед запуском сайта, рекламной кампании или внесением изменений в уже действующий проект. Чаще других исследование проводят следующие специалисты.

  • Маркетологи проводят A/B-эксперименты для проверки гипотез при разработке стратегии продвижения. Они могут отследить, на какие визуальные и текстовые элементы маркетинговой кампании или рекламы аудитория реагирует лучше, а затем запустить наиболее удачные объявления. Это сэкономит ресурсы компании и повысит эффективность продвижения. Например, с помощью сплит-теста можно повысить показатель CTR (кликабельность объявления).
  • Продакт-менеджеры используют A/B-тесты для изучения реакции пользователей при выводе на рынок новых и модернизации уже существующих продуктов, формировании и изменении ассортиментной политики и ценовых моделей, оптимизации воронки продаж. В этом случае тестирование помогает адаптировать продукт и ассортимент компании под потребности аудитории, снизить инновационные и коммерческие риски, оптимизировать расходы на реализацию нововведений.
  • Дизайнеры продуктов изучают взаимодействие пользователя с продуктом, тестируют новые визуальные решения. Например, цвета и структуру интерфейса, графику, шрифты. Результаты исследования помогают определить, насколько удобным будет новый дизайн, как на изменения отреагируют юзеры.
📌 Важно: умение проводить A/B-тестирование может пригодиться и другим специалистам, которые взаимодействуют с сайтами и приложениями, — администраторам, вебмастерам, UX-писателям, UX-исследователям, аналитикам.

Как работает A/B-тестирование в рекламе?

На успех рекламной кампании влияют разные факторы, поэтому невозможно наверняка узнать, как отреагирует аудитория на креативы. Спасают сплит-тесты. Они позволяют дать прогноз, каким будет отклик пользователей. После этого можно запустить наиболее эффективные объявления, что повысит шансы на успех.

Например, с помощью A/B-теста можно сравнить два варианта рекламного объявления с одинаковой аудиторией и одинаковым текстом, но в одном использовать рекламную запись с кнопкой перехода в интернет-магазин, а в другом — без нее. После запуска теста необходимо дождаться результатов и оценить статистику по каждой рекламной записи.

По предложенному алгоритму можно протестировать и другие параметры объявления, например, полностью рекламный креатив или настройки аудитории. Это поможет понять, какие объявления лучше решают задачи бизнеса.

Пример A/B-теста в рекламе

Тестировать рекламные кампании с помощью A/B-теста можно на любых площадках. Например, на платформе myTarget, которая предназначена для размещения рекламы в социальных сетях ВКонтакте, Одноклассники и других проектах компании VK, можно выполнить детальную настройку эксперимента по заданным параметрам и проверить гипотезу на целевой аудитории.

Настройка A/B-тестирования в myTarget

Как проводить A/B-тесты? Этапы проведения

Сплит-тесты проводятся по определенному алгоритму. Чтобы полученные результаты оказались точными, необходимо уделить внимание каждому этапу.

Определите цели тестирования

Первое, с чего следует начать — это определить бизнес-задачи компании и убедиться, что цели сплит-тестирования с ними совпадают. В качестве целей могут выступать увеличение объема продаж, повышение узнаваемости бренда, улучшение конверсии сайта.

Предположим, вы — менеджер проекта, который находится на стадии стартапа. Перед вами стоит задача — увеличить количество активных пользователей (повысить метрику DAU, обозначающую отношение количества ежедневных активных пользователей к количеству ежемесячных активных пользователей, выраженную в процентах). Вы полагаете, что добиться результата можно двумя путями: за счет улучшения показателей удержания пользователей или с помощью увеличения количества новых регистраций.

В процессе A/B-тестирования воронки обнаруживаете, что большой процент пользователей уходит с сайта еще до завершения регистрации. Таким образом, можно сделать вывод, что изменение страницы регистрации должно помочь увеличить количество активных пользователей.

Определите тестируемые метрики

Метрики — это показатели, по которым оценивается эффективность каждого исследуемого варианта. В маркетинге много метрик: кликабельность объявлений (CTR), конверсия (CR), цена за клик (CPC), рентабельность рекламных расходов (ROAS) и другие показатели, о которых мы подробно рассказали в статье «Все показатели эффективности рекламы: оценка рекламных кампаний».

Для A/B-тестирования достаточно выбрать 1–3 метрики, так как при большом количестве показателей определить эффект теста будет сложнее. Например, чтобы оценить эффективность рекламного объявления, цель которого — вступления в группу, можно взять показатели CTR, CPC, CPS.

Продвигайте бизнес через Яндекс Директ, ВКонтакте, Одноклассники, Telegram, Авито и оплачивайте рекламу в одном окне через OneSpot. Получайте кешбэк и тратьте его на запуск рекламы.

Подробнее
OneSpot

Разработайте гипотезу

На этапе разработки гипотезы необходимо определить, что именно поменяется (на странице сайта, в приложении, рекламном объявлении) и что вы собираетесь проверять. Разберем на примере, как выдвинуть гипотезу при подготовке A/B-теста рекламного объявления.

Для проведения рекламной кампании нужно разработать новый дизайн кнопки призыва к действию (Call-To-Action). Есть несколько параметров, которые можете протестировать: саму фразу, шрифт, цвет кнопки. Допустим, сначала решили поменять цвет кнопки с зеленого (вариант А) на красный (вариант B). В таком случае можете выдвинуть три гипотезы:

  • изменение цвета кнопки увеличит количество кликов;
  • изменение цвета кнопки сократит количество кликов;
  • цвет кнопки существенно не повлияет на кликабельность объявления.

Для того чтобы эксперимент оказался максимально точным, лучше проверять каждый параметр отдельно от других. Если вы подготовите два сильно отличающихся друг от друга варианта (с разными призывами, шрифтами, визуальным оформлением), будет трудно понять, что повлияло на выбор пользователей, и сложно интерпретировать результаты теста.

Читайте также: Призывы к действию (CTA) — примеры call-to-action в рекламе

Подготовьте эксперимент

Точность эксперимента во многом зависит от тщательности подготовки, так что уделите этому этапу внимание. Чтобы создать A/B-тестирование, выполните следующие действия.

  1. Подготовьте две версии продукта или объявления, которые будете тестировать, — вариант A и вариант B.
  2. Выберите аудиторию для тестирования по типам пользователей, географическому положению, платформе и разбейте ее на две равные группы.
  3. Определите минимальный размер выборки с помощью специального калькулятора. Обратите внимание: для получения статистически значимых результатов необходим достаточно большой размер выборки.
  4. Задайте период тестирования. Чтобы его рассчитать, разделите общий размер выборки на ваш ежедневный трафик. Результатом будет количество дней, необходимое для проведения теста.

Проведите эксперимент

Перед началом исследования проверьте все данные. Если ошибок нет, запускайте тест. Убедитесь в первый день, что все работает, и дожидайтесь результатов. Как правило, срок тестирования не превышает 10–14 дней, но иногда, например, при большом размере выборки и невысоком трафике, исследование может занять 3–4 недели.

Анализируйте результаты

Результатом A/B-теста может стать подтверждение одной из выдвинутых гипотез. Вернемся к нашему примеру с цветом кнопки и рассмотрим, какие результаты мы можем получить по итогам эксперимента.

  1. Изменение цвета кнопки привело к повышению кликабельности объявления. В этом случае эксперимент прошел успешно, можно внести изменения в дизайн и запустить рекламную кампанию.
  2. Изменение цвета кнопки привело к снижению CTR. Эксперимент не удался –  следует оставить цвет без изменения и поискать другие пути увеличения кликабельности.
  3. Изменение цвета кнопки никак не повлияло на кликабельность. В этом случае стоит провести лучше исследовать пользователей, чтобы разобраться, почему новый вариант не работает так, как ожидалось.

Для быстрой проверки достоверности эксперимента можно воспользоваться калькулятором Яндекс Директ, который позволит сравнить результаты A/B-теста и определить наиболее эффективный вариант.

Пример расчета эффективности A/B-теста на калькуляторе Яндекс Директ
Читайте также: Аналитика рекламы в Telegram Ads

Инструменты для A/B тестирования

Функция для проведения A/B-тестов есть в готовых аналитических сервисах, таких как Яндекс Метрика и Google Analytics. Они универсальны и вполне подходят для несложного маркетингового анализа и типовых сплит-тестов. Рассмотрим их подробнее.

Яндекс Метрика

Для проведения A/B-тестов в интерфейсе Яндекс Метрики реализован специальный инструмент — Varioqub. С его помощью можно проводить A/B-тестирование сайта, сравнивать несколько вариантов посадочной страницы и отдельных элементов проекта.

Инструмент Яндекс Метрика для A/B тестов — Varioqub

Как работает Varioqub?

Чтобы провести A/B-тестирование с помощью Varioqub необходимо добавить код сервиса к себе на сайт, создать эксперимент, выбрать название, условия и метрики эксперимента, добавить два варианта, которые вы хотите протестировать. Вносить изменения в проект можно прямо в интерфейсе сервиса. Например, если тестируете два варианта посадочной страницы, то можете здесь же поменять цвет фона, заголовки и тексты кнопок.

После выполнения всех настроек можно запускать исследование. Во время эксперимента каждый пользователь получает идентификатор, по которому Varioqub определяет, какой из вариантов будет показан. Действия пользователей логируются через счетчик Яндекс Метрики.

По итогам эксперимента Varioqub считает метрики и определяет, какая версия лучше. На панели результатов можно посмотреть детализацию по выбранным метрикам, которая покажет, какие изменения положительно повлияют на проект.

Плюсы и минусы Varioqub

Плюсы инструмента:

  • подходит для тестирования сайтов разной конфигурации: от одностраничной визитки до сайта с большой архитектурой;
  • несложные настройки, с которыми может разобраться начинающий пользователь;
  • возможность внесения изменений в интерфейсе сервиса;
  • подробная детализация результатов эксперимента.

Минусы инструмента:

  •  нет возможности проведения A/B-тестов в мобильных приложениях;
  •  ограниченный набор функций в базовом тарифе;
  •  высокая стоимость расширенного тарифа – от 100000 рублей в месяц (на декабрь 2023 года).

Google Analytics

Функция проведения A/B-тестов входит в бесплатную версию Google Analytics и доступна всем пользователям сервиса. Инструмент для тестирования находится во вкладке «Мои отчеты» → «Поведение» → «Эксперименты».

Как провести A/B-тест в Google Analytics?

В разделе «Эксперименты» создайте новый эксперимент, введите название и цель, задайте процент и распределение трафика, участвующего в тестировании, время проведения и порог достоверности. Если хотите получать уведомления о ходе тестирования, следует указать адрес электронной почты. Далее нужно ввести URL адреса страниц, которые будете проверять, код эксперимента и запустить A/B-тест.

В процессе исследования Google Analytics будет замерять результаты два раза в день и определять, какой вариант является эффективным. По итогам эксперимента данные сплит-теста будут отражены в разделе «Статистика».

Результаты A/B-теста в Google Analytics

 Плюсы и минусы A/B-тестов в Google Analytics

Плюсы инструмента:

  • бесплатно;
  • простой интерфейс;
  • возможность одновременного тестирования до 35 страниц или отдельных элементов сайта;
  • уведомление на почту об изменениях во время эксперимента.

Минусы инструмента:

  • отсутствие визуального редактора;
  • не работает с мобильными приложениями.

Другие системы аналитики

Помимо Varioqub и Google Analytics, существуют и другие сервисы для проведения A/B-тестов. Например, ChangeAgain, A/B Tasty, VWO, Hubspot, Optimizely. Они отличаются функционалом, вариативностью настроек и стоимостью. Для простых тестирований вполне подойдут бесплатные сервисы со стандартным набором функций. Если же вы проводите мультивариантные эксперименты, и необходима развернутая аналитика, то имеет смысл выбрать платную платформу с гибкими настройками и хорошим визуальным редактором. Кроме того, для проведения сплит-тестов можно использовать собственные системы сквозной аналитики, которые позволяют собирать, объединять и анализировать данные о рекламных кампаниях.

Читайте также: Сквозная аналитика в рекламе и маркетинге

Советы по проведению A/B-тестов 

  1. Перед запуском тестирования определите метрики, разработайте гипотезу и подготовьте эксперимент. Тщательное планирование и подготовка помогут получить максимально точные результаты и исключить ошибки.
  2. Если у вас не так много опыта и нет навыков программирования, используйте готовые инструменты аналитических систем Яндекс Метрика и Google Analytics. Они имеют простые настройки и понятный интерфейс, при этом позволяют оценить эффективность каждого варианта и целесообразность планируемых изменений.
  3. Независимо от результатов исследования, относитесь к каждому эксперименту как к возможности для обучения. Используйте полученный опыт для разработки последующих гипотез.

Доступ к материалу откроется сразу после заполнения формы

Text Link
Данные успешно отправлены!
Поле заполнено не верно!

Доступ к материалу откроется после заполнения формы

Text Link
Данные успешно отправлены!
Поле заполнено не верно!
Рассчитать бюджет на Telegram Ads
Как рассчитывается курс евро?
Курс для оплаты Telegram
__
Курс по ЦБ на сегодня
__
3 ₽
Базовый тариф
Недвижимость
Образование
Криптовалюта
У вас есть рекламный кабинет Telegram Ads?
Еще нет
Уже есть
Для первого запуска минимальный бюджет на Telegram Ads – 1 500 евро
Хочу потратить на Telegram Ads
Комиссия OneSpot 20%
Комиссия 20% списывается в момент пополнения рекламного кабинета Telegram Ads со счета в OneSpot. Остальные площаки пополняются без комиссии.
__
НДС 20%
НДС 20% списывается в момент пополнения счета в OneSpot
__
Сколько нужно оплатить?
Анализируйте рекламу на всех площадках в одном окне
Узнать больше

Предыдущий пост

Следующий пост

Площадка

Заголовок

Id

Ищете что-то более старое? А его нет.

Смотреть актуальные
Площадка

Заголовок

Id

Уже пишем новую статью!

Смотреть другие
Telegram

Инструкция, как добавить комментарии в Telegram-канал

ID
Telegram

Как Telegram Ads помог магазину дизайнерской мебели повысить продажи на 30%

ID
Яндекс

Реклама мобильных приложений в Яндекс Директ

ID
Telegram

Как сделать канал в Telegram и правильно его настроить

ID
Маркетинг в целом

Что такое SERM в маркетинге

ID
Маркетинг в целом

Целевая аудитория — определение и описание ЦА, примеры

ID
ВКонтакте

Чем отличаются сообщества во ВК

ID
Маркетинг в целом

CustDev — что это, как провести кастдев

ID
Маркетинг в целом

Коллтрекинг — как работает, виды и советы по выбору коллтрекинга

ID
Telegram

Используйте эти обновления Telegram Ads, чтобы получить больше заявок

ID
Маркетинг в целом

UGC контент — что это, примеры пользовательского контента

ID
Telegram

Как продвинуть свой сайт в Telegram Ads

ID
Яндекс

Управление ставками в Яндекс Директ

ID
Яндекс

Центр конверсий в Яндекс Директ — что это и как настроить

ID
Яндекс

Агентские аккаунты в Яндекс Директ

ID
Маркетинг в целом

Сторителлинг — что это, как написать, примеры историй

ID
Маркетинг в целом

Управление репутацией в сети — как ответить на отзыв?

ID
Telegram

Кейс с розыгрышем в Telegram: пригласили в канал клиентов и получили подписчика за 40 рублей

ID
Маркетинг в целом

Проведение A/B-тестирований — все о методах сплит-тестирования

ID
Яндекс

Как сделать турбо-сайт (турбо-страницы) в Яндекс Директ

ID
Маркетинг в целом

Контент-маркетинг — что это, его задачи и виды, инструкция по внедрению

ID
Маркетинг в целом

Медицинский маркетинг и реклама медицинских услуг

ID
Яндекс

Чем отличается РСЯ от поиска Яндекса?

ID
Маркетинг в целом

Как прогреть аудиторию и что такое прогревающая воронка в социальных сетях?

ID
Яндекс

Рекламная подписка Яндекса: что это такое, как работает и сколько стоит?

ID
Маркетинг в целом

Маркетинг и продвижение стоматологии

ID
Яндекс

РСЯ и Яндекс Директ — отличия и разница

ID
Маркетинг в целом

Отдел маркетинга: чем занимается, структура и функции отдела

ID
Яндекс

Мастер кампаний в Яндекс Директ — что это и как настроить

ID
VK Реклама

Как дать доступ к рекламному кабинету ВКонтакте?

ID
Яндекс

CTR в Яндекс Директ — как повысить CTR и какой считается хорошим?

ID
Telegram

Как выбрать каналы для продвижения через Telegram Ads

ID
VK Реклама

Реклама мобильных приложений в новом кабинете VK Реклама

ID
Маркетинг в целом

Продающие заголовки — как написать цепляющий рекламный заголовок, примеры

ID
Яндекс

Смарт-баннеры в Яндекс Директ

ID
Маркетинг в целом

Закон о маркировке рекламы с 1 сентября 2023: важные обновления

ID
Маркетинг в целом

Баннерная реклама в интернете — виды, примеры, плюсы и минусы

ID
Маркетинг в целом

Что такое охват аудитории в рекламе и как посчитать охваты?

ID
Telegram

Как сделать рассылку в Telegram?

ID
Маркетинг в целом

LTV в маркетинге — что это, как считать показатель LTV клиента

ID
Telegram

UTM-метки для Telegram

ID
VK Реклама

Реклама сайта в новом кабинете VK Реклама

ID
Маркетинг в целом

Tone of voice — что это такое, примеры тона бренда

ID
Маркетинг в целом

Расходы на рекламу в бухгалтерском учете

ID
Яндекс

Как посмотреть рекламу конкурентов в Яндекс Директ

ID
Маркетинг в целом

Реклама и продвижение интернет-магазинов

ID
Маркетинг в целом

Баннерная слепота — что это и как сделать баннер заметным

ID
Яндекс

Размеры баннеров для РСЯ, требования и форматы

ID
Маркетинг в целом

Что такое нативная реклама — виды, форматы и примеры

ID
Яндекс

Настройка РСЯ в Яндекс Директе: пошаговая инструкция

ID
VK Реклама

Реклама в клипах и историях ВКонтакте — как настроить и запустить в ВК

ID
Telegram

Инструкция: как создать магазин в Telegram и продавать товары в канале?

ID
ВКонтакте

Как посмотреть статистику страниц и групп ВКонтакте?

ID
VK Реклама

Как перенести аудиторию в новый рекламный кабинет ВКонтакте

ID
Telegram

Кейс врача в Telegram Ads: как пройти модерацию в медицинской тематике и привести 7633 подписчика за 2,5 месяца

ID
Яндекс

Почему нет показов в Яндекс Директ или их мало?

ID
ВКонтакте

Запускаем кампанию с лид-формой ВКонтакте: пошаговое руководство

ID
Яндекс

Автотаргетинг в Яндекс Директ: как работает и как настроить?

ID
Telegram

Кейс Telegram Ads для товарного бизнеса: прирост аудитории в канале на 30%, первые продажи и подписчики за 93 рубля

ID
Маркетинг в целом

Отличия контекстной и таргетированной рекламы

ID
Telegram

Реакции в Telegram-канале: как добавить, настроить или удалить

ID
Яндекс

Яндекс ПромоСтраницы — что это и как работают?

ID
Telegram

Как создать магазин в Telegram?

ID
Telegram

Telegram Ads для медиа: как привлечь в тематические каналы больше 60 тысяч подписчиков

ID
Маркетинг в целом

Всё о рекламном формате Lead Ads

ID
Telegram

Как создать бота в Telegram?

ID
Telegram

Пригласительная ссылка в Telegram-канал: как сделать и изменить

ID
Telegram

Что можно и нельзя рекламировать в Telegram Ads

ID
VK Реклама

VK Реклама: возможности нового кабинета

ID
VK Реклама

Как рекламировать сообщество в новом кабинете VK Реклама?

ID
Telegram

Что делать, если у вас нет 2 миллионов евро на рекламу в Telegram

ID
Telegram

Аналитика рекламы в Telegram Ads

ID
Telegram

Как получить галочку в Telegram? Верификация канала

ID
Яндекс

Все виды рекламы в Яндексе

ID
Яндекс

Яндекс Бизнес — как запустить и как работает реклама

ID
Яндекс

Реклама Telegram-канала через Яндекс Бизнес

ID
Маркетинг в целом

Как сделать рассылку по Email?

ID
Telegram

Что такое бот в Telegram, как он работает и для чего нужен?

ID
Telegram

Кейс «Пятёрочки» в Telegram Ads — как привлекать от 1000 подписчиков в день и сохранить ER 0.8%

ID
Telegram

Как сделать опрос в Telegram?

ID
Яндекс

Аудиореклама в Яндекс Директ — что это и как настроить

ID
Telegram

Кейс продвижения Telegram-канала о недвижимости Дубая: как вывести канал в топ по своей тематике и получить 150+ заявок на услуги

ID
Маркетинг в целом

Выставка технологий для интернет-торговли и ритейла ECOM Expo'23

ID
Маркетинг в целом

Все показатели эффективности рекламы: оценка рекламных кампаний

ID
Маркетинг в целом

Призывы к действию (CTA) — примеры call-to-action в рекламе

ID
Маркетинг в целом

Как построить сквозную аналитику: этапы и настройки

ID
Маркетинг в целом

Сквозная аналитика в рекламе и маркетинге

ID
Маркетинг в целом

Онбординг клиентов — что это и как его провести?

ID
Маркетинг в целом

Что такое KPI и как рассчитать показатели эффективности

ID
Telegram

Кейс в Telegram Ads. Академия Ukids: «Стоимость лида оказалась ниже, чем на других площадках»

ID
Маркетинг в целом

SMM-продвижение бизнеса: как выбрать соцсеть для продвижения и рекламы?

ID
Telegram

Как провести трансляцию в Telegram?

ID
Маркетинг в целом

Тренды маркетинга в 2023 году

ID
Telegram

Кейс в Telegram Ads: как агентству недвижимости удалось найти новую аудиторию и снизить CPL в 4 раза

ID
ВКонтакте

Виджеты ВКонтакте для групп: как добавить и настроить?

ID
Яндекс

Бан аккаунта Яндекс Директ — что делать и как разблокировать?

ID
MyTarget

Продвижение в Одноклассниках: как продвигать группу в 2023 году?

ID
Маркетинг в целом

Лендинг — что это? Примеры лендингов

ID
Telegram

Кейс продвижения в Telegram Ads: привлечение подписчиков в блог эксперта

ID
Telegram

Кейс медиа ШЭР в Telegram Ads: снизили стоимость подписчика на 90%

ID

Последние вебинары

Скопировано в буфер