Самая большая ошибка в A/B тестировании

Ребята из Popcorn Metrics – совершили эту ошибку в A/B тестировании. И чтобы помочь другим не попасть впросак, написали об этом статью . А мы её оперативно перевели, чтобы предостеречь вас от этой ошибки!

Давайте представим ситуацию…

Вы проводите A/B тестирование сайта. У вас есть две версии – оригинальная и тестовая. В результате тестирования вы получаете такие результаты: конверсия в регистрацию на оригинальной странице – 2.3 %, в тестовом варианте – 3.2 %. Какая из этих страниц победила в эксперименте?

Конечно, тестовая страница более эффективна. С этим нельзя не согласиться на данном этапе. Почему? Потому что цифры не врут. 3.2 % больше, чем 2.3 %.

И здесь начинается самое интересное. Когда люди проводят A/B тестирование, они фокусируются только на одном этапе воронки продаж. В нашем примере – на конверсии в регистрацию.

Казалось бы, в чём заключается проблема? Вас везде учат выбирать определённую цель при создании A/B эксперимента и оценивать результат именно по ней. Но практически нигде не говорится, что нужно смотреть дальше, глубже.

Ведь есть и другие этапы воронки продаж. В вашем случае в тестовом варианте зарегистрировалось больше пользователей. Это круто. Но как они действовали дальше? Как они конвертировались в платных пользователей? Этот вопрос гораздо важнее.

В этом и заключается проблема. Практически никто не оценивает влияние A/B эксперимента на всю воронку продаж, начиная с первого этапа, который вы пытались улучшить с помощью этого теста, и заканчивая последним этапом – покупкой, например.

А теперь продолжим с этим экспериментом. Несмотря на то, что тестовый вариант страницы имел больше конверсий в регистрацию, количество продаж в оригинальном варианте оказалось больше. Теперь не всё так очевидно? Уже можно и не согласиться с тем, что тестовый вариант победил в A/B эксперименте.

Что для вас важнее: увеличить количество конверсий на первом этапе воронки продаж или улучшить всю воронку продаж, чтобы больше пользователей достигали конечной цели?

Статья в тему — 10 самых распространенных ошибок в A/B тестировании

Внимание! Если ваша цель при проведении A/B тестирования – увеличить конверсию только на одном определённом этапе, например на этапе Регистрации, вне зависимости от того, как это влияет на всю воронку продаж и ваши доходы, то дальше можете не читать.

Если же вы смотрите дальше и хотите делать правильные, эффективные A/B тесты, то оставайтесь с нами и мы расскажем и покажем, какую ошибку совершили ребята из Popcorn Metrics. Возможно, вы прямо сейчас совершаете её и даже не догадываетесь об этом.

Кейс компании Popcornmetrics

Давайте посмотрим на воронку продаж проекта Popcorn metrics. В ней 5 этапов, начиная с регистрации в сервисе (Register) и заканчивая размещением кода (Publish), причём видно, каков показатель конверсии с одного этапа в другой. Главная задача в данном случае – довести потенциального клиента до последнего этапа, когда он размещает код отслеживания на своём сайте.

Когда потенциальный клиент попадал на главную страницу Popcorn Metrics, ему предлагалось ввести ссылку на свой сайт. После вставки ссылки и нажатия на кнопку Попробовать сейчас открывался визуальный редактор (Playmode). В этом визуальном редакторе можно посмотреть, как работает сервис даже без регистрации. Это сделано для того, чтобы показать пользу сервиса как можно быстрее, при этом, не заставляя потенциального клиента регистрироваться. Сначала ценность, а потом обязательство – регистрация на пробную версию продукта.

Эффективность этой функции была проверена в предыдущих экспериментах. Было решено продолжить эксперименты и тестовых вариантах добавить возможность просмотра 2-ух минутного видео.

В 1-ом варианте прямо на главную страницу было добавлено видео. Во 2-ом – текстовая ссылка на видео.

С помощью Google Analytics был запущен эксперимент. В качестве главной цели была выбрана Регистрация — 1-ый этап воронки продаж.

После проведения эксперимента оказалось, что в 1-ом тестовом варианте с вставленным видео (Variaton 1 – Playmode & Video Image) конверсия в регистрацию – 3.20 %. И это был лучший показатель среди всех трёх версий.

Таким образом, победитель в этом эксперименте – первый тестовый вариант. У него конверсия оказалась на 40 % больше, чем в двух других случаях. И вот именно здесь скрыта самая большая ошибка.

Смотрите результаты эксперимента на всех этапах воронки продаж

При проведении экспериментов в Google Analytics у вас есть возможность смотреть результаты эксперимента применительно ко всем установленным целям. Т.е. даже если в качестве главной цели вы выбрали Регистрацию — первый этап воронки продаж, вы можете также отследить влияние эксперимента и на другие цели.

Ребята из Popcorn Metrics просто добавили ещё одну цель для анализа эксперимента – Размещение кода (Publish). Если вы вдруг забыли, то это конечная цель в воронке продажи. И в итоге оказалось так, что наш псевдопобедитель (Variation 1) имеет самый низкий уровень конверсии по этой цели. А оригинальная версия страницы – самый высокий.

Таким образом, в тестовом варианте с видео на странице люди чаще всего регистрировались, но при этом практически в 2.5 раза реже добирались до конца воронки продаж.

Почему так произошло?

Когда потенциальный клиент начинает своё знакомство с сервисом через визуальный редактор, то у него один формируется определённый пользовательский опыт. Когда через видео, то другой опыт. От этого и зависят последующие действия.

С помощью аналитики был также сделан ещё один интересный вывод. Те, кто сначала смотрел видео, очень редко тестировал визуальный редактор (в 9.62 % случаев).

Несмотря на то, что видео было очень показательным и пользователи смотрели его, оно не увлекало их так, как визуальный редактор, в результате чего они не конвертировались на следующие этапы воронки продаж.

Какой урок нужно извлечь из этого кейса?

Проводить A/B эксперимент и анализировать только одну цель, не обращая внимания на всю воронку продаж, очень опасно. Можно сделать неправильный вывод, который будет казаться правильным на первый взгляд. А если взглянуть глубже, то всё окажется иначе.

Вы только представьте. Вы провели эксперимент, допустили эту ошибку и продолжили тестирование других элементов сайта, в зависимости от результатов этого теста. Выходит так, что все дальнейшие эксперименты будут вводить вас ещё больше в заблуждении и потом уже сложно будет понять, что же пошло не так, почему конверсия на первом этапе растёт, а доходы падают.

Теперь вы знаете о самой большой ошибке в A/B тестировании, которую многие всё ещё допускают и даже не догадываются об этом. Будьте умны, тестируйте правильно!

Подготовлено блогом boosta.ru

Читайте также наше другие популярные статьи:

1. Они помогут найти всех убийц конверсии — 10 отчётов в Google Analytics(9000+ просмотров)
2. Как увеличить конверсию сайта с помощью изображений – 6 советов на основе кейсов (4000+ просмотров)
3. Какой цвет лучше влияет на коэффициент конверсии? (4000+ просмотров)
4. Узнай свою целевую аудиторию или умри: 34 жизненно важных вопроса (1500+ просмотров)

P.S. Всех стартаперов приглашаем присоединиться к проекту Startr.ru. Startr - это стартап комьюнити на Slack: чат, онлайн-питчи, встречи, горячие обсуждения своих проектов и последних новостей в стартап-сфере.