18 самых популярных вопросов об А/В тестировании

Недавно в нашей платформе для создания сайтов TruVisibility.com появился новый функционал – возможность проведения A/B тестирования. Пользователь, создавший сайт в конструкторе, может проводить эксперименты на какой-либо странице, создав две её вариации. После запуска трафик страницы автоматически направляется примерно пополам на разные варианты, и спустя время можно сравнить конверсии на каждом из них, после чего оставить на сайте победителя. Несмотря на то, что этот функционал у нас только появился и пока еще работает на самом простом уровне, многие пользователи им заинтересовались, даже те, кто ничего не знает про A/B тестирование. Мы решили подготовить перевод статьи с ответами на самые популярные вопросы об этом маркетинговом инструменте.

А/В тестирование, также известное как сплит-тестирование – один из наиболее эффективных способов улучшить результаты своего продвижения в интернете. На практике это чаще всего выглядит так: мы выбираем две версии одного и того же контента (например, две версии одной посадочной страницы), делим нашу аудиторию приблизительно на две равные части и каждой из них показываем либо первую, либо вторую версию страницы. Через некоторое время становится видно, какая версия работает лучше. А/В тесты тесно связаны с маркетингом, ведь при грамотном использовании они наглядно показывают, какие изменения на странице принесут больше конверсий для вашей компании – это факты, а не просто догадки.

Звучит несложно, однако интернет кишит вопросами о том, как правильно проводить А/В тесты. Вице-президент HubSpot по маркетингу Меган Кини Андерсон проштудировала интернет, выбрала несколько наиболее распространенных вопросов о сплит-тестировании и дала на них ответы. Получился своеобразный FAQ для начинающих.

1. Когда нужно и когда не нужно использовать A/В тестирование?

Чаще всего А/В тестирование не работает, когда у теста нет четко обозначенной цели. Вы должны абсолютно точно знать, что именно вы тестируете – проверяйте какую-либо одну гипотезу, например: если мы добавим изображение на целевую страницу, увеличатся ли продажи? На какую кнопку пользователи будут нажимать охотнее – на красную или синюю? Изменится ли результат, если в заголовке обозначить срок действия предложения? Все эти варианты легко поддаются количественному сравнению. При А/В тестировании люди сталкиваются с проблемами, когда их гипотезы слишком расплывчаты, например, когда тестируются две версии страницы с совершенно разным дизайном. Тем не менее, такое тестирование можно проводить, если нет точной определенности, какой дизайн лучше, но результаты не дадут достоверного ответа, что именно повлияло на конверсию.

2. Сколько вариаций нужно тестировать одновременно?

Допустим, вы провели мозговой штурм со своей маркетинговой командой, и у вас появилось 4 отличные идеи для своей целевой страницы. Может возникнуть соблазн запустить тестирование всех четырех вариаций одновременно и определить одного победителя. Однако в этом случае результаты теста могут оказаться недостоверными. На итоги эксперимента может повлиять множество факторов в каждой вариации. Результат будет грязным, но ведь прелесть А/В тестирования состоит в том, что его результаты просты и конкретны. Поэтому мы предлагаем запустить тестирование каждых двух вариаций, а потом победителей в каждой паре сравнивать друг с другом. Представьте, что А/В тестирование – это турнир по баскетболу, в одной игре участвует только две команды.

3. Что такое нулевая гипотеза?

Нулевая гипотеза – это предположение о том, что любое отличие статистики вариаций в результате тестирования незначительно и является случайностью. Представьте подбрасывание монеты. Вероятность, что выпадет та или иная сторона монеты, равна 50/50, однако на практике результат может оказаться 51/49 или другой именно из-за случайности. Но чем больше подкидываний монеты, тем результат ближе к 50/50. В статистике доказательство или опровержение какого-либо предположения происходит путем оспаривания нулевой гипотезы. Чтобы это сделать, нужно исключить случайность и убедиться, что результат достоверен – то есть достигнуть статистической значимости результатов.

4. Сколько требуется посещений страницы, чтобы результаты тестирования были достоверными?

Прежде, чем вы будете сравнивать результаты теста, вы должны убедиться, что тест статистически значим – он достиг такого момента, когда вы уверены в достоверности результатов на 95 процентов или больше.

Некоторые инструменты для А/В тестирования имеют функцию расчета статистической значимости, поэтому вы сможете увидеть, когда ваш тест готов к подведению итогов. Но даже если такой функции нет, существуют калькуляторы для определения нужного объема трафика для справедливого результата, например, калькулятор HubSpot или более детальная таблица в блоге Occam Razor.

5. Что такое мультивариантное тестирование и чем оно отличается от А/В тестирования?

A/B тестирование запускается тогда, когда нужно проверить гипотезу, касающуюся только одного элемента на странице. Мультивариантное тестирование (MVT), как правило, используется для проверки многочисленных изменений одновременно, и для получения результатов требуется большой объем трафика и много времени. Для MVT берется несколько элементов на странице, и проверяются любые комбинации их изменений. Маркетолог Кори Уэйнрайт в своей статье вот так объяснила, когда нужно использовать тот или иной вид тестирования:

Вам отлично подойдет А/В тестирование, если нужны быстрые результаты, поскольку при сравнении вариантов одного и того же элемента легче определить, какой из них эффективнее. Также правильнее будет выбрать именно А/В тестирование, если у вас небольшой объем трафика на сайте. При MVT в тесте используется несколько переменных, и для получения достоверных результатов у страницы должно быть очень много посещений.

Если у сайта достаточно большой трафик для проведения MVT (но в этом случае абсолютно не запрещено проводить A/В тестирование, чтобы пробовать разные дизайны и разметку), то дерзайте – MVT поможет вам понять, как некоторые элементы страницы взаимодействуют друг с другом, и вы сможете постепенно улучшать существующий дизайн сайта.

6. Влияет ли A/B тестирование отрицательно на SEO?

Существует миф о том, что A/B тесты мешают ранжированию в поисковых системах, поскольку вариации страницы можно назвать дублированием контента, а поисковики это не любят. На самом деле это не так. Напротив, Google сам советует проводить A/B тестирование, чтобы улучшать свой сайт. Но если вы всё равно переживаете по этому поводу, вы всегда можете закрыть страницы вариаций от индексирования, например, добавив для них тег noindex.

7. Когда и как нужно проводить анализ результатов теста?

Вы запустили тест. Статистика начинает накапливаться. Есть соблазн посмотреть, какая вариация побеждает, и сделать выводы. Но не торопитесь, ранние этапы теста – неподходящее время для подведения итогов. Подождите, когда результаты вашего теста станут статистически значимы (см. пункт 4), а затем обратитесь к начальной гипотезе. Эксперимент доказал или опроверг ваши предположения? Если вы можете ответить на этот вопрос, можно начинать делать некоторые выводы. Когда вы анализируете результаты теста, постарайтесь быть максимально дисциплинированными и критичными, объясняя результат конкретными изменениями. Убедитесь, что на результат повлияло только изменение тестируемого элемента и нет никаких других факторов.

8. Что именно нужно тестировать?

Тестировать можно почти всё, что вам хочется, но мы рекомендуем начать с базовых элементов на веб-странице.

• CTA-элементы (Call-To-Action – призыв к действию). Даже если у вас всего один CTA-элемент на странице, можно протестировать его с разных сторон. Но перед тестом определитесь, что именно вы будете проверять. Вы можете поэкспериментировать с текстом кнопки, ее расположением на странице, ее формой и цветом.
• Заголовки. Заголовок - это первое, что прочитает пользователь на вашем сайте, поэтому он так важен. Экспериментируйте с различными стилями заголовков.
• Изображения. Что лучше работает: изображение человека, использующего ваш продукт, или изображение самого продукта? Проверьте разные версии изображения на странице, чтобы увидеть разницу.
• Длина текста. Достаточно ли короткого текста, чтобы донести мысль до читателя, или необходимо более подробное объяснение? При проведении этого теста старайтесь не терять свою главную мысль, просто варьируйте объем текста.

9. Можно ли тестировать что-то еще, кроме веб-страниц?

Да, помимо веб-страниц, многие маркетологи проводят A/B тесты в других местах, например, в емейл-кампаниях и PPC-рекламе.

• Емейл-кампании. В качестве переменных для тестирования может быть тема письма, имя отправителя, контент письма и многое другое.
• РРС. В контекстной и таргетированной рекламе можно поэкспериментировать с заголовками и текстами объявлений, текстом URL и ключевыми словами.

Больше идей для тестирования – в этой статье.

10. Где я могу подглядеть A/B тесты у компаний, похожих на мою?

Существует несколько сайтов, на которых представлены примеры A/B тестов и их результаты. На некоторых из этих сайтов есть поиск по типу компании, и чаще всего есть сведения о том, как та или иная компания анализировала результаты. Если вы только начинаете работать с А/B тестами, рекомендуем изучить эти сайты, чтобы иметь представление о том, как проводить тестирование в вашем случае.

• Behave.org: тут есть много хороших примеров, а также проводятся ежегодные конкурсы, в которых вы можете поучаствовать вместе со своим тестом.
• Visual Website Optimizer: этот сервис в своем блоге публикует примеры A/B тестов, которые вам могут быть полезны.

11. Что делать, если я не верю результатам своего теста?

Если вы не верите результатам своего теста, убедитесь, что побочные факторы, которые могут искажать результаты теста, исключены, и запустите тест заново. Отнеситесь к этому тесту беспристрастно и понаблюдайте, совпадают ли результаты с результатами прошлого теста. Если это так, то, вероятно, вы имеете достаточную статистику для подведения итогов.

12. Как часто нужно проводить A/B тестирование?

Это зависит от теста. Вообще постоянное тестирование и улучшение сайта – это вещь полезная, но убедитесь, что каждый тест имеет четкую цель, и благодаря ему вы точно сделаете свой сайт еще более удобным и полезным как для посетителей, так и для вашей компании. Если вы проводите кучу тестов, дающих минимальные результаты и незначительные изменения, пересмотрите свою стратегию тестирования.

13. Что мне нужно, чтобы начать A/B тестирование на своем сайте?

Подберите удобный инструмент для A/B тестирования. В интернете можно найти ряд платных и бесплатных сервисов; некоторые конструкторы сайтов имеют встроенный функционал для проведения тестов (например, теперь и в TruVisibility.com). Если вы разбираетесь в программном коде и не против с ним повозиться, попробуйте бесплатный инструмент от Google – Эксперименты. Они немного отличаются от традиционного A/B тестирования, но если вы технически подкованы, они могут оказаться очень полезными для вас.

14. Помимо недостаточного объема трафика, какие еще существуют факторы, искажающие результаты теста?

Исследовательский институт MECLABS проводил исследование на факторы, из-за которых тест может давать недостоверные результаты. В своем выступлении Доктор Флинт МакГлафлин рассказал об ошибках тестирования и о том, как их избежать. Вот некоторые из них:

• Исторический эффект: во внешнем мире происходит что-то, что могло повлиять на ваш тест.
• Инструментальный эффект: в вашей программе для проведения тестирования содержится баг, который искажает результаты теста.

15. Стоит ли проводить тестирование главной страницы сайта?

Нельзя исключать возможность A/B тестирования главной страницы сайта, но сделать это сложновато. Главная страница обычно получает переменное количество разносортного трафика, на нее заходят как случайные посетители, так и потенциальные клиенты. Также главная страница, как правило, содержит довольно большой объем разного контента, поэтому при проведении теста может быть сложно определить, что побуждает посетителя действовать или не действовать. Наконец, из-за большого количества людей, приходящих на главную страницу с разными целями, тестирование одной цели может стать проблемой. Если вы всё же хотите тестировать главную страницу, экспериментируйте только с CTA-элементами.

16. Что, если у меня нет контрольной вариации?

Контрольная вариация – это первоначальная версия страницы, которую вы тестируете. Если вы хотите сразу тестировать две вариации страницы, которой раньше не существовало, это не запрещено. Просто возьмите одну из них за контрольную. Постарайтесь выбрать ту, которая больше всего похожа на существующие страницы вашего сайта.

17. Почему аудитория в моем тесте разделена не ровно пополам?

Иногда во время A/B тестирования вы можете заметить, что объем трафика у вариаций отличается. Это не означает, что с тестом что-то не так, просто разделение происходит случайным образом. Вспомните подбрасывание монетки. Вероятность выпадения орла или решки - 50 на 50, но у вас, к примеру, может выпасть орел 3 раза подряд. Чем больше бросков, тем ближе результат будет к 50 на 50.

18. Если мы с коллегой поспорили о результате теста, и мой вариант выиграл, следует ли мне посмеяться ему в лицо?

Это очень заманчиво. Тем более в случае, если он считал, что добавление гифки принесет больше конверсий. Но давайте будет профессионалами. Покажите ему результаты теста, составьте дальнейший план работы, а потом уже, пока никто не видит, можно танцевать свой победный танец.

Статья подготовлена на основе публикации: https://blog.hubspot.com/blog/tabid/6307/bid/33466/Answers-to-the-19-Most-Frequently-Asked-Questions-About-A-B-Testing