Flocktory Labs: как научный подход к конверсии улучшает результаты каждый день
A/B тесты — это сравнительно простой способ определить как вносимые вами изменения во внешний вид предложений (дизайн, тексты и т.д.) и в сами предложения (размер скидок, различные подарки и т.д.) влияют на конверсию в полезные действия, в т.ч. покупки. Это экспериментальный и научный подход к переходу от мы думаем это улучшит результаты к мы знаем как это влияет на результаты, где данные говорят сами за себя.
- интернет-магазины,
- банки,
- туристические сервисы (сервисы бронирования авиабилетов, туров, отелей, проката автомобилей),
- новостные сайты и СМИ,
- и другие сервисы, на сайтах которых есть полезные действия.
В рамках Flocktory ценность A/B и MVT тестов (о них речь пойдет чуть позже) представляется в возможности постоянного улучшения результатов. Пользовательский опыт взаимодействия с сайтом настолько сложен, что определить чистый эффект при смене кампаний Flocktory выделить очень трудно — меняется сезон, экономическая ситуация, предпочтения и другие факторы. A/B тестирование позволяет выявить этот чистый эффект работы кампании. При запуске теста две кампании работают параллельно, а распределение пользователей происходит случайным образом, как в научном эксперименте.
Система тестирования Flocktory позволяет тестировать практически любой настраиваемый параметр и не ограничена списком, представленным ниже. Тем не менее можно выделить несколько параметров, которые наиболее востребованы в тестах и с которых имеет смысл начинать:
Примеры параметров, которые можно тестировать и оптимизировать в различных модулях Flocktory
Помимо этого мы самостоятельно проводим множество тестов как перед запуском новых продуктов, так и постоянно улучшая результаты уже работающих модулей.
Методология тестирования Flocktory использует продвинутые статистические методы, которые, при подведении итогов учитывают не только коэффициенты конверсий, но и, например в модуле Post-Checkout, — средний чек покупки, количество привлеченных покупателей через одного рекомендующего и другие показатели. Важно, что в каждом инструменте Flocktory итоговые показатели оценки эффективности проведенного A/B теста будут отличаться.
За время разработки и оптимизации наших продуктов мы выработали свою методологию проведения A/B и MVT тестов. Стандартная методика, которую используют по умолчанию такие инструменты как Optimizly, Google Analytics и другие рассчитана на тест конверсии: состоялась она или нет. Мы же, в свою очередь, используем сложное распределение, которое теоретически сверху никак не ограничено: поясним на примере Post-Checkout — при стандартной методологии теста как только первоначальный покупатель привел друга и тот совершил заказ, считается что конверсия состоялась; мы же учитываем, что таких привлеченных друзей может быть несколько, то есть теоретический предел не ограничен. Помимо этого мы можем оценивать изменение средних чеков, принимая во внимание тот факт, что распределение суммы заказов имеет тяжелый хвост (небольшое количество больших по сумме заказов), что приводит к волатильности показателей работы кампании, в том числе и средней суммы заказа. Проще говоря, если существует ряд отдельно взятых покупателей, которые совершают покупки на очень большие суммы, наша методология позволит избежать влияния их высоких средних чеков на общую статистику и оценку эффекта маркетинговой кампании.
Аккаунт-менеджеры будут рады помочь с проведением тестов по нашей методологии.
Корректность методологии начинает иметь больший вес, когда речь заходит об MVT-тестах. MVT (multivariate testing, мультивариантное тестирование) использует несколько вариаций совместно: например, когда вы хотите протестировать цвет (серый или черный) и размер шрифта (16 или 14) одновременно. Тогда в испытание берутся, например, следующие вариации:
- серый, 16 — текущий вариант
- серый, 14
- черный, 16
- черный, 14
Так как для подведения результата требуется делать предположения, которые не всегда корректны, факторы должны быть ортогональными (независимыми друг от друга — размер шрифта не зависит от цвета). В то же время количество полезных действий на которых нужно проводить подобные тесты тоже возрастает. Важно обращать внимание на то, чтобы предположения используемые в тесте были корректны и избегать излишних агрегаций и обобщений.
Можно заметить, что в данном случае берется пересечение каждой вариации цвета с каждой вариацией размера шрифта. Это один из основных сопобов изоляции эффекта изменения каждого из параметров. При этом отдельное внимание уделяется тому насколько факторы независимы друг от друга. Так, в нашем примере нельзя сказать, что размер шрифта не влияет на восприятие текста при изменении его цвета, эти два фактора работают вместе. Эти и другие моменты, учитываются нашей командов при составлении условий теста. Мы стараемся избегать неоправданных предположений, так как ценим точность и достоверность представляемого нами анализа. Все же зачастую мы рекомендуем двигаться последовательно и проверять гипотезы, используя A/B, а не MVT тестирование. При этом важно помнить, что для подобных тестов важна достаточная выборка. Наша практика показывает, что примерно 3000 наблюдений на каждую вариацию – в большинстве случае достаточно для того, чтобы сделать выводы.
Для постоянного улучшения результатов даже при использовании шаблонных решений мы запустили Flocktory Labs и разработали долгосрочный план тестов
Несмотря на то, что совсем универсальных советов быть не может и на каждом отдельном сайте могут выигрывать разные решения, Flocktory Labs разработал специальную программу тестирования для планомерного улучшения результатов, следуя стандартной последовательности тестов. Методология наших тестов предполагает и периодический контроль корректности результатов с помощью A/A тестов, когда один вариант сравнивается сам с собой для контроля того, что наша методология не приводит к выявлению статистически значимой разницы в полученных результатах.
Нашим ключевым показателем оценки эффективности является заработок на показ одного предложения в Post-Checkout или заработок на полезное действие (получение лида, подписка, регистрация, отзыв, рекомендация, переход на целевую страницу и многое другое) в Pre-Checkout. При этом во внимание принимается вся воронка от показа предложения (страница Спасибо за покупку на вашем сайте, начальная страница Exchange на нашем сайте) до конечной покупки, включая параметры заказа, например, сумму покупки. Каждый участок воронки оценивается на наличии статистически значимого улучшения (например, от показа предложения до лида, из лида в заказ, при заказе — средний чек). По результатам каждого теста мы готовим отчет, который предоставляем клиенту, полностью расшифровываем выводы и поясняем дальнейший рекомендуемый план действий.
Если вы хотите знать как мы работаем над улучшением результатов и получить доступ к экспериментальным продуктам, напишите нам, и мы с радостью подключим вас в программу тестирования Flocktory Labs. Вам не стоит волноваться, в любом случае ваш аккаунт-менеджер проинформирует о предстоящем тесте заранее и спросит вашего разрешения на каждый тест.