Как мы создали конвейер по тестированию гипотез

На конкурентных рынках число проверенных гипотез коррелирует с темпом роста компании. Чем оперативнее и качественнее организация опробует предположения, тем быстрее растёт. Вероятность найти решение составляет 10-30%: сначала высока, затем резко падает, когда «низко висящие фрукты сорваны».

Учитывая небольшую долю побед, тестировать идеи необходимо «конвейером»:

1. 1 гипотеза * 50 недель * 25% = 15 успешных предположений за год

2. 3 пробы еженедельно имеют меньше шансов — 25%, однако дают 37 успешных рецептов

3. 5 попыток принесут 50 попаданий по году.

Рано или поздно увеличивать долю рынка текущих продуктов становится долго или дорого — нужно выводить новые.

Виды тестируемых гипотез:

1. Маркетинговые — какие призывы и форматы эффективнее. Статичная или видеореклама вебинарной платформы для непрерывного медицинского образования (НМО):

2. Продуктовые — какой продукт или функционал нужен пользователям. Объявление для проверки спроса на платформу для онлайн-тренингов:

Формулирование гипотез привязано к воронке AAARRR. Рассмотрим пример платформы для вебинаров и онлайн-встреч:

• Awareness — информирование — реклама, статьи в СМИ, посты в социальных сетях.
• Acquisition — привлечение — переход на сайт и заполнение формы регистрации.
• Activation — активация — полезные действия — проведение первого вебинара или встречи.
  
• Revenue — выручка — приобретение платного тарифа.
  
• Retention — возвращение — регулярное проведение онлайн-мероприятий на платформе.
  
• Referral — «сарафанное радио» — рекомендация продукта ближнему кругу.
  

Проверять гипотезы на этапе информирования быстрее и легче всего. Контрольная метрика — кликабельность объявлений (CTR), 1%+ подтверждает интерес аудитории. Изменения на сайте должны опираться на успешные тесты предыдущего шага. Цель: развить достигнутый успех.

Создаём канбан-доску со столбцами:

1. Идеи:

• записываем на карточки в одноимённый столбец: собственные догадки, пожелания клиентов, инсайты продавцов: «видеореклама даст больший отклик, чем картинка»
• запрещено уменьшать стоимость продукта — исключаем слова «скидка», «бесплатно», «акция».
  

2. Гипотезы:

• описываем заголовок по структуре «Если сделаем Х, то изменится ближайшая метрика Y»: «Если предложим лидмагниты для проведения тренингов, получим CTR 1%+»
• связываем эксперимент с квартальными / годовыми целями компании: Подтверждение спроса на платформу для онлайн-тренингов продвигает к цели «Вывести новый продукт на рынок»
  
• прикладываем скрин / прототип с ключевыми текстами: чёрный шрифт на жёлтом фоне или минимальный дизайн в инструментах типа Canva:
  

• указываем дополнительные контрольные показатели: число регистраций, продвижение по этапам воронки: конверсия из заявки в интерес
• определяем рекламную площадку, аудиторию и устройства: Facebook, Instagram, бизнес-тренеры, настольные компьютеры и смартфоны
  
• рассчитываем размер статзначимой выборки: обычно 2’000 показов, редко — 1’000
  
• бюджетируем временные и денежные затраты: до рабочего дня и 10 тыс. руб.
  

3. Приоритезация:

• презентуем гипотезы команде
• отрабатываем возражения, уточняем детали, развеиваем сомнения
  
• при нехватке ресурсов определяем, чьи предположения проверяем в первую очередь.
  

4. Запуск:

• создаём рекламные объявления
• стартуем показ на площадках.
  

5. Измерение:

• фиксируем метрики ежесуточно
• прикрепляем скриншот аналитики после достижения статзначимого числа показов — калькулятор.
  

6. Анализ:

· определяем, достигнут ли контрольный показатель и можно ли масштабировать полученные результаты:

да — переносим карточку в столбец «Успех»

нет или широкое повторение эксперимента невозможно — отправляем в «Неуспех»

Кликабельность объявлений одинаково высокая, однако заявки готовы оставлять далеко не все. Лучшая формулировка привлекла больше обращений по наименьшей цене.

• фиксируем выводы в карточке, избегая споров о причинах побед и поражений — интерпретации не важны: Что стало понятно, что раньше было неочевидно?

при успехе: как можно масштабировать? Как использовать на следующих этапах воронки AAARRR: сайт, e-mail, соцсети?

при провале: что необходимо изменить, чтобы добиться цели?

Единая ценность сверхвостребована одной отраслью и неинтересна другой. Бессмысленно стучаться в закрытую дверь.

• заносим в реестр гипотез.

Распространённые ошибки:

1. Отсутствие прозвона собранных заявок. Полученные отклики необходимо проверить: слишком интересное предложение привлекает нецелевых людей.

2. Неточный таргетинг. Использование look-alike-похожих аудиторий может радикально снизить точность эксперимента. Сегмент, похожий на 2’000 корпоративных бизнес-тренеров, содержит 460’000+ человек, куда попадают репетиторы, учителя школ, лекторы вузов и даже увлечённые педагогикой молодые мамы:

При работе с узкими сегментами допустимы только вручную собранные базы. Для продвижения по аудитории НМО раздобыли доступы к порталу Минздрава и выгрузили контакты организаторов обучения:

3. Риск испортить репутацию. Учитывая долю провальных гипотез в 70-90%, высока вероятность получить негатив от целевой аудитории. Крупные компании нуждаются в перестраховке: лучше использовать нейтральные названия, не ассоциированные с брендом: «Платформа для онлайн-коммуникаций»

Конвейерная проверка предположений требует иной системы мотивации:

• высокая заработная плата позволяет проверять смелые идеи
• премию стоит начислять за успешные гипотезы с потенциалом масштабирования.
  

Отдача от продуктивной команды роста высока. Подтверждение спроса на онлайн-тренинги открыло рынок в 29’000 компаний на 3,2 млрд руб. Валидация сегмента непрерывного медицинского образования (НМО) принесла дополнительную выручку в 12 млн руб. Вложения в проверку гипотез окупились многократно.