С самого старта проекта было очевидно, что необходимо постоянно работать над повышением эффективности работы нашего виджета — только так можно обойти конкурентов (которых, как известно, уже довольно много).

На конверсию огромное влияние оказывает выбор правильного момента. Если виджет выскакивает в тот момент, когда у пользователя возникает какой-то вопрос, то он с большой долей вероятности согласится на звонок и не испытает при этом негативных эмоций. Этот момент — настоящий Святой Грааль всех callback-виджетов, но найти его не так-то просто.

Наш путь занял уже 4 этапа, и надеемся, что успешно завершился.

Этап первый: разное время появления виджета

На момент старта работ по тестированию число уникальных посетителей сайтов, на которых стоял виджет Cashmyvisit, составляло около 20 тысяч в месяц.

Мы решили проверить, как влияет на конверсию время задержки до появления виджета на сайте — 30, 40, 50 секунд. В первоначальную выборку попали все подключенные сайты, оценивалось количество звонков на 100 посетителей.

Выяснилось, что слишком раннее появление виджета приводит к росту числа отказов. Кроме того, мы заметили, что на результаты очень сильное влияние оказывают различные внешние факторы, на которые никак нельзя повлиять — в итоге цифры, от недели к неделе, очень сильно разнились. Все не то.

Этап второй: А/Б-тесты

Когда первый этап находился в разгаре, команда нашего проекта попала на конференцию ФРИИ в Санкт-Петербурге. Там мы послушали выступление Григория Бакунова, директора по распространению технологий Яндекса, который очень кстати упомянул А/Б-тестирование. Позднее, мы нашли в YouTube видео о том, как он с помощью машинного обучения и таких тестов занимался продвижение CRM-системы в США — механизм показался подходящим для наших задач.

Мы начали внедрять в процесс разработки А/Б-тестирование. За короткое время были запущены пять сценариев появления виджета, начиная с таймаута в 37 секунд с шагом в 8 секунд.

К сожалению, надежды не оправдались. После месяца тестов стало понятно, что:

• Он не дает пищи для реальных выводов.
• Данные по всей системе в общем нерелевантны для одного конкретного сайта.
• Выводы следует делать не по факту посещения сайта, а по факту активации виджета.

Этап третий: критерии для определения заинтересованности

Всем ли пользователям нужно показывать виджет? На следующем этапе мы решили определять наиболее вовлеченных посетителей сайта, и предлагать обратный звонок только им. Чтобы это сделать, нужно было выработать критерии заинтересованности. К ним мы отнесли:

• Время активности на сайте более 30 секунд (на основе отслеживания движений мышью).
• Время активности пользователя больше среднего времени активности других посетителей.
• Глубина просмотра превышает средние цифры.
• Источником перехода было контекстное рекламное объявление.

Помимо этого, дополнительные баллы вовлеченности начислялись в двух случаях:

• За каждые 15 секунд, сверх среднего времени, проведенного на сайте.
• За осуществление 100% скролла страницы.

Комбинация таких поведенческих факторов, должна была сигнализировать о том, что для посетителя появление виджета будет своевременным.

Буквально на следующий день, после внедрения описанной математической модели в прототип новой версии виджета, один из конкурентов выкатил обновление, включающее все то, с чем мы планировали стать лидерами рынка!

Это был удар по нашему самолюбию, но мы довели начатое до конца и выпустили собственное обновление. Собранные данные показали, что продукт все равно работает не так, как нам бы того хотелось.

Тогда мы привлекли к работе профессиональных математиков, которые указали на главную ошибку. У нас и у конкурентов, время нахождения пользователя на сайте было в качестве самого важного показателя во всей системе. В 9 разных параметрах степень корреляции с параметром время было более 80% — в итоге система не контролировала то, какому количеству людей будет показан виджет и не соотносила его поведение с тематикой конкретного сайта.

Стало ясно — эта система далеко не Грааль.

Четвертый этап: опорные векторы

Именно метод опорных векторов — нам порекомендовали использовать математики.

Мы решили попробовать и уже через пару часов отдел разработки, совместно с математиками, исписывали формулами листки бумаги.

Получившаяся в итоге, система включает несколько параметров в 230 разрезах (страницы сайта, источники посещения, время на сайте, время суток, день недели и т.д.). В ходе анализа вычисляются натуральные логарифмы, значения суммируются, эта сумма сравнивается с единицей. Если результат равен или больше единицы, то виджет показывается посетителю. Значения пересчитываются ежесекундно.

Несколько месяцев ушло на доработку системы, в апреле мы запустили ее в тестовом режиме на небольшой выборке клиентских сайтов. Уже первые замеры показали рост конверсии, в среднем, на 20-25%.

Радоваться рано

На все описанные выше поиски, пробы и ошибки у нас ушло больше, чем полгода. Однако, полученный в итоге результат радует и нас, и наших клиентов (вот здесь мы рассказывали о том, как применение виджета помогло повысить лояльность клиентов автодилеров). Мы не собираемся останавливаться на достигнутом и продолжаем дорабатывать систему так, чтобы конверсия была еще выше.

В конце концов, постоянное развитие — единственный способ победить на таком конкурентном рынке, как наш.