Аналитический квест для конференции: не только озадачили участников, но и выбрали нового аналитика в компанию

Подготовили датасет на обезличенных клиентских данных из области ретейла, с информацией о продажах за два неполных года и дополнительными метриками: продажи, сессии, показы рекламы, отправленные коммуникации и так далее. Добавили информацию за ещё один предыдущий год — для определения сезонности. И количество покупок — для определения динамики среднего чека и изменения после этого покупательского поведения.

Предложили участникам конференции решить аналитическую задачу

В данных было несколько периодов, где продажи заметно упали. Участникам предлагалось выявить эти периоды, проанализировать метрики и выдвинуть гипотезы о причинах падения.

Предполагалось, что в датасете заложено три основные гипотезы и две неочевидные дополнительные.

В квесте участвовали три команды, которые за отведённые полчаса нашли все базовые гипотезы.

Переработали квест в тестовое задание для кандидатов в отдел аналитики

Конференция закончилась, конкурсные материалы ушли в архив, но, как оказалось, ненадолго.

Уже осенью мы открыли вакансию аналитика, для которой не стали создавать новое тестовое, а использовали задание квеста.

Проверять у кандидата технические скилы, вроде знания SQL и Phyton, мы не стали — их сейчас знают даже школьники, и при желании всё можно нагуглить. А вот аналитические навыки не нагуглишь.

Плюс мы активно используем в работе Power BI, поэтому кандидат должен был уметь проектировать дашборды и правильно визуализировать данные.

Подготовили тестовое задание из двух частей. Проверяли:

1. В первой части — аналитические способности с помощью задания из квеста: представить гипотезы о причинах падения продаж.
2. Во второй — умение визуализировать данные в дашборде. Взяли рабочий дашборд, обезличили его и видоизменили вопреки всем правилам построения дашбордов. Попросили кандидатов найти ошибки и дать рекомендации по улучшению дашборда.

Провели качественный отбор кандидатов

Такое нестандартное тестовое задание помогло выявить критические для аналитиков ошибки.

1. Невнимательно читать ТЗ. Мы просили прислать результат в гуглодоке, но получали pdf-, html-, git-файлы и прочие форматы.
2. Видеть только очевидное. В задании мы просили выявить периоды падения продаж и выдвинуть гипотезы о причинах. Нигде не было указано, что только за 2023 год. 90% кандидатов ограничивались почему-то анализом этого периода (самое очевидное падение) полностью игнорируя остальные периоды.

3. Усложнять. Около 80% кандидатов использовали для обработки датасета скрипты на Python, строили матрицы корреляций, регрессии и так далее. Напомним, во время квеста менеджерам отводилось всего 30 минут, а выполнить задание они должны были на листке бумаги. От кандидатов же мы получали лонгриды скриптов, горы графиков и, увы, поверхностные выводы — к сожалению, неверные.

Умение формировать отчёты, делать корректные выводы и оформить результат — одни из важнейших навыков аналитика. Когда топ-менеджер просит выявить причины падения продаж, он не будет самостоятельно выискивать ответ в скриптах и графиках — ему нужны понятные лаконичные выводы.

Вторая часть задания — найти ошибки в дашборде — оказалась чуть проще. Результат зависел от опыта и насмотренности кандидата. 50% участников не справились.

Хочется отметить, что большинство кандидатов пришло после многочисленных технических курсов, где обучают пользоваться инструментами (SQL, Python и т. п.), но никак не развивают аналитические навыки, в чём зачастую помочь может только опыт.

Получили обратную связь от участников и выбрали нового сотрудника

Некоторые кандидаты на собеседованиях благодарили за нетипичное тестовое задание, а именно: за аналитические задачи. Задание получилось оригинальным и — что важно! — правильное решение нельзя было нагуглить!

В результате мы взяли нового сотрудника, у которого необходимые технические навыки присутствовали «по умолчанию», и тестовое задание было выполнено гораздо лучше, чем у большинства кандидатов.

Профит

— 78 кандидатов запросили тестовое;

— 90% участников ограничивались анализом самого очевидного падения;

— 50% совершили грубые ошибки во второй части;

— 1 человек справился и был принят на работу.

Этот опыт помогает нам смотреть глубже стандартных навыков специалиста при найме — и не только аналитиков. Ведь на проектах наших клиентов часто приходится идти шире поставленной задачи и находить неочевидные проблемы и решения.