Гайд по продуктовым исследованиям: опыт SkyEng, Carrot quest, Miro и Дом.ru

Компания Carrot quest провела очередной митап Perm Product People, на котором обсуждали внутренние исследования в продуктовых компаниях. На него приезжала Алиса Вельмискина, user researcher в Skyeng. Она рассказала, как команде исследователей Skyeng удалось подружить user research и data-аналитику, и поделилась опытом организации исследований. К ней присоедились Катя Сюма, продуктовый дизайнер Miro, и Максим Головкин, head of web & mobile Дом.ru, чтобы рассказать, как исследования устроены в их компаниях. Вопросы ребятам задавал Дмитрий Сергеев, CEO & founder Carrot quest.

Почему в продуктовых компаниях любят исследования даже больше, чем в университетах

На этапе разработки проведение качественных исследований может сэкономить время и ресурсы на внедрение ненужных вещей. А позднее исследования позволят вам понять, как повысить значения ключевых метрик и ускорить процессы.

«9 из 10 гипотез не работает. Их нужно быстро верифицировать. Для этого нужны качественные исследования. Исследования — это про то, чтобы быстрее качественно делать свою работу. От этого все кайфуют». Дмитрий Сергеев, CEO & founder Carrot quest

Специфика продуктовых исследований состоит в том, что у них должен быть максимально короткий цикл, потому что чем раньше произойдет столкновение какой-то идеи с реальностью, а команда получит обратную связь, тем меньше потерь (временных, денежных и прочих) понесет компания.

Как понять, нужно ли исследование

Цель исследования должна быть конкретной. Нельзя исследовать слишком общие вещи. Например, вопрос «почему люди не покупают продукт?» не годится в качестве цели исследования. Более конкретный вопрос «Как пользователи переходят от чтения блога к регистрации в сервисе?» уже может дать старт исследованию.

«Когда начинаешь копаться в метриках, в какой-то момент попадаешь в „область тьмы“. Метрики закончились, дальше — непонятно. Здесь и начинаются качественные исследования». Максим Головкин, Head of web & mobile Дом.ru

При этом важно не начать исследовать все подряд, а сразу отметать ненужные исследования и исследования с бракованными целями и задачами.

«Мы принимаем решение о том, что нам нужно исследование, только когда у нас недостаточно знаний». Катя Сюма, Продуктовый дизайнер Miro

Как отличить бракованные задачи? Если с задачей все в порядке, мы четко понимаем, для чего нам нужна информация и что мы будем с ней делать. Если мы хотим что-то узнать, но понятия не имеем, что нам это даст, то такая задача — брак.

Кто должен заниматься исследованиями

Все зависит от задач, которые вы ставите перед исследованиями, и от размеров компании. В больших компаниях, как правило, исследованиями занимается отдельная команда. Например, в Skyeng работает команда исследователей, которая занимается только тем, что собирает инсайты для продуктовых команд. При этом исследователи, с одной стороны, распределены по продуктовым командам (и ими руководят продакты), а с другой стороны, объединены в команду исследователей, которой управляет руководитель горизонтали. В этой схеме продакты отвечают за бизнес, а руководитель горизонтали — за развитие сотрудников. Отдельная команда исследователей, которые делают большие исследования для продукта и маркетинга и заодно учат остальных, работает и в Дом.ru.

Другой вариант — разово собирать кросс-функциональную команду специально под исследование. В Miro исследования проводят смешанные команды из продактов, дизайнеров и разработчиков, для которых исследования — это дополнительная функция, и есть data team, которая тоже активно участвует в качественных исследованиях и проводит свои — количественные.

В Carrot quest исследованиями занимаются разные люди и разные команды, в зависимости от задачи, в том числе команда гроус хакинга, которая занимается верификацией гипотез непрерывно.

«Если компания data-informed, то культура исследований будет зарождаться и процветать». Катя Сюма, Продуктовый дизайнер Miro

Какие скиллы пригодятся исследователю

• любознательность;
• критическое мышление;
• аналитические способности;
• развитая эмпатия;
• коммуникативные навыки;
• знание продукта;
• знание аналитики/основ UX;
• умение считать;
• отсутствие перфекционизма;
• социологическое воображение (умение интерпретировать реальность);
• умение абстрагироваться от своего продукта, способность относиться к нему критически (вы должны искать в нем недостатки, потому что это поможет улучшить его);
• владение техникой активного слушания.

Не впадайте в панику, глядя на этот список: вы можете не обладать всеми этими скиллами сразу, но у вас точно будет возможность их развить, если вы займетесь продуктовыми исследованиями.

«Исследования помогают мне развиваться как дизайнеру. Они помогают опрокидывать собственные решения, относиться к ним более отстраненно. Больше итерировать. Исследования развивают скорость и эмпатию». Катя Сюма, Продуктовый дизайнер Miro

Как выбрать методы и инструменты

В продуктовых компаниях применяют и совмещают разные методы:

Когда речь идет о продуктовых исследованиях, то чаще используются качественные методы (потому что так удобнее для коротких итераций). Но опыт Skyeng и других компаний подтверждает, что иногда бывает полезно дополнить знания, полученные в результате качественного исследования, количественными: например, провести ряд глубинных интервью и заодно проанализировать количественные данные по исследуемому сегменту. Или наоборот, в количественных данных можно найти «боль» пользователей, а качественное исследование, в свою очередь, может помочь ее закрыть.

«Смешанные методы — это круто». Алиса Вельмискина, User researcher в Skyeng

Иногда можно обойтись каким-то одним методом. Например, глубинными интервью или сбором фидбэка. Но можно их успешно сочетать. Юзабилити-тесты можно дополнять короткими интервью, сбор фидбэка — кабинетным исследованием. Выбор зависит от задач исследования и от возможностей, которыми располагает команда.

Бывает так, что команда находится в одном полушарии, а пользователи продукта — в другом. В этом случае все инструменты автоматически становятся удаленными, хотя суть их остается прежней. То есть это будут те же коридорные тесты, но с использованием Skype или Zoom, и те же интервью, но, например, телефонные, без возможности считывать эмоции собеседника, то же наблюдение, но через вебвизор. На самом деле, в продуктовых компаниях чаще всего так и происходит.

Как подготовиться к исследованию

Вам понадобится сформулировать:

• проблему,
• цель,
• задачи,
• гипотезы.

А также выбрать сегмент пользователей, на котором вы будете проверять эти гипотезы, и составить такой гайд (список вопросов), который позволит охватить все задачи исследования.

Хак: не спрашивайте о том, что сделал бы ваш респондент, спрашивайте о его прошлом опыте. Тогда он не сможет вам соврать, а вы не станете развивать свой продукт не в том направлении.

Как найти респондентов

Своих пользователей можно приглашать пройти интервью или опрос через внутренние сообщения, мессенджеры или рассылки. Здесь тоже пригодятся смешанные методы: вы можете в самом начале исследования отсортировать внутренних респондентов, опираясь на количественные данные, которыми располагаете.

Есть хорошие новости: замечено, что недовольные пользователи всегда с удовольствием делятся своими негативными впечатлениями. Используйте это!

«Ребята, которые отвалились, очень любят говорить о том, почему они это сделали. Недавно мне написал один такой: „Я отвалился, МОГУ ПРИЙТИ И РАССКАЗАТЬ ПОЧЕМУ“». Дмитрий Сергеев, CEO & founder Carrot quest

Сложнее найти тех, кто не является вашим пользователем и не касался вашего продукта и при этом подходит под определенные критерии. Как это можно сделать? Таких респондентов в каждом отдельном случае, как правило, приходится искать вручную. Можно попробовать сделать это через профессиональные сообщества в слэке, телеграме или фейсбуке. Кстати, канал Perm Product People в телеграме — как раз одно из таких сообществ. Еще можно попросить текущих пользователей поделиться с вами контактами коллег. В любом случае, планируя исследование, не забудьте заложить время на поиск подходящих респондентов.

Какие вопросы и как задавать

Придумайте вступление и вводные вопросы. Расскажите о том, чем вы занимаетесь. Расскажите, как для вас важно сделать продукт лучше для пользователей. Пусть участие в исследовании будет для пользователей положительным опытом.

Основные правила:

1. Задавайте открытые вопросы.
2. Уклоняйтесь от лести.
3. Не давайте шанса соврать.
4. Не спрашивайте мнение, расспрашивайте об опыте.
5. Меньше говорите, больше слушайте.
6. Радуйтесь критике.

Не забывайте поблагодарить участников исследования! Обязательно — в конце разговора, и можно сделать это еще раз в письме.

Чтобы научиться задавать правильные вопросы, ответы на которые не уведут вас в ложном направлении, советуем прочитать хотя бы один раз книгу Роба Фицпатрика «Спроси маму» и как можно больше практиковаться в проведении интервью.

Какую выборку считать достаточной

Всегда по-разному. Для качественных исследований действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить все или почти все конфигурации смысла и опыта, важные для исследования, но в то же время не быть слишком большой (тогда она становится контрпродуктивной). Принцип такой: если информация начинает повторяться, значит, пора остановиться.

«Помните, что в качественных исследованиях, в отличие от количественных, количество выборки нельзя оценивать статистически». Алиса Вельмискина, User researcher в Skyeng

Качественные исследования нацелены на реконструкцию смысла, а не на статистические обобщения.

Как выделить инсайты из массива собранной информации

Череду методов и набор фреймворков для анализа полученных данных каждый выбирает сам, тут нет универсальной формулы.

«Когда я пыталась использовать разные фреймворки (CJM, JTBD и другие), у меня всегда получался какой-то свой монстр-фреймворк, потому что я начинала их миксовать и в результате получалось что-то новое, очень кастомное». Катя Сюма, Продуктовый дизайнер Miro

Чем раньше вы начнете сами проводить исследования, тем быстрее научитесь подбирать и сочетать между собой подходящие именно вам фреймворки.

Как измерять эффективность исследований

Оценивать эффективность исследований непросто. Еще сложнее посчитать, оправдывают ли результаты исследований потраченные на них ресурсы. Когда можно считать, что исследование удалось?

• Есть инсайты, которые можно проверить.

«Если мы провели исследование и получили ответы на все вопросы, которые стояли в качестве задач исследования, подтвердили или опровергли все гипотезы, которые у нас были, исследование можно считать успешным». Алиса Вельмискина, User researcher в Skyeng

Если вы ответили на все вопросы, а инсайтов нет, значит вопросы были сформулированы некорректно. Поэтому так важно фильтровать исследования на входе и не брать в работу «брак».

«Я стараюсь всегда, даже если иду с ребятами что-то тестить в офисе, написать гипотезу, которую я проверяю, и потом ее скорить». Катя Сюма, Продуктовый дизайнер Miro

В идеале должен появиться список рекомендаций, то есть конкретных действий по улучшению продукта, который исследователи передают команде продукта. А продакты дальше с этим списком работают: дополняют его, приоритизируют и отдают разработчикам. Так делают в Skyeng.

«Важно, чтобы это не были инсайты в стол, а чтобы в результате исследования генерировалось решение». Катя Сюма, Продуктовый дизайнер Miro

• По итогам исследования что-то запустили в работу и это дало рост метрик.

Как внедрить результаты

Задача исследователей — дать продуктовой команде рабочие выводы и рекомендации, а не бесполезный манускрипт. В Skyeng разработали шаблон отчета — набор из нескольких вопросов, на которые ресечер должен ответить по завершении исследования. А команде уже передается документ с отсортированным списком инсайтов, подтверждающих или опровергающих гипотезы, с цитатами и ссылками на источники (в том числе для того, чтобы не было соблазна по-своему интерпретировать данные).

Если вы проводите много исследований и узнаете благодаря ним много нового, придумайте свой способ шэрить эти знания со всей командой. Например, ребята в Miro проводят внутри компании регулярную встречу Product Insights, а у нас в Carrot quest есть «рыбные четверги» — это такие внутренние митапы, на которых все команды по очереди делятся тем, что важного и интересного для всех они накопали. В Skyeng результаты исследований обсуждают на командных стендапах и публично презентуют заказчикам из других команд.

Как хранить результаты

Важно придумать, как удобно хранить результаты всех ваших исследований, чтобы к ним можно было вернуться в любой момент и проанализировать какие-то данные с новой точки зрения или соотнести их с новыми инсайтами.

Исследования могут повторяться. Ваш продукт развивается, обстоятельства меняются, появляются новые проблемы и приходится проводить повторные исследования, одних и тех же вещей, но с другими целями и под другие задачи. Возможно, некоторые исследования вы решите сделать регулярными.

Если исследований много, обязательно нужно создать единый реестр. Такой реестр создали ребята в Skyeng. Это таблица, организованная таким образом, чтобы было просто найти все исследования по разным темам. Сами заметки и выводы по каждому исследованию хранятся в Notion.

Мы в Carrot quest для того чтобы приоритизировать гипотезы и хранить данные, относящиеся к ним, используем Favro. Вы можете выбрать для себя какой-то другой способ.

Какие есть риски?

• Получить некачественные данные.

Вы можете забыть спросить о чем-то (нехватка опыта, стресс при первом интервью, молчаливый или чересчур разговорчивый респондент). От этого спасет гайд.

• Найти то, что уже и так известно.

Чтобы этого избежать, нужно хорошо знать продукт и внутренние процессы.

• Найти то, что не принесет пользы/нельзя внедрить.

Помните, что ресурсы ограничены, и вы создаете продукт для пользователей, а не для команды

• Потратить слишком много времени и сил.

Прежде чем приступить к исследованию, сравните, что дешевле по трудозатратам: исследование или А/Б тест. Если данных и инсайтов недостаточно, идите исследовать, чтобы пополнить копилку гипотез.

Чек-лист

• Посмотрите на аналитику. Возникают ли у вас вопросы «почему», когда вы смотрите на данные? Попробуйте изучить качественно! И наоборот. Вы провели кастдев, узнали что-то новое. Проверьте этот инсайт на количественных данных. Найдите слабые места и определитесь с методами.
• Выберите сегмент пользователей.
• Если можно провести кабинетное исследование — проведите. Если можно им ограничиться — ограничьтесь.
• Сформулируйте цель исследования. Разбейте цель на задачи. Если вам не ясно, что вы хотите узнать, даже не начинайте.
• Убедитесь, что задача исследования — не брак (вы точно знаете, для чего вам информация, которую вы получите в результате исследования).
• Накидайте гипотез под каждую задачу.
• Обсуждайте гипотезы с командой.
• Сформулируйте вопросы, ответы на которые позволят вам подтвердить или опровергнуть каждую из гипотез.
• Не затягивайте исследование. У него должен быть максимально короткий цикл.
• Спрашивайте не о гипотетическом, а о реальном опыте пользователя — не о том, что человек сделал бы, а о том, что он делает сейчас или делал в прошлом (как решал проблему).
• Меньше говорите, больше слушайте.
• Не слушайте лесть, добивайтесь критики.
• Постройте список вопросов по принципу от общего к частному, от простого к сложному.
• Не становитесь единственным источником правды о клиентах. Обсуждайте результаты исследования с командой.
• Создавайте кросс-функциональные команды и синхронизируйте эксперименты (чтобы одни не влияли на другие).
• Придумайте удобный способ хранения результатов всех ваших исследований.

«Если в компании культура „делать пользу пользователю“, то внутри, пусть не внутри каждого процесса и каждой фичи, но должна быть какая-то искра, которая зарождает исследование. Ты такой: „Я не уверен“. И в этом момент ты должен поговорить с пользователем, чтобы выяснить, почему ты не уверен. Так мы стараемся делать». Дмитрий Сергеев, CEO & founder Carrot quest

И помните, что завещали нам ребята из Skyeng, которые съели собаку на исследованиях: смешанные методы — это круто, операционные процессы — точка роста, а внутренние исследования — источник инсайтов. Аминь.

Спасибо Алисе, Максиму, Кате и Диме за то, что поделились знаниями и опытом