Пойдем, выйдем: подробный гайд по коридорным тестам

Мы уже говорили про нелегкую, но интересную жизнь продактов и коридорные тесты с ребятами из Product Heroes и рассказывали, почему коридорки так важны для всех будущих и действующих продуктовых героев. У ребят есть короткая инструкция на этот счет. На основе этой инструкции и собственного (порой горького) опыта мы подготовили для вас пошаговый гайд, который поможет вам разобраться во всем от и до: как правильно и с пользой для продукта организовать и провести коридорный тест, как фиксировать и хранить инсайты и каких ошибок можно избежать.

Что такое коридорные тесты

Коридорный тест — это быстрое юзабилити-тестирование разрабатываемого интерфейса, цель которого — убедиться, что пользователи воспринимают его так, как задумано разработчиками, и найти возникающие при его использовании барьеры.

Допустим, вы собираетесь выпустить обновление. Чтобы понять, что выбрано правильное направление, команда собирает прототип. Прототип нужно показать нескольким пользователям. И придумать для них легенду и задание, которые позволят сверить восприятие макета реальными людьми с ожиданиями команды. Такими пользователями могут быть ваши коллеги, не задействованные в разработке обновления, или просто случайные прохожие. Одно такое интервью займет от 5 до 15 минут. Это и есть коридорный тест.

Коридорные тесты получили такое название, потому что они помогают максимально быстро получить обратную связь — достаточно просто выйти в коридор и провести такой тест с тремя-пятью коллегами. И вот вы уже получили обратную связь, потратив минимум времени.

Помимо времени, коридорные тесты сэкономят вам деньги. Они помогают сократить и оптимизировать стандартный цикл разработки: вы получаете фидбэк и устраняете ключевые проблемы еще до релиза.

При этом не обязательно буквально «идти в коридор», то есть проводить тест очно. Большинство продуктовых компаний проводят такие тесты удаленно, потому что их пользователи запросто могут быть очень далеко. Даже в другом полушарии.

Когда коридорные тесты подходят, а когда — нет

Коридорные тесты не используются, чтобы определить, какой вариант дизайна лучше. Для этой цели больше подходят A/B тесты. Задача же коридорных тестов — найти очевидные ошибки дизайна, которые мешают пользователям. С помощью коридорных тестов можно тестировать не только интерфейс приложений и программ, но, например, лендинги, письма и даже статьи со всеми составляющими (картинки, тексты, СТА и другое).

Примеры коридорных тестов

Пример первый, в котором Женя из команды продукта проводит коридорный тест стартовой страницы Carrot quest. На страницу в качестве эксперимента был добавлен квиз с вопросами, подсказывающими, каких целей помогает достичь сервис, и СТА «Начать знакомство с сервисом».

В этом коридорном тесте не все идеально. После чтения этого гайда можно попробовать найти ошибки, чтобы закрепить материал.

Чтобы познакомиться с сервисом, пользователю предлагается ответить на несколько вопросов, а затем оставить свою почту, на которую мы отправим обучающие материалы. Наш сценарий выглядит так: пользователь прошел опрос → оставил почту.

Аня, которая участвовала в коридорном тесте в качестве клиента, после прохождения опроса сказала, что, скорее всего, не оставила бы почту, потому что она «еще ничего не поняла», а от нее «уже что-то хотят». Сценарий не работает, клиент не хочет оставлять почту.

В результате мы поняли, что квиз нужно изменить так, чтобы показывать не только ценность, но и механику работы сервиса, а формулировки сделать более конкретными.

Пример второй, в котором мы снова тестируем стартовую страницу:

видео

В этом примере респондент после заполнения анкеты говорит, что он ждал, что после заполнения анкеты ему покажут, как работает сервис, но вместо этого ему предлагают оставить почту, куда отправятся обучающие материалы. Возникает риск, что клиент «отвалится» на этом этапе.

Этот тест окончательно убедил нас в том, что квиз нужно изменить, сместив фокус в сторону задач, которые стоят перед клиентом, и конкретных фичей, которые есть в сервисе.

Пример третий, в котором email-маркетолог Carrot quest Полина проводит коридорное тестирование письма с приглашением настроить лидогенерацию через поп-апы:

Участница коридорного теста, которая по легенде получила такое письмо, говорит, что ее сбивает анимация. Анимация была ошибкой и Полина решила ее убрать.

Коридорный тест Полины тоже можно сделать лучше. Проанализируйте его еще раз после чтения этого гайда.

Как организовать коридорный тест

С чего начать

Допустим, мы уже подготовили интерфейс или лендинг для теста. Коридорный тест начинается с определения сценария, которому в идеале будет следовать пользователь при взаимодействии с ними. Сценарий — это шаги, которые проходит пользователь для достижения результата. По большому счету, это очень упрощенный вариант customer journey map.

Вот Женя тестирует, как люди реагируют на появление базы знаний вместо онлайн-чата с консультантом:

Сценарий можно изобразить так:

Сценарий — карта, которая помогает анализировать поведение пользователя на каждом этапе и выявлять барьеры, которые мешают ему получить результат. Задача исследователя — найти их, а затем устранить.

Следующий шаг — составить легенду, которую мы будем рассказывать пользователю. В этом нам также поможет сценарий.

Шаблон легенды:

Пример легенды: «Представь, что ты — собственник небольшого интернет-магазина. Ты хочешь принимать платежи от своих пользователей прямо на сайте. Для этого тебе необходимо установить онлайн-кассу, но ты не знаешь, как происходит процесс установки. Ты зашел на сайт поддержки и видишь эту страницу».

Как искать респондентов

Для коридорных тестов не всегда нужно искать целевых респондентов. Во многих случаях тесты можно проводить с командой. Если речь идет о базовых вещах, ребята из вашей команды легко обнаружат проблемы, с которыми, скорее всего, столкнутся и реальные пользователи.

Но командой можно обойтись не всегда. Например, это не вариант, когда нужно оценить интерфейс с точки зрения нового пользователя, который еще ни разу не соприкасался с вашим продуктом. Допустим, речь идет об обновлениях в онбординге. А все ваши коллеги его уже прошли. Или нужно убедиться в том, что вы выбрали формулировки, понятные не только тем, кто погружен в контекст вашей работы. Кроме того, бывает, что для теста нужны респонденты с определенными профессиональными ролями и определенным опытом.

Что можно сделать:

1. попросить коллег, друзей или знакомых;
2. попросить прохожих поучаствовать в тестировании;
3. найти людей среди существующих пользователей продукта, подходящих под выбранные критерии;
4. написать в специальные чаты и группы в социальных сетях (см. в конце статьи список Telegram-каналов с респондентами для коридорных тестов);

Пример приглашения респондентов для участия в коридорном тесте через Telegram

1. использовать платформы для найма исполнителей и размещения объявлений (Upwork, Youdo, Craigslist);
2. использовать платные сервисы для поиска респондентов (Respondent, User Interviews, UserTesting, UsabilityHub).

Синхронизироваться с респондентами по времени, каналам связи и задачам теста можно через Calendly:

Сколько респондентов понадобится

Для коридорных тестов действует концепция насыщения: выборка должна быть достаточной, чтобы обнаружить основные проблемы.

Как только информация начинает повторяться — пора остановиться. Для получения полного представления о существующих проблемах обычно нужно провести от 5 до 15 интервью.

На практике эта цифра складывается из нескольких итераций, в каждой из которых принимает участие от 3 до 5 респондентов. Если уже в первой итерации три респондента успешно взаимодействовали с вашим интерфейсом и не встретили препятствий, можно остановиться. Если позволяет время, можно провести еще одно, контрольное, интервью. А вот если из пяти респондентов трое испытывали трудности, есть повод для еще одной итерации.

Как организовать процесс

Правило 1: Откройте все материалы заранее.

Не утруждайте пользователя поиском и загрузкой письма, статьи и лендинга на самом тестировании.

Правило 2: Записывайте видео.

Почему вам понадобится запись?

• Невербальное поведение (мимика, жесты, эмоции) — тоже информация. И иногда эта информация важнее, чем слова.
• Записи на бумаге не позволят полно зафиксировать такую информацию.
  
• В ходе самого теста сложно самостоятельно следить за невербальными сигналами. Ваше внимание сосредоточено на том, как пользователь взаимодействует с интерфейсом. И вы думаете, как дальше построить беседу.
  
• Повторный просмотр записи даст вам шанс увидеть то, что вы могли не заметить в ходе теста.
  
• Запись можно показать коллегам в качестве доказательства вашей правоты. Или для того, чтобы они помогли вам с интерпретацией.

При съемке важно соблюсти два момента: должно быть видно лицо респондента и интерфейс.

Вот пример видеосъемки, когда контекст не видно:

Пример коридорки, когда контекст видно, но не видно лицо:

Пример коридорки, когда видно контекст и лицо:

Ещё стоит обратить внимание на то, как пользователь управляет экраном.

Варианта два:

1. Вы показываете демонстрацию экрана и управляете мышкой.
   
   В этом случае респонденту придется говорить, что он прочитал, и просить вас листать дальше. Это хороший вариант, когда вам надо узнать о восприятии каждого блока или вы технически не можете дать пользователю доступ к экрану.
   
2. Респондент сам управляет мышкой и листает экран.
   
   Этот вариант выигрышнее. Вы видите как человек двигает мышкой, мышка показывает, куда он смотрит, и контекст становится понятнее. вы избегаете ситуации, когда надо спрашивать, листать ли дальше — обычно это немного сбивает.
   

Хак от нашей команды продукта. Очень удобно коридорить вдвоем, даже если вы проводите коридорный тест удаленно и записываете интервью в Zoom. В этом случае один человек проводит сам тест, а второй — делает заметки. Если тест очный, это тем более удобная конфигурация, которая позволяет одному из вас полностью сосредоточиться на беседе, пока второй фиксирует результаты. У нас коридорные тесты часто вместе проводят продакт и дизайнер продукта.

Как вести беседу и какие вопросы задавать

В самом начале обязательно нужно задать контекст, чтобы человек понимал, какую задачу он должен решить. Нет контекста — человек придумает себе задачу и начнет фантазировать о том, что не так с интерфейсом и как его улучшить. Чтобы задать контекст, нужно рассказать легенду.

Следующий шаг — задать три вопроса. Их можно задавать итерационно. Например, показать одну часть лендинга и задать эти вопросы, потом другую — и снова задать те же самые вопросы.

Три главных вопроса для коридорных тестов: «Что видишь?», «Что понимаешь?», «Что хочешь сделать?»

«Что видишь?»

Это вводный вопрос, цель которого — понять, как человек ориентируется в контексте, в котором он находится, что привлекает его внимание в первую очередь.

«Что понимаешь?»

Ответ на этот вопрос помогает выяснить, как человек интерпретирует информацию, понял ли он ценностное предложение или у него возникают дополнительные вопросы.

Вот отличный пример того, как работает этот вопрос в сочетании с первым. Лера из команды нашего американского продукта Dashly тестирует, как клиент воспринимает лендинг:

«Что хочешь сделать?»

Другие варианты — "Как думаешь, что произойдет при нажатии на эту кнопку"/"Куда бы ты нажал, чтобы сделать это?" Эти вопросы направлены на выяснение целей каждого действия и ожиданий от интерфейса.

В примере выше хорошо видно, как этот вопрос работает на практике.

Ответы на эти вопросы дадут вам знание о том, что понял человек из вашего лендинга, что он увидел, а что — нет. Последний момент может быть особенно важным, особенно если пользователи массово не замечают кнопку «Купить».

А теперь о вопросах, которые могут возникать во время тестирования, но которые стоит задавать с большой осторожностью:

«Что бы вы изменили на сайте/лендинге?»

Есть риск, что респондент начнет фантазировать о фичах, которые нужно добавить. Всегда нужно выяснять, какие проблемы человек хочет решить с помощью фичи, чтобы потом придумать для них решение (и понять, нужно ли вообще решать эту проблему).

«Если мы уберем/добавим эту фичу, вам понравится эта страница?»

Люди плохо прогнозирует будущее, а в ответ на такой вопрос, вероятнее всего, соврут, сами того не желая, потому что в него заложены ваши ожидания. Поэтому вместо этого вопроса лучше изучить путь человека, который привел его к негативному восприятию. Например, спросить «Почему вам важно, чтобы эта фича была?»

Бывает, что коридорный тест превращается в экспертное интервью. Этого помогают избежать четкая постановка задачи, сценарий, легенда и тайминг. Если это все равно происходит, используйте тот же набор ключевых вопросов, чтобы вернуть респондента к выполнению вашего задания.

Ошибки при организации теста

1. Не планировать сценарий. Нет сценария — непонятно, какую задачу должен решить пользователь и как он должен это сделать. Кроме того, без сценария не получится составить связную легенду.
2. Не проговаривать легенду респонденту перед тестом. Если этого не сделать, то человек не поймет, что нужно делать, есть риск, что он пустится в фантазии. В результате ценность полученной информации снизится.
3. Не фиксировать все, что говорит и делает респондент. Запись на аудио и бумаге не сработает, поскольку они не фиксируют огромный пласт информации — невербальное поведение. Зафиксировать все поможет видео.
4. Говорить слишком много. Отвечать на вопросы респондента (а они будут возникать) и пускаться в объяснения сути продукта нельзя — так вы будете коридорить вечно, а результата не будет. Если где-то у пользователя возник вопрос, значит, в том месте, где он возник, есть риск снижения конверсии и нужны правки.
5. Перебивать и встревать, когда пользователь говорит. Комментарии могут сбивать. Возможно, пользователь хотел совершить другое действие, но наставления сбили его с намеченного пути. Самая лучшая стратегия — активное слушание.
6. Ничего не делать, если пользователь молча листает страницы. При коридорных тестах человек должен читать вслух и озвучивать, что он делает, чтобы была возможность понять ход его мыслей. Если человек ничего не говорит, то нужно побуждать его тремя вопросами: «Что видишь? Что понимаешь? Что хочешь сделать?» Лучше не допускать ситуаций, когда пользователь молча листает лендинг.
7. Не обращать внимания на эмоции. Знания об эмоциях респондентов помогут вам эффективно управлять вниманием остальных пользователей. Если какой-то лендинга вызывает восторг, то пользователи с большей вероятностью будут пролистывать его вниз и увидят следующие блоки. Если где-то есть эмоциональная просадка, то клиенты будут уходить.
8. Начать защищать продукт вместо того, чтобы выслушать всю критику.

Теперь вы готовы покритиковать коридорные тесты Жени и Полины и знаете, как их можно улучшить.

Как анализировать результаты

Как организовать сбор результатов

Для того, чтобы синхронизировать все исследования в команде, делиться полезными материалами и контролировать процесс и шэрить результаты, у нас есть отдельный канал в Slack, доска в Favro, папка на Яндекс.Диске и специальные встречи.

Вот так выглядит доска в Favro:

Совет: вместе с видео стоит сохранять сами материалы (в том виде, в котором вы показывали их респонденту (прототип или скрин)), сценарий, легенду и краткие выводы.

Вот так выглядит в Favro карточка проведенного интервью:

Для хранения и анализа инсайтов создайте текстовый файл (гуглдок или Notion) или таблицу. Вот пример того, как это делает Костя из команды продукта Carrot quest. Он записывает по пунктам все, что делал респондент в рамках тестирования, и фиксирует все проблемы, которые возникли во время решения задачи, и полученные инсайты.

Отличный вариант для того, чтобы зафиксировать все препятствия, с которыми столкнулись пользователи на лендинге базы знаний Dashly, которую мы недавно зарелизили, придумала Лера из нашей американской команды. Она использовала для фиксирования данных и визуализации Miro.

Результаты коридорных тестов лендинга базы знаний в Dashly: слева — сам лендинг и заметки с новыми вариантами текста и визуальных материалов, справа — все значимые комментарии респондентов, которые необходимо было зафиксировать.

Следующий важный момент при анализе результатов коридорного теста — обсудить результаты коридорных тестов с командой, чтобы синхронизироваться.

Как делать выводы

В анализе результатов нам поможет сценарий, который мы составляли на этапе планирования. Мы провели тест, у нас есть запись. Смотрим ее и «наносим» на сценарий все препятствия, которые возникли у пользователя на разных этапах. Вот как это может выглядеть на примере теста Жени:

Выявленные препятствия команда устраняет в следующей итерации и затем проводит еще одну серию коридорных тестов, чтобы оценить, насколько удалось упростить движение пользователя по сценарию.

Ошибки при анализе результатов

1. Прислушиваться к советам респондента. Если пользователь посоветовал добавить переход на чат в фейсбук, это еще не повод принимать решение о срочном внесении изменений. Сначала нужно разобраться с проблемой, которую человек хочет решить с помощью этого перехода.
2. Анализировать только то, что человек говорит. При анализе важно обращать на эмоции, чтобы найти проблемные места. Если человек смущается или хмурится, скорее всего, в этом месте он покинет страницу.

Telegram-каналы с респондентами для коридорных тестов

Мы сами проводим очень много коридорных тестов, чаще всего в них участвуют наши коллеги и существующие пользователи. Но иногда нам приходится искать респондентов, которые еще не соприкасались с нашим интерфейсом. Несколько раз нам очень помогали в этом каналы в Telegram, поэтому мы решили поделиться списком таких каналов с вами:

1. [UNCRN.me] Коридорки и кастдев
2. Perm Product People
3. Epic Growth Chat
4. Designers of Perm
5. ProductSense Chat

Полезные сервисы и приложения:

1. Calendly — для синхронизации с респондентами по времени и каналам.
2. Zoom — для видеозвонков с возможностью шэрить экран и записать звонок.
3. Getcover — для демонстрации прототипов.
4. Figma — для создания сценария или customer journey map.
5. Miro — для создания сценария и фрейма для визуализации результатов (и обмена с командой)
6. Favro — для планирования интервью, хранения результатов и синхронизации команды.

Теперь у вас есть все, чтобы стать королем коридорок.

Дело за малым — начать их проводить.

Вы будете смеяться, но эту статью мы тоже коридорили!