Голосовой робот на обзвоне: 13 метрик, которые ловят сбой диалога в первые две недели

Почему первые две недели решают

Боевая база всегда шире тестовой. Выборка на этапе интеграции покрывает узкий набор формулировок, а в проде добавляются региональные акценты, нестандартные реплики, собеседники, которые перебивают робота на середине фразы. Сценарий, безупречный на тестах, начинает сыпаться на мелочах.

Итоговая конверсия как единственный KPI ловит такие сбои слишком поздно. Пока цифра просядет до заметного в отчёте уровня, часть базы уже пройдёт через кривой диалог, а часть номеров отработает впустую. Мониторинг имеет смысл разложить на четыре контура, каждый из которых отвечает за свою зону отказа: техника и дозвон, распознавание речи, логика сценария, бизнес-результат.

Контур 1. Техника и дозвон

Звонок сначала должен дойти до диалога. Если ломается этот слой, остальной сценарий не включается в принципе.

Доля успешных дозвонов (Contact Rate). Отношение состоявшихся разговоров ко всем набранным номерам. Жёсткого универсального бенчмарка здесь нет: на холодном B2B показатель колеблется от 8 до 20% в зависимости от качества базы и числа попыток дозвона, на тёплых и повторных обращениях он заметно выше. Ориентируйтесь на собственную тестовую выборку: падение на 10 пунктов относительно теста — повод проверить SIP-транк, детекцию автоответчиков и чёрные списки.

Доля коротких диалогов, до 10 секунд. Больше 15–20% обычно означает, что роботу не хватает первой реакции на «алло» или он начинает говорить до того, как собеседник поднёс трубку к уху. Чаще всего причина — слишком короткая пауза в начале.

Средняя длительность разговора (AHT). Считайте медиану и 95-й перцентиль отдельно. Разрыв больше чем в два раза показывает, что часть диалогов зависает в бесконечных уточнениях или уходит в циклические ветки.

Контур 2. Распознавание речи

Прослойка между репликой собеседника и логикой сценария. Ошибка ASR (automatic speech recognition) разворачивает ответ робота невпопад даже тогда, когда сам сценарий написан корректно.

Точность распознавания намерений (Intent Recognition Accuracy). Доля реплик, где робот верно классифицировал, чего хочет собеседник. Отраслевой ориентир на чётко очерченных сценариях — запись, подтверждение заказа, обратный звонок — 90–97%. Эта метрика важнее доли fallback: fallback показывает явные провалы, а intent accuracy вскрывает скрытые, когда робот «понял» неправильно и уверенно пошёл не туда.

Доля fallback-ответов. Процент реплик, на которые робот отвечает «простите, не расслышал» или аналогом. Ориентир — до 10% в зрелом деплое и до 20% на старте. Выше 20% на второй неделе — пора расширять словари интентов и слушать записи сложных мест.

WER (Word Error Rate). Общая ошибка распознавания слов, на чистом аудио норма ниже 8%. Отдельно замеряйте точность на цифрах, адресах и именах: там WER обычно выше, и именно эти блоки чаще всего ломают сценарий, когда собеседник диктует данные.

Среднее число переспрашиваний на диалог. Больше двух — робот читается как глухой, и собеседник кладёт трубку.

Контур 3. Логика сценария

Здесь ловятся самые дорогие ошибки: они ломают не отдельную реплику, а весь путь по дереву разговора.

Прохождение до целевого шага (Funnel completion). Доля разговоров, которые доходят до ключевого узла — согласия, записи, подтверждения, перевода на оператора. Метрика строится как воронка по каждому шагу, и по провалу между соседними шагами видно, где именно рушится диалог.

Доля зацикливания. Процент диалогов, где робот больше одного раза возвращается в тот же узел. Любой повтор — повод открыть записи и найти формулировку, которая зацикливает ветку.

Доля переводов на оператора (Escalation Rate). Её стоит делить на плановую эскалацию, когда сценарий изначально ведёт к оператору, и форсированную, когда робот сломался посреди ветки. Ориентир — плановая 30–40%, форсированная ниже 10%. Запросы оператора в 20% звонков при единственной точке перевода в сценарии означают, что роботу не хватает ответов на целый класс вопросов.

Качество передачи контекста при переводе (Transfer Success Rate). Доля переводов, при которых оператор получает краткое содержание диалога и собеседнику не приходится повторяться. Норма — выше 90%. Низкий показатель бьёт уже не по роботу, а по общему уровню удовлетворённости: человек запоминает только то, что трижды рассказал одно и то же.

Контур 4. Бизнес-результат

Финальный слой. Проект в целом меряют именно по нему, но в раннем мониторинге он работает как контрольная сверка: верхние контуры в норме, а этот проседает — значит, дело в бизнес-логике, а не в технике.

Целевая конверсия звонка. Доля разговоров, закончившихся нужным действием: согласием на встречу, подтверждением заявки, записью в календарь. С одного звонка робот обычно даёт заметно меньшую конверсию, чем оператор, и компенсирует это масштабом и ценой контакта. Сравнивать корректнее не с оператором в абсолюте, а по юнит-экономике: сколько стоит заявка через робота против заявки через колл-центр.

Индекс удовлетворённости (CSI). В сервисных, подтверждающих и B2C-сценариях робот может закрывать диалог коротким вопросом вроде «вам было удобно общаться?» — эту оценку и фиксируют. В холодном B2B метрика почти не собирается: собеседник либо соглашается на следующий шаг, либо сбрасывает.

Как построить мониторинг на опережение

Все метрики сводят в один дашборд с автоматическими триггерами. Правило простое: у каждого KPI три границы — норма, жёлтая зона и красная. Красная зона отправляет уведомление ответственному в тот же день, жёлтая уходит в еженедельный обзор.

Частота проверок на первой и второй неделе запуска:

• технические KPI — каждые два часа в рабочее время;
• распознавание и логика — дважды в день, с выборочным прослушиванием 20 записей на каждую проверку;
• бизнес-результат — ежедневно утром за прошедшие сутки.

Выборочное прослушивание на старте критично. Ни одна метрика не покажет, что робот говорит с неправильной интонацией или не держит паузу там, где собеседник пытается возразить. Это слышно только в записях — и слушать стоит не все подряд, а те диалоги, которые по цифрам попали в жёлтую или красную зону.

Проверить, какие из перечисленных метрик доступны в отчётах без доработки, дешевле до запуска, чем собирать дашборд параллельно с горящей кампанией.

Коротко: чек-лист первой недели

• настроить дашборд с Contact Rate, долей коротких диалогов и AHT;
• добавить intent accuracy, долю fallback, долю переспрашиваний и WER;
• выстроить воронку по сценарию с метриками зацикливания, плановой и форсированной эскалации;
• проверить, что при переводе на оператора передаётся контекст (Transfer Success);
• выделить человека, который каждый день слушает 20–30 диалогов из жёлтой зоны;
• через две недели провести ревью: какие KPI стабилизировались, где сценарий нужно переделывать.

Голосовой робот дорабатывается первые полтора-два месяца, и чем раньше команда замечает сбой, тем дешевле правка. Главный KPI запуска — скорость, с которой находят и чинят проблему в диалоге.