Автор статьи — Иван Манжетов, portfolio manager KODE

По данным Deloitte, только 25% компаний смогли перевести в промышленную эксплуатацию 40% и более своих AI-экспериментов. Остальные либо не доходят до масштабирования, либо не дают заметного бизнес-эффекта.

Чаще всего проблема не в самой технологии. Компании начинают с выбора модели или инструмента, хотя сначала стоит разобраться с процессами, данными, ответственностью и правилами работы.

Что стоит проверить до внедрения ИИ, чтобы снизить риски и не потратить бюджет на пилот, который невозможно масштабировать, рассказываю в этой статье.

1. Сначала определите бизнес-задачу и KPI, потом выбирайте ИИ

Одна из самых распространённых ошибок — это внедрять ИИ просто потому, что это уже делают конкуренты.

В результате компания запускает технологию, но не может ответить на два базовых вопроса: какую именно проблему она должна решить и как понять, что проект сработал.

До старта стоит сформулировать конкретную цель. Например:

1. сократить время обработки обращений на 30%;
2. снизить стоимость обработки заявки;
3. повысить NPS;
4. увеличить конверсию в продажу.

Без таких показателей оценить эффективность внедрения будет сложно.

Показательный пример — Air Canada. Компания использовала чат-бота для общения с клиентами, но недостаточно ограничила круг вопросов, которые он мог обрабатывать самостоятельно. В одном случае бот сообщил пассажиру неверную информацию о льготном тарифе. Клиент купил билет, а позже обратился в суд. Суд обязал авиакомпанию компенсировать ущерб: ответственность за ответы чат-бота всё равно несёт компания.

В чём ошибка: не были заданы чёткие границы применения ИИ и критерии качества.

К чему это привело: судебное разбирательство, финансовые потери и репутационный риск.

Как стоило поступить: заранее определить, какие запросы бот может обрабатывать самостоятельно, а какие должен передавать сотруднику.

2. Проведите аудит данных до запуска

Даже сильная модель будет выдавать плохой результат, если работает с устаревшими, неполными или противоречивыми данными.

До внедрения стоит проверить:

1. насколько данные актуальны;
2. есть ли дубли и ошибки;
3. хватает ли информации для выбранной задачи;
4. используются ли единые форматы;
5. кто отвечает за обновление данных.

Качество данных напрямую влияет на качество результата.

В одном туристическом сервисе для подготовки материалов начали использовать генеративный ИИ. В результате в описаниях появились изображения достопримечательностей, которые не соответствовали реальным объектам. Похожий случай произошёл на зарубежном рынке: ИИ придумал несуществующие горячие источники в Тасмании, и пользователи приезжали посмотреть на места, которых на самом деле не было.

В чём ошибка: материалы публиковались без проверки достоверности.

К чему это привело: к потере доверия пользователей и репутационным рискам.

Как стоило поступить: использовать ИИ для подготовки черновиков, а публикацию информации, влияющей на решения клиентов, оставлять за человеком.

3. Начинайте с пилота, а не с масштабного внедрения

Даже если решение хорошо показало себя на тестах, не стоит сразу запускать его на всех клиентах или процессах.

Безопаснее начать с одного подразделения, ограниченной группы пользователей или одного типового сценария.

Так можно обнаружить ошибки до того, как они начнут влиять на клиентов и финансовые показатели.

McDonald’s тестировал систему автоматического приёма заказов в Drive-through. Предполагалось, что ИИ ускорит обслуживание и снизит нагрузку на сотрудников. Но в реальной работе система столкнулась с проблемами распознавания речи, особенно при шуме и акцентах. Из-за ошибок в заказ иногда попадали лишние позиции — например, чай мог добавиться девять раз подряд.

В чём ошибка: решение оказалось недостаточно проверено в разных условиях эксплуатации.

К чему это привело: к ошибкам в заказах, недовольству клиентов и дополнительным расходам.

Как стоило поступить: тестировать систему на разных площадках и сценариях, а решение о масштабировании принимать только после длительного пилота.

4. Назначьте владельца проекта

Внедрение ИИ почти никогда не касается только одной команды. В проекте участвуют бизнес, ИТ, аналитики, подрядчики и руководство.

Если единого владельца нет, ответственность быстро размывается: решения принимаются медленно, приоритеты меняются, а подрядчики сменяют друг друга без накопления экспертизы.

Владелец проекта должен отвечать за:

1. достижение KPI;
2. взаимодействие с подрядчиками;
3. развитие системы;
4. анализ результатов;
5. решение о масштабировании.

Например, дизайн-агентство решило автоматизировать холодные звонки в B2B-сегменте. Для этого использовали ИИ-робота, но результат оказался слабым. Робот плохо отличал реальных собеседников от автоответчиков, предлагал нерелевантные услуги — например, дизайн-аудит конезаводу, — зависал и терял нить разговора.

Ситуацию усугубляла постоянная смена подрядчиков: каждый новый исполнитель фактически начинал работу заново.

В чём ошибка: никто внутри компании не отвечал за развитие решения и накопление экспертизы.

К чему это привело: к потере времени и бюджета без заметного прогресса.

Как стоило поступить: закрепить владельца проекта внутри компании, независимо от того, кто занимается разработкой.

5. Не убирайте человека там, где цена ошибки высока

Одна из опасных ошибок — полностью исключить человека из процесса принятия решений.

Во многих сценариях лучше работает модель Human in the Loop: ИИ берёт на себя рутинные операции — готовит черновики, анализирует данные, классифицирует информацию, предлагает рекомендации, — а финальную проверку выполняет сотрудник.

Особенно это важно, если решение влияет на клиентов, деньги или репутацию.

Одна из компаний полностью передала нейросети создание изображений и описаний товаров для маркетплейса. В результате изображения содержали ошибки, а тексты привлекали покупателей по нерелевантным запросам. Возвраты выросли с 9–11% до 24%, а доля невыкупов — с 7% до 15%.

В чём ошибка: ИИ использовался как самостоятельный исполнитель без контроля качества.

К чему это привело: к ухудшению клиентского опыта и прямым финансовым потерям.

Как стоило поступить: использовать ИИ для подготовки материалов, а финальную публикацию оставлять за специалистом и проверять влияние изменений через A/B-тесты.

6. Заранее определите, когда ИИ должен передавать задачу человеку

Ни одна современная модель не одинаково хорошо справляется со всеми ситуациями.

Поэтому ещё до запуска нужно определить сценарии, в которых система обязана передать задачу сотруднику.

Особенно это важно для:

1. финансовых вопросов;
2. юридических консультаций;
3. нестандартных запросов;
4. конфликтных ситуаций;
5. случаев, когда модель не уверена в ответе.

Такой механизм позволяет сохранить преимущества автоматизации, но снизить риск дорогих ошибок.

Практически все приведённые выше примеры объединяет одна проблема: ИИ пытался самостоятельно решать задачи, где нужен был человек. Поэтому гибридная модель остаётся одним из самых надёжных способов внедрения ИИ в бизнес.

Как измерить эффект от внедрения ИИ

Компании часто оценивают саму технологию: насколько хорошо модель отвечает на вопросы, как быстро генерирует текст, какую точность показывает на тестах.

Для бизнеса этого недостаточно.

Главный вопрос: что изменилось в самом процессе после внедрения?

Если сотрудники тратят столько же времени, ошибок не стало меньше, клиенты не стали довольнее, а расходы не сократились, значит проект не достиг цели — даже если используется самая современная модель.

1. Скорость процесса

Если ИИ внедряется для автоматизации рутины, стоит измерять время выполнения задачи.

Например:

1. среднее время обработки заявки;
2. скорость подготовки коммерческого предложения;
3. время ответа поддержки;
4. длительность согласования документов.

Если раньше обращение обрабатывалось 20 минут, а после внедрения — 12, процесс ускорился на 40%.

2. Количество ошибок

ИИ должен не только ускорять работу, но и сохранять или повышать качество.

Можно отслеживать:

1. ошибки в документах;
2. долю неправильно обработанных заявок;
3. количество повторных обращений;
4. возвраты из-за неправильного описания;
5. ошибки классификации.

Такая метрика, например, позволила бы быстрее обнаружить проблему в кейсе с автоматической генерацией карточек товаров.

3. Стоимость процесса

Ещё одна цель автоматизации — снижение расходов.

Поэтому полезно считать:

1. стоимость обработки обращения;
2. стоимость подготовки документа;
3. стоимость привлечения лида;
4. стоимость оформления заказа;
5. расходы на одну типовую операцию.

При этом учитывать нужно не только стоимость самого ИИ, но и работу сотрудников, которые проверяют результат, поддержку системы и дальнейшие доработки.

Иногда автоматизация ускоряет процесс, но почти не делает его дешевле из-за большого объёма ручной проверки.

4. Удовлетворённость клиентов

Улучшение внутренних процессов не всегда означает улучшение клиентского опыта.

После внедрения стоит следить за:

1. NPS;
2. CSAT;
3. рейтингом приложения;
4. количеством жалоб;
5. отзывами;
6. повторными обращениями.

История Air Canada хорошо показывает, что даже одна ошибка чат-бота может привести не только к финансовым потерям, но и к снижению доверия.

5. Производительность сотрудников

Задача ИИ не всегда в том, чтобы заменить человека. Часто более реалистичная цель — позволить сотруднику делать больше за то же время.

Можно измерять:

1. количество обработанных заявок на одного сотрудника;
2. число подготовленных документов;
3. количество закрытых обращений;
4. объём операций за рабочий день.

Если производительность растёт без ухудшения качества и увеличения числа ошибок, внедрение действительно создаёт ценность.

Не оценивайте ИИ отдельно от бизнеса

Перед запуском пилота достаточно выбрать 3–5 KPI, которые отражают его реальную цель, зафиксировать исходное значение и определить ожидаемый результат.

После запуска сравниваются те же показатели.

Так становится понятно, стоит ли масштабировать решение, дорабатывать его или отказаться от выбранного сценария.

Главное — оценивать не качество нейросети само по себе, а изменения, которые она создаёт в бизнесе.