Почему нейросеть уверенно врёт — и как ловить выдумки до публикации

Вот типичная ситуация: вы загрузили в нейросеть расшифровку созвона и попросили составить протокол. Она правильно выписала задачи, сроки и ответственных, а потом добавила: «Клиент согласовал бюджет 200 тысяч рублей».

Сумму на встрече действительно обсуждали. Только никто её не согласовал.

Это опаснее, чем полностью бессмысленный ответ. Когда девять пунктов правильные, десятый обычно уже не проверяют.

Галлюцинация — не случайный набор слов

Так называют правдоподобную выдумку, которой нет в исходных данных или реальности. Нейросеть может придумать исследование, сослаться на несуществующую статью закона, приписать человеку чужую цитату или смешать числа из двух документов.

Проблема в том, что правильные факты и выдумки она сообщает одинаково уверенно. Аккуратная структура, точные даты и профессиональные формулировки ничего не доказывают.

Почему это происходит

Языковая модель не проверяет каждое предложение перед тем, как его написать. Она последовательно подбирает продолжение текста из небольших фрагментов — токенов. Если хочется разобраться в механике подробнее, вот отдельное объяснение, что такое токены в нейросети и почему один и тот же текст разные модели могут делить по-разному.

Если после слов «столица Франции» появляется «Париж», механизм отлично справился. Но когда точного факта нет, он всё равно умеет собрать ответ, похожий на правильный. Поэтому выдуманная научная статья может получить правдоподобных авторов, название журнала, год и аккуратную ссылку.

Риск особенно растёт в нескольких ситуациях:

1. вопрос можно понять по-разному;
2. вы спрашиваете о редком или свежем факте;
3. в документах есть противоречия;
4. в чат загружено слишком много старых файлов и сообщений;
5. вы заранее требуете точную дату, цитату или ссылку, хотя их может не существовать.

Большое контекстное окно само по себе проблему не решает. Возможность загрузить сотни страниц означает только то, что сервис их примет. Нужная строка всё равно может потеряться среди старых версий, логов и похожих чисел.

«Ты уверен?» — плохая проверка

Если попросить нейросеть перепроверить себя без новых данных, она часто просто повторит прежний ответ другими словами. Иногда ещё и добавит уверенности.

Полезнее заставить её показать опору для каждого вывода:

1. Попросите точную цитату и номер страницы или пункта.
2. Откройте источник и убедитесь, что цитата там действительно есть.
3. Проверьте, подтверждает ли она именно вывод, а не просто находится рядом с похожими словами.
4. Отделите факты из источника от интерпретаций модели.
5. Числа пересчитайте калькулятором или кодом, а программные решения проверьте тестами.

Существующая ссылка тоже не является доказательством. Нейросеть может сослаться на настоящий документ, который вообще не подтверждает написанный вывод.

На что смотреть в готовом ответе

Лишняя точность — один из самых заметных сигналов. Если модель не получила источник, но называет дату до дня, процент до сотых или приводит длинную цитату, эту деталь нужно проверять первой.

Ещё один сигнал — слишком гладкий ответ на неоднозначный вопрос. Вы спросили о сроке подачи заявления, но не назвали страну, ведомство и вид заявления. Человек обычно уточнит условия. Нейросеть может сама выбрать наиболее вероятный вариант и написать ответ так, будто именно его вы и имели в виду.

Полезно попросить разделить результат на две части:

1. Что прямо сказано в источнике.
2. Какие выводы сделала модель.

В таком формате хорошо видно место, где заканчивается документ и начинается интерпретация. Если в первой части нет нужного факта, а во второй появился уверенный вывод, ему явно не хватает основания.

Как формулировать задачу

Плохой вариант: «Расскажи, что сказано в договоре про штрафы».

Лучше задать границы:

Отвечай только по приложенной редакции договора. Для каждого вывода приведи точную цитату и номер пункта. Если условия нет, напиши: «В документе не найдено». Не используй типовые формулировки из других договоров.

Для свежей информации стоит отдельно указать дату и попросить использовать официальный источник. Для большого документа — назвать действующую редакцию и разделы, в которых нужно искать ответ.

Ещё один простой способ снизить количество ошибок — не превращать один чат в склад. Новая задача — новый чат. Перенесите туда короткий бриф, актуальные файлы и уже принятые решения. Старые версии документов лучше убрать совсем.

Что нужно проверять всегда

Черновик заголовка можно быстро просмотреть глазами. Но если ответ влияет на деньги, здоровье, права, безопасность или чужую репутацию, проверка обязательна.

Особенно внимательно стоит проверять:

1. законы и условия договоров;
2. медицинские рекомендации;
3. цены, налоги и финансовые расчёты;
4. фамилии, даты, цитаты и статистику;
5. ссылки на исследования и документы;
6. команды, которые удаляют данные или меняют инфраструктуру.

Особенно важна проверка, когда нейросеть не просто пишет ответ, а сама открывает файлы, запускает команды и меняет данные. Это уже не обычный чат, а система, которая может довести ошибочный вывод до реального действия. Отдельно я разбирал, чем ИИ-агент отличается от обычной нейросети и почему ему нужны ограничения и контроль.

Полностью убрать галлюцинации пока нельзя. Надёжность появляется не из-за волшебной фразы в промпте, а из-за процесса: модель показывает источники, числа пересчитываются, код проходит тесты, а дорогие ошибки проверяет человек.

Правило простое: чем точнее выглядит деталь и чем дороже возможная ошибка, тем меньше причин верить ей без проверки.