OpenAI заявила, что при текущей архитектуре ChatGPT полностью избавиться от галлюцинаций невозможно

В одном из экспериментов модель спросили о названии диссертации и дате рождения одного из авторов исследования — и получили три разных, но одинаково неверных ответа. По мнению специалистов, причина в том, что на этапе предобучения модели учатся лишь прогнозировать следующее слово в тексте, не разделяя достоверную информацию и вымысел.

Часто встречающиеся факты усваиваются лучше, а редкие сведения, например даты рождения или малозначимые события, почти всегда воспроизводятся с ошибками. Исследователи отмечают, что проблема кроется не только в методах обучения, но и в системе оценки работы ИИ.

Сейчас качество моделей измеряется точностью — чем выше доля правильных ответов, тем лучше результат. Это стимулирует систему угадывать, а не признавать отсутствие знаний.

OpenAI предлагает пересмотреть метрики: снижать оценку за уверенные, но неверные ответы сильнее, чем за признание неопределённости, и частично поощрять корректное выражение сомнения. По мнению авторов, без таких изменений ИИ продолжит «учиться гадать» вместо того, чтобы вырабатывать осторожность в ответах.