Сбер открыл доступ к библиотеке для выявления ошибок в ответах ИИ

Инструмент предназначен для выявления вымышленных или неподтверждённых фактов в ответах языковых моделей и ИИ-агентов. Об этом сообщили в пресс-службе кредитной организации.

Новое решение объединяет различные методы проверки ответов нейросетей. Разработчики могут сравнивать эти методы, комбинировать их и выбирать наиболее подходящий вариант для своей задачи. Инструмент анализирует как ответ модели целиком, так и отдельные фрагменты текста, указывая на участки, где могут содержаться ошибки или неподтверждённые сведения.

Особенностью библиотеки является возможность заранее оценить, достаточно ли у ИИ-агента информации для подготовки ответа. Это позволяет не только выявлять ошибки, но и предотвращать их, например, запрашивая дополнительные данные или отказываясь от формирования неподтверждённого ответа.

Старший управляющий директор, директор по AI-трансформации Сбербанка Сергей Рябов отметил, что подход уже доказал свою эффективность внутри компании в сервисах для работы с клиентами. Открытие библиотеки направлено на развитие рынка, и теперь любой желающий может использовать SIRIN в своих проектах.