ВТБ и МГУ создали детекторы токсичности и галлюцинаций для ИИ-агентов
Об этом рассказал на Kazan Digital Week советник первого заместителя президента-председателя правления ВТБ Сергей Путятинский.
Детектор токсичности анализирует запросы пользователей на наличие запрещенных тем, нарушений законодательства и контента 18+. Неэтичное сообщение система заблокирует и не будет обрабатывать, уточнили в банке.
Второй детектор распознает несоответствия и противоречия в уже сформированных ответах цифровых помощников и показывает, в какой части ответа они находятся. После этого специалисты ВТБ могут отправить ответ на повторную проверку или заблокировать его.
В банке напомнили, что галлюцинации считаются одной из самых распространенных проблем генеративного ИИ: в таких случаях языковая модель выдает уверенный, но полностью вымышленный ответ.
ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать несоответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ.