Яндекс предложил концепцию тестов для ИИ на соответствие духовно-нравственным ценностям

Как сообщает «Коммерсантъ» со ссылкой на источники, презентация состоялась 13 августа на совещании рабочей группы по регулированию и административным барьерам в сфере ИИ.

Разработка представляет собой бенчмарк — стандартизированный набор контрольных заданий с эталонными ответами, который позволяет сравнивать качество разных моделей по единым критериям. В отличие от простых тестов, современные бенчмарки проверяют способность модели решать реальные рабочие задачи, например выгружать данные из базы или собирать отчёты.

На совещании возникли разногласия по поводу степени публичности датасета. По информации источников, ФСБ настаивает на закрытом формате, чтобы разработчики не могли заранее настроить модели для успешного прохождения тестирования. Представители бизнеса, в свою очередь, заявили, что закрытый формат может оказаться излишне сложным и замедлит развитие моделей, предложив оставить его открытым.

В качестве компромисса был предложен комбинированный формат: открытый бенчмарк для публичного тестирования и прозрачности, а закрытый — для финальной проверки с идентичными тематиками, но разными формулировками вопросов. Такой подход, по мнению участников совещания, должен помочь разработчикам проводить предварительную проверку моделей и обеспечить достоверность итоговой оценки.

Остаётся открытым вопрос о том, кто будет определять содержание бенчмарка. ИТ-сообщество предлагает создать совместную комиссию с участием органов власти, бизнеса и экспертных организаций, чтобы обеспечить сбалансированность тестов.

В аппарате вице-премьера Дмитрия Григоренко сообщили, что все предложения проходят обсуждение с отраслью и заинтересованными ведомствами, и говорить о конкретных решениях преждевременно.

В Минцифры добавили, что подзаконные акты к закону об ИИ ещё обсуждаются с бизнесом, а ключевая задача: соблюсти интересы отрасли и пользователей, обеспечив соответствие технологий требованиям законодательства. В «Яндексе» и Альянсе ИИ комментариев не дали.