Сбер научился проверять нейросети на дальнозоркость

Разработанный бенчмарк HoTPP позволяет оценить, насколько точно нейросети прогнозируют события не на один шаг вперед, а на длительную перспективу.

До сих пор у разработчиков не было единого стандарта для сравнения моделей в таком сложном сценарии. Новый бенчмарк работает с данными из финансового сектора, медицины и сферы электронной коммерции. В дополнение к нему ученые создали метрику T-mAP, которая оценивает качество предсказания сразу по двум ключевым характеристикам: типу грядущего события и времени его наступления.

Как пояснил научный директор Центра Андрей Савченко, в ходе тестирования вскрылась системная проблема современных нейросетей — склонность к «схлопыванию» прогнозов. Сложные алгоритмы часто игнорируют редкие, но важные события, выдавая предсказуемые и однотипные варианты.

В Сбере рассчитывают, что открытая платформа станет общим стандартом для научного сообщества. «Это поможет быстрее создавать ИИ, который понимает многогранность и неопределенность мира», — отметил Савченко.