Исследователи Яндекса представили способ повысить качество работы рекомендательных систем

Для этого исследователи внедрили дополнительную корректировку в процесс обучения таких моделей. Внутреннее тестирование Яндекса показало, что новый подход позволяет повысить точность рекомендаций моделей в среднем на 7% по показателям качества ранжирования. Яндекс планирует использовать метод при обучении рекомендательных моделей собственных сервисов, в частности Маркета. Метод будет полезен и другим компаниям, а также независимым разработчикам, работающим с рекомендательными системами в любой сфере — будь то соцсеть, интернет-магазин или стриминговый сервис.

О новом методе исследователи Яндекса рассказали в научной статье, которая была принята на ACM RecSys 2025. Это главная ежегодная международная конференция по рекомендательным системам, которая в этом году пройдёт в девятнадцатый раз в Чехии. На конференцию также приняты работы крупнейших мировых технологических компаний — Amazon, Google и других.

Неточности при обучении рекомендательных систем

Рекомендательные системы обычно работают с миллионами объектов — текстами, аудио, видео, товарами. Это требует больших вычислительных ресурсов. Но сначала модель нужно обучить также на миллионах примеров, и для этого тоже необходимо много ресурсов. Чтобы сделать этот процесс менее ресурсоёмким, во всём мире используют разные методы, которые заменяют сложные расчёты на более простые. Один из таких методов — sampled softmax, или алгоритм выборочного сэмплирования.

Его суть в том, что систему обучают различать предпочтения людей путём сравнения реализованных действий, которые пользователи совершили по отношению к конкретному объекту (положительные примеры), с нереализованными действиями, которых они не совершали относительно того же объекта (отрицательные примеры). В качестве объекта, например, может выступать определённый товар, тогда положительный пример — это добавление в корзину, а отрицательный — просмотр на сайте без добавления. Обучение системы строится на том, что ей показывают положительный пример и отрицательные, — и благодаря этому модель начинает отличать одно от другого. Но можно показать ей миллионы отрицательных примеров из обучающего каталога, а можно лишь несколько случайно выбранных — в этом и заключается преимущество метода sampled softmax, которое позволяет экономить вычислительные ресурсы. Однако этот метод может привести к некачественному обучению из-за некорректного учета вероятностей — актуальна ли для пользователя рекомендация или нет. В результате модель будет давать неверные рекомендации.

Решение с помощью новой формулы

Для корректной работы метода требуется использовать обновлённую формулу пересчёта вероятностей того, что пользователь заинтересуется определённым товаром или контентом, — LogQ. Главная математическая трудность была в том, что существующие методы предполагают одинаковые правила отбора для всех примеров, а на практике положительные и отрицательные примеры попадают в данные по-разному. Из-за этого стандартные формулы начинают систематически искажать оценки, и требовалось специально скорректировать пересчёт вероятностей, чтобы сделать модель объективнее.

Благодаря формуле модель при обучении начинает понимать, что реальные действия пользователя выбираются не случайным образом и явно задаются ей как положительные примеры, а остальные примеры — отрицательные и выбраны случайно. Это позволяет уменьшить смещения в оценках со стороны модели, то есть искажения, влияющие на точность её финальных рекомендаций. В результате модель лучше понимает предпочтения пользователей и, как следствие, даёт им более подходящие рекомендации.

Компании и разработчики могут использовать новую формулу при обучении любой рекомендательной системы. Для этого им не придётся менять архитектуру своих моделей.