Исследователи ВШЭ сравнили рекомендательные алгоритмы по правилам спортивного турнира

© iStock

Исследователи Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ разработали подход, который помогает эффективнее подбирать рекомендательные алгоритмы. В нем разные методы попарно соревнуются, а по результатам всех поединков составляется общий рейтинг. Это помогает сократить число алгоритмов, которые нужно проверять при разработке новых сервисов, и сэкономить денежные и временные ресурсы. Исследование было представлено на 32-й конференции ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026).

Рекомендательные системы решают, какие товары, фильмы, песни или публикации показать пользователю. Для этого они анализируют его действия и пытаются предсказать, что может заинтересовать его в дальнейшем. Например, ищут посетителей с похожими интересами, учитывают последовательность просмотров или покупок.

При этом универсального алгоритма рекомендаций нет. Метод может хорошо работать в интернет-магазине, но не подойти для онлайн-кинотеатра. Поэтому обычно алгоритмы предварительно проверяют на уже собранных наборах данных и усредняют получившиеся результаты. Но у такого способа есть недостатки: рейтинг не учитывает особенности конкретного набора данных и может быть нестабильным, а проверять все алгоритмы онлайн, на реальных пользователях, дорого и рискованно.

Исследователи НИУ ВШЭ разработали методику для сравнения рекомендательных алгоритмов на основе модели Брэдли — Терри, которую используют для составления рейтингов по результатам парных соревнований. В исследовании игроками выступали рекомендательные алгоритмы, а матчами — проверки на наборах данных. Два алгоритма сопоставляли по выбранной метрике: например, по точности рекомендаций. Тот, у кого показатель был выше, считался победителем. По результатам всех таких сравнений модель оценивала относительную силу каждого алгоритма. Авторы обучили и проверили 14 алгоритмов на 89 наборах данных из разных областей. 

Результаты показали, что одни и те же алгоритмы занимали разные места в рейтинге в зависимости от типа данных в поединке. Например, на последовательных наборах, где важен порядок действий пользователя, первые места заняли SASRec и GASATF. На данных без выраженной последовательности они опустились на десятое и одиннадцатое места, а первые позиции заняли LightGCN и ALS.

Дополнительно исследователи проверили, насколько рейтинги устойчивы к неполным данным. Рейтинг на основе модели Брэдли — Терри оставался стабильным, даже если отсутствовала часть сравнений (не каждый игрок сыграл с каждым). Также авторы проверили на дополнительных наборах данных расширенную версию модели, которая учитывает контекст. Она должна была предсказать победителей без непосредственного сравнения алгоритмов для построения рейтинга. 

Антон Лысенко

«Идея использовать спортивную модель пришла к нам благодаря работам нашего старшего коллеги Владимира Григорьевича Спокойного. Если приводить аналогию со спортом, на исход поединка влияют не только сами участники, но и условия — например, город или погода. В исследовании таким контекстом стали характеристики набора данных: число пользователей и объектов, средняя длина истории пользователя и другие параметры. Если обучить модель учитывать этот контекст вместе с результатами предыдущих сравнений, то по характеристикам нового набора она может заранее оценить, какие алгоритмы окажутся лучшими», — комментирует один из авторов статьи, эксперт Международной лаборатории стохастических алгоритмов и анализа многомерных данных Антон Лысенко.

В 78% случаев алгоритм, который занимал первое место, действительно входил в тройку лучших. При обычном усреднении показателей это происходило только в 16% случаев. Авторы объясняют это тем, что, в отличие от эвристических способов сравнения, модель теоретически обоснована, поэтому получаемый рейтинг надежнее.

Сергей Самсонов

«Наш подход помогает еще до онлайн-тестирования понять, какие алгоритмы лучше подходят для конкретного набора данных. Например, если банку нужно рекомендовать программы лояльности, можно передать модели характеристики нового набора данных и получить несколько наиболее перспективных вариантов. Тогда на реальных пользователях нужно будет проверять уже только их, а не все доступные алгоритмы. Это позволяет сэкономить время и ресурсы», — комментирует один из авторов статьи,  заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных Сергей Самсонов.

Евгений Фролов

«В больших системах данные зачастую крайне разнородны, могут иметь сложную структуру, с которой обычные решения на основе трансформерных сетей могут не справиться. В свою очередь, графовые представления предоставляют более гибкий аппарат для описания подобных данных, каких-то полезных их особенностей. Отсюда и произрастает идея по скрещиванию двух миров, реализованная нами в виде конкретного фреймворка для совместного обучения представлений разной природы. По сути, наш подход реализует эффективный механизм насыщения "внутренних знаний" трансформера за счет использования внешних знаний графовой модели. С помощью подобного механизма можно передавать в модель широкий спектр специализированных доменных знаний, которые по каким-то причинам не могут быть выявлены и усвоены одной лишь трансформерной сетью. Это открывает широкие возможности для улучшения работы рекомендательных систем на практике», — отмечает Евгений Фролов, cтарший научный сотрудник Научно-учебной лаборатории матричных и тензорных методов в машинном обучении, руководитель группы «Технологии персонализации» Института AIRI.

Работа выполнена в рамках реализации программы Центра ИИ НИУ ВШЭ при поддержке гранта Министерства экономического развития РФ.