Исследователи «Т-Технологий» представили два подхода для рекомендательных систем, которые должны заметнее продвигать новинки в каталогах. В одном из тестов качество ранжирования выросло на 34,5%, а в другом полнота рекомендаций новых товаров — на 20,3%. Для российских интернет-магазинов, онлайн-кинотеатров и контентных сервисов это прикладная история: товару или фильму больше не нужно сначала собрать длинный хвост кликов, чтобы попасть в выдачу. Об этом сообщает CNews.
Первая разработка называется E2L3AE. Она развивает модель L3AE, объединяющую поведенческие данные пользователей с текстовыми описаниями объектов. Проблема базового подхода в том, что рекомендательная часть и текстовый энкодер обучались раздельно. В E2L3AE их обучают совместно: модель соотносит описание товара с тем, как реальные пользователи выбирали и сочетали похожие позиции. Иными словами, она учится видеть в карточке товара не просто набор слов, а признаки, которые коррелируют с интересом аудитории.
Разработку проверили на пяти наборах данных из розницы: косметика и уход, игрушки и игры, продукты, офисные товары и одежда. E2L3AE обошла исходную L3AE во всех тестах. Максимальный эффект получили на офисных товарах: полнота выросла на 20,3%, а качество ранжирования — на 17,2% относительно базовой модели. Такой сценарий хорошо знаком e-commerce: два товара могут быть одинаково похожи по тексту, но реальные покупки показывают, что к принтеру чаще добавляют один расходник, а не другой. Совместное обучение помогает текстовой части модели учитывать этот поведенческий сигнал.
Авторы отдельно проверили, можно ли использовать дообученный текстовый энкодер без всей рекомендательной системы. По их данным, он превосходит текстовые модели без дообучения при построении рекомендаций, а на четырёх датасетах повышал полноту для объектов, которых не было в данных дообучения. Это важно для каталогов с подробными карточками: косметики с составами, детских товаров с возрастными ограничениями и навыками, продуктов с характеристиками. Именно там рекомендации новых товаров обычно упираются не в отсутствие текста, а в неспособность связать его с поведением покупателей.
Второй подход — архитектура MoE-IGR для графовых рекомендательных моделей. Граф здесь связывает пользователей, товары или контент через покупки, просмотры и другие взаимодействия. Обычная графовая модель склонна одинаково обрабатывать очень разные объекты. MoE-IGR добавляет механизм «смеси экспертов»: для каждого объекта система выбирает одну или несколько специализированных нейросетей и взвешивает их ответы. Для новинки может сработать один набор экспертов, для давно известного фильма или популярной книги — другой.
MoE-IGR протестировали на данных о фильмах, книгах и заведениях в четырёх режимах: для известных объектов, новых объектов, новых пользователей и ситуации, где новыми оказались обе стороны рекомендации. Наиболее заметный результат пришёлся на холодный старт объектов. На датасете MovieLens качество ранжирования для новых фильмов оказалось на 34,5% выше, чем у PinSage. Авторы также зафиксировали, что для новых объектов модель чаще обращается к ограниченному набору экспертов. Это не гарантирует автоматический прирост в любом промышленном каталоге, но показывает, что сегментация логики по типам объектов может быть полезнее единого графового пайплайна.
Не менее важна методологическая часть работы. Команды обычно выбирают модель по историческим данным, разделяя их на обучающую и тестовую выборки. При случайном разбиении в обучение могут попасть события, которые в реальности произошли позже событий из теста. Получается аккуратная метрика и не очень честный эксперимент: модель косвенно видит будущее. Исследователи «Т-Технологий» оценили влияние такого выбора и пришли к выводу, что модели, отобранные без учёта хронологии, при проверке на будущих взаимодействиях могут ранжировать рекомендации до 81% хуже, чем модели, выбранные с временным разбиением. Для ML-команд это, пожалуй, самый недорогой вывод из всей работы: прежде чем менять архитектуру, стоит убедиться, что офлайн-валидация не подменяет продовый сценарий удобной случайной выборкой.
На рынке рекомендаций проблема холодного старта остаётся старой и дорогой: новые SKU, фильмы, книги и рестораны появляются постоянно, а данных на них по определению мало. Текстовые признаки, графовые связи и специализированные эксперты выглядят разумным набором инструментов, но их ценность будет решаться не только метриками на датасете. Следующий практический вопрос для сервисов — подтвердится ли рост качества в A/B-тестах, где новинкам нужно одновременно получить показы, не испортив персональную выдачу постоянным пользователям.
