Николай Савушкин, «Яндекс»: Рекомендательные системы моделируют поведение людей
С помощью алгоритмов машинного обучения рекомендательные системы анализируют паттерны поведения пользователей в Интернете, чтобы предложить им товары или контент по интересам. О том, как точность «предсказаний» таких сервисов могут повысить технологии генеративного искусственного интеллекта, рассказал Николай Савушкин, руководитель направления рекомендательных систем «Яндекса».
«Рекомендательные системы анализируют человека как последовательность действий»
CNews: Как вы оцениваете текущее состояние рынка рекомендательных систем в России и мире?
Николай Савушкин: Существенная часть интернета сегодня построена на рекомендательных системах. Они есть в социальных сетях, стриминговых сервисах, e-commerce платформах. Более того, для некоторых проектов рекомендации это не просто полезная функция — это фактически весь их бизнес. Например, сервисы коротких видео, такие как TikTok, целиком зависят от того, сколько пользователей они привлекут, как долго удержат их у экрана — это невозможно без хороших рекомендаций.
В последние годы технологии, на которых построены рекомендательные системы, вышли на плато развития, но сейчас это начинает меняться. Одна из главных причин — генеративный искусственный интеллект, о котором мы сейчас так много слышим. Генеративные модели уже сильно повлияли на разные продукты (например, поисковые алгоритмы), и теперь аналогичные изменения зарождаются в нашей области. Поскольку рекомендательные системы составляют основу многих бизнесов, я уверен, что скоро многие пользователи заметят глобальные изменения в этой сфере.
CNews: Можете пояснить, какие изменения привнесет генеративный искусственный интеллект?
Николай Савушкин: Илья Суцкевер, сооснователь OpenAI, приводит такую аналогию. Допустим, текстовой модели показали детектив, который обрывается на словах сыщика «Я знаю, кто убийца…», и попросили назвать следующее слово. На основе статистических закономерностей невозможно назвать имя преступника — чтобы предсказать его, LLM должна проанализировать события истории, её персонажей, их взаимодействия. То есть, чтобы писать качественный текст, ИИ должен моделировать, как люди думают.
В сфере рекомендаций есть похожая задача, только нам нужно моделировать не ход мыслей людей, а их поведение. На основе обезличенных данных ИИ может предсказывать, как человек поступит, какой продукт купит, какой трек лайкнет. Наша задача — не навязать пользователю какие-то предложения или сформировать его вкус, а постараться угадать, что понравится конкретному человеку.
Но сейчас мы на примере LLM увидели, что с увеличением размера нейросеть становится намного умнее — начинает писать тексты, на которые раньше не была способна. Долгое время этот опыт по масштабированию системы не удавалось перенести в сферу рекомендаций. Теперь у нас накопилось достаточно опыта и исследований, чтобы произошел технологический прорыв.
После внедрения генеративных нейросетей в рекомендательные системы в «Яндексе» мы уже наблюдаем изменения: пользователь тратит меньше времени на рутинные операции — например, поиск кроссовок или постельного белья.Хотя внешне системы остаются прежними, они становятся значительно умнее и лучше подбирают контент благодаря более точному моделированию. Ранее таких приростов не было.
«Рекомендательная система необходима: она экономит время и помогает пользователям находить то, что им действительно интересно»
CNews: Вы сказали, что до внедрения генеративного искусственного интеллекта таких приростов не было. Какие метрики вы отслеживаете для оценки эффективности рекомендательной системы?
Николай Савушкин: Метрики — еще одна особенность рекомендательных систем. Не существует универсальной единицы измерения, которой мы могли бы оценивать качество, для каждого сервиса нужно находить свои релевантные метрики. Например, в медиасервисах мы ориентируемся на количество лайков и дизлайков, которые люди оставляют, время, которое они проводят на платформе, число нового контента, который для себя открывают.
И один из главных параметров — это возвращаемость пользователей на платформу. Нам важно, чтобы люди не просто зашли, посмотрели предложенное и закрыли приложение, а чтобы они делали это регулярно.
В целом наша задача — помогать пользователям ориентироваться в изобилии продуктов и контента, среди которого мы сегодня живем. Поскольку вариантов очень много, рекомендации нужны для экономии времени: к примеру, если пользователь хочет найти подходящие сапоги из сотен вариантов.
CNews: А как рекомендательные системы сокращают время клиента на поиск нужного товара?
Николай Савушкин: На самом деле, у маркетплейсов нет прямой задачи сокращать или увеличивать время, проведенное пользователями на платформе. Маркетплейсы превращаются в то место, куда люди приходят не просто что-то купить, но и развлечься — так же, как и в реальном шоппинге.
Но когда человек приходит с конкретным запросом, то уменьшение времени поиска становится ключевым фактором. Важно, чтобы система быстро предложила именно то, что нужно. Сложность заключается в трехсторонней структуре таких сервисов: продавец, покупатель и сама платформа. Она должна быть полезной каждого участника.
CNews: Есть ли разница в подходах к изучению рекомендательных систем в России и за рубежом? Например, в США или Китае?
Николай Савушкин: Есть особенности и нюансы, характерные для каждой страны, поэтому в Китае и на Западе специалисты преимущественно общаются и обмениваются знаниями внутри своих регионов.
Мы стараемся учитывать и российские реалии, и при этом не терять общемировой технологический контекст. В области рекомендательных систем мы находимся примерно на одном уровне с зарубежными коллегами и активно инвестируем в исследования, чтобы оставаться в числе лидеров наряду с западными и китайскими компаниями. Мы активно общаемся с разработчиками из разных стран, участвуем в научных конференциях и изучаем множество публикаций.
Сейчас многие современные подходы в рекомендательных системах основаны на трансформерах, как и большие языковые модели (LLM), и мы двигаемся в этом же направлении. Китайские компании, такие как Alibaba, и платформы с короткими видео активно используют и адаптируют технологии трансформерных нейросетей для улучшения своих рекомендательных систем.
«Одна из главных задач — это более активное вовлечение науки в рекомендательные системы»
CNews: Есть ли какие-то барьеры, которые замедляют развитие рекомендательных систем?
Николай Савушкин: Одна из главных задач — это более активное вовлечение науки в рекомендательные системы. Сейчас академическое сообщество не очень активно в этой области. Во многом это связано с тем, что для развития рекомендаций нужны большие объемы обезличенных данных (о предпочтениях пользователей и рекомендуемых айтемах), которых нет у научных организаций. К тому же исследователям важно понимать, как то или иное изменение в модели сказалось на качестве рекомендаций и, соответственно, удовлетворенности пользователей — без экспериментов и большой аудитории такую обратную связь не получить.
Это важная сложность. Чтобы рекомендации не отставали от других областей (например, LLM), нам необходимо серьезно интегрировать академические усилия и бизнес. Если это не является препятствием сейчас, то может стать таковым в ближайшие годы. Мы уже разрабатываем планы для более тесного сотрудничества.
CNews: Как ваши рекомендательные системы справляются с растущей нагрузкой, учитывая, что аудитория сервисов постоянно увеличивается?
Николай Савушкин: Каждая платформа стремится к росту аудитории, но с технической точки зрения это создает определенные проблемы. При этом наши модели становятся все более сложными.
Это серьезная задача и в области LLM, а для нас она во многом даже более актуальна. Во-первых, рекомендации должны работать в режиме реального времени — например, предлагать новую песню при переключении трека. Во-вторых, рекомендательные системы работают с огромной базой данных о продуктах и контенте, который нужно предлагать пользователям. Более этого, эта база регулярно растет. Для постоянной оптимизации рекомендательных систем требуется не только увеличение серверных мощностей, но и активная работа наших инженеров по оптимизации.
CNews: Какие факторы следует учитывать при разработке рекомендательной системы для различных бизнес-направлений? Или можно создать универсальную рекомендательную систему?
Николай Савушкин: Пока ни у кого не получилось создать универсальную систему для разных сервисов. Каждая система имеет свою специфику: рекомендации товаров на маркетплейсе и музыкальных треков — это совершенно разные задачи. Хотя технологии и подходы могут быть схожи, ключевым фактором для любой рекомендательной системы остается поведение пользователей. Именно обезличенные данные о действиях пользователей становятся наиболее ценными для понимания того, что предложить в конкретном сервисе.
Например, на «Кинопоиске» система с помощью математического моделирования анализирует предпочтения пользователя: какие фильмы и трейлеры он смотрел, какие оценки ставил. Эти данные воспринимаются системой как цифровые значения, что позволяет обрабатывать информацию обезличенно. Каждый сервис анализирует уникальную информацию, и систему приходится тренировать с нуля.
Но мы надеемся, что технологии ИИ помогут сделать системы больше и умнее и научат их извлекать данные из различных источников и проводить аналогии. Предположим, человек слушает несколько песен одного автора, и на основе этого система спрогнозирует товар на маркетплейсе под его вкусы. ИИ в области рекомендаций пока не способен строить такие сложные зависимости, но это скоро может измениться.
«Мы стремимся к тому, чтобы система обеспечивала пользователю разнообразные предложения»
CNews: Можете поделиться вашими планами по развитию рекомендательных систем в ближайшем будущем?
Николай Савушкин: Сейчас мы делаем ставку на использование новых технологий в сфере рекомендаций. Одно из ключевых направлений — обучение с подкреплением (Reinforcement Learning, RL), которое уже давно применяется в LLM. RL-алгоритмы анализируют предпочтения пользователя, чтобы предложить товары или контент, которые могут его заинтересовать.
RL поможет нам избавиться от проблемы «пузыря» в рекомендательных системах, когда пользователю предлагают только те вещи, которым он уже когда-то поставил лайк. Современные рекомендательные системы жадные, они пытаются предложить пользователю максимум товаров, чтобы только понравиться ему — и порой при этом не учитывают, что надоели однообразием. Например, если вы ищете беговые кроссовки и постоянно видите главной странице только их, это вызовет разочарование.
Чтобы избежать такого узкого выбора, нам нужно постоянно корректировать рекомендации. Мы стремимся к тому, чтобы система сама научилась обеспечивать пользователю разнообразные предложения. Исследователи в этой области уже несколько лет пытаются решить эту задачу. Мы надеемся, что новые достижения в обучении с подкреплением и в области генеративного искусственного интеллекта помогут найти решение и внедрить его в наши системы.
CNews: А какие у вас ожидания от глобального рынка?
Николай Савушкин: Существует перспективное направление, которое привлекает внимание многих компаний, и нас тоже. Это связано с интеграцией различных видов генеративного искусственного интеллекта. Например, уже есть мультимодальные нейросети, с которыми можно общаться голосом, отправлять им изображения, уточнять что-то и получать текстовые ответы. В сфере рекомендаций это помогло бы создать универсального помощника, который будет учитывать наши вкусы, пожелания, контекст.
Теоретически это реально, но на данный момент такие системы находятся на начальном этапе — они работают значительно хуже существующих решений. Так что это большая задача, на которую мы смотрим с надеждой.
CNews: Как думаете, когда это будет возможно?
Николай Савушкин: Вопрос скорее в том, возможно ли это вообще. Персональные предпочтения не всегда поддаются словесному описанию, а порой люди сами не могут их вербализовать — выбирают интуитивно и формулируют причины уже постфактум. Например, мы не знаем, почему сегодня заказали то или иное блюдо в кафе.
Задача точного понимания и прогнозирования предпочтений может оказаться настолько сложной, что ее решение будет невозможным. Пока это открытый вопрос. Но мы знаем, что многие крупные компании инвестируют много денег, внимания и сил, чтобы в этом разобраться. Так что стоит держать руку на пульсе и ждать изменений на рынке рекомендаций в ближайшие годы.
Полный текст статьи читайте на CNews
