Темы



Откройте для себя инженерный ИИ

Коротко сгенерировано ИИ по тексту статьи
  • Netflix представила вкладку AI Discover для небольшой группы подписчиков: они выбирают темы и получают подборки с пояснениями и следующими темами.
  • Интеллектуальный слой состоит из контроллера, который выбирает и проверяет план, и исполнителя, который запускает его шаги.
  • Система использует LLM выборочно, проверяет их планы и переключается на готовый план, если новый медленный или не прошёл проверку.

Почему это важно: Такой подход позволяет использовать генеративный ИИ на телевизорах, сохраняя контроль над рекомендациями, безопасностью и надёжностью.

[не удалось получить полный текст]

Задачи и решения, лежащие в основе интеллектуального слоя AI Discover

Авторы: Varun Khaitan, Peng Ren, Gary Tang, Itay Teller, Atif Faheem, Nipun Kumar, Donnie DeBoer, Eduardo Lundgren, Matteo Rinaldi, Raghav Bakshi

Недавно мы представили AI Discover — новую вкладку в нашем приложении для телевизоров, где небольшая группа подписчиков может опробовать новые способы найти, что посмотреть. Годами наши рекомендации работали в фоновом режиме, пытаясь понять по истории просмотров, что может понравиться тому или иному подписчику. AI Discover заменяет незаметное ранжирование управляемым поиском контента. Подписчик выбирает тему, например «Короткие фильмы», и получает подборку подходящих вариантов, краткое объяснение, почему они подходят, и несколько более узких тем, которые можно попробовать дальше. Затем можно продолжить сужать выбор, перейти к чему-то новому или настроить рекомендации.

При разработке AI Discover возник вопрос, знакомый многим командам: как улучшить впечатления подписчиков с помощью генеративного ИИ на телевизоре, не жертвуя скоростью, надежностью и безопасностью? Наш ответ — новый интеллектуальный слой, агентная инфраструктура AI Discover. Для каждого запроса она решает, как сочетать большие языковые модели (LLM) с нашими рекомендательными системами. В ее основе — многолетняя работа над пониманием предпочтений подписчиков, а также недавние исследования применения LLM в рекомендациях и генеративных продуктах. Сам слой планирует обработку каждого запроса, выполняет его с помощью этих систем, выдает результат и оценивает его в автономном режиме.

В этой статье мы расскажем о задачах, на которые ориентировались при разработке, и о ключевых решениях, принятых по ходу работы.

A visual walkthrough of the AI Discover experience launched on Netflix TV devices.

Зачем нужен интеллектуальный слой?

На каждой странице Netflix сочетаются рекомендации и правила. Мы выбираем фильмы и сериалы, которые могут понравиться подписчику, а правила доступности, возрастных ограничений и безопасности определяют, что можно показывать. Продукту на основе LLM нужны те же правила, а также код, который решает, когда вызывать LLM и как обрабатывать ее ответы. Этот код называют агентной инфраструктурой, и он составляет основу нашего интеллектуального слоя.

Самый простой вариант — передать весь запрос LLM и позволить ей выбрать фильмы и сериалы, написать подписи и решить, что делать дальше. Но тогда пришлось бы полагаться на вероятностные результаты там, где нам нужны контролируемые ответы: каждый сеанс AI Discover заканчивается показом экрана в чьей-то гостиной. При наших масштабах даже редкие сбои происходят много раз в день. Подписчик замечает каждый медленный запрос, недоступный фильм или неуместную фразу. Наш подход определили семь задач:

  1. Встроить LLM в продукт и архитектуру, изначально созданные без них. Традиционные рекомендательные системы ранжируют фильмы и сериалы на основе прошлых действий. LLM умеют больше: понимать запросы подписчиков и планировать ответы. В существующем продукте большая часть этих возможностей оставалась бы неиспользованной.
  2. Обеспечить обоснованность рекомендаций. Каждая рекомендация должна вести к реальному, доступному контенту из постоянно меняющегося каталога. Системы извлечения и ранжирования работают вместе с LLM, чтобы выбирать подходящие подписчику по вкусу и намерению фильмы и сериалы.
  3. Учитывать медленную и непредсказуемую работу LLM. Запросы к LLM — самая медленная и дорогая часть системы. Время отклика в редких случаях может резко увеличиваться, а результат может не соответствовать запросу. Поэтому мы используем LLM избирательно, считаем их ответы недоверенными данными и проверяем производительность и качество до запуска.
  4. Адаптироваться к быстро меняющимся моделям, инструментам и промптам. Решения в области моделирования и разработки постоянно меняются, поэтому продукт не должен зависеть от какой-либо одной модели, инструмента или промпта.
  5. Создать продукт для телевизоров. На телевизоре неудобно печатать, поэтому подписчики пользуются пультом, а приложение должно мгновенно реагировать на каждое нажатие и работать на самых разных устройствах. Обновления приложений для телевизоров также выходят медленно, поэтому изменения должны внедряться без выпуска новой версии приложения. Обычный запрос на телевизоре обрабатывается за мгновения, тогда как многоэтапная генерация может занять несколько секунд.
  6. Обеспечить безопасность и надежность в большом масштабе. Подписчик всегда должен получить страницу, даже если запрос к LLM завершился с ошибкой или дал плохой результат. Выбор подписчика и наши стандарты контента должны соблюдаться при каждом запросе, а структурированные записи должны помогать понять, что пошло не так.
  7. Учитывать пожелания подписчиков наряду с уже известной нам информацией. Рекомендации всегда совершенствовались на основе поведения при просмотре. AI Discover также позволяет подписчикам сообщать, чего они хотят, и эти пожелания должны влиять на то, что они увидят дальше.

Архитектура системы

Когда подписчик выбирает тему, телевизионное приложение отправляет запрос на Page Server, который формирует страницы для всех приложений Netflix и асинхронно передает запрос интеллектуальному слою. На высоком уровне этот новый слой состоит из двух компонентов: контроллера и исполнителя.

Контроллер решает, что запускать. Он собирает контекст для каждого запроса, включая сигналы в реальном времени, например время суток. Затем контроллер выбирает план — готовый или созданный планировщиком — проверяет его и извлекает из Memory Hub, нашего хранилища памяти для каждого подписчика, только те сведения о подписчике, которые нужны для этого плана. Это могут быть сводки предпочтений, подготовленные MemberLLM — нашей собственной языковой моделью для персонализированных рекомендаций, — или отзывы, оставленные подписчиком. Подробнее о Memory Hub и сводках предпочтений мы расскажем далее.

План представляет собой граф из утвержденных шагов, каждый из которых выполняет определенную функцию. Функция — это именованная единица работы, у которой может быть несколько версий и которая относится к семейству, например извлечение, ранжирование, генерация или упаковка данных. Для нее указываются входные и выходные данные, доступный ей контекст и действия на случай сбоя.

Объявления функций позволяют проверить план. Перед выполнением контроллер проверяет граф: каждый шаг утвержден, для каждого входного значения определен источник, циклов нет, а в результате формируется ровно одна страница. После этого контроллер проверяет результат перед показом.

Исполнитель выполняет план. Шаги передают друг другу типизированные выходные данные по объявленным контрактам, поэтому каждый получает именно то, что запросил. Независимые шаги выполняются параллельно, у каждого свой срок и предусмотрены соответствующие запасные варианты. Некоторые шаги оптимизированы для вызова LLM с одной конкретной задачей — например, написать заголовки подборок или предложить следующие темы. Они действуют только в рамках проверенного плана. Проверки перед запуском и контракты во время выполнения обеспечивают контролируемое исполнение: каждое действие остается в заданных кодом границах.

Оба компонента записывают данные о запросе — трассировки, которые мы используем для автономной оценки и улучшения системы.

Схема архитектуры системы

Ключевые решения

Каждая задача привела к конкретному решению. Вот что мы выбрали и какие преимущества это дало.

1. Спроектировать продукт и архитектуру с учетом LLM

Мы заново продумали продукт с учетом LLM. Более простым путем было бы встроить их в качестве систем ранжирования, сохранить нынешние требования к задержке и при необходимости заранее вычислять результаты. AI Discover построен на диалоге вокруг тем, которыми подписчик может управлять, и дает LLM задачи, доступные только им: создавать темы, объяснять подборки, обобщать предпочтения и помогать выбирать подходящий подписчику и моменту контент. Подписчики выбирают темы с помощью пульта, поэтому им никогда не приходится печатать. На экране телевизора для тем и пояснений предусмотрены отдельные элементы интерфейса. За кадром LLM могут составлять планы, а асинхронная обработка дает многоэтапной агентной оркестрации необходимое время.

Это открывает возможности, которые наша традиционная технологическая инфраструктура не смогла бы обеспечить самостоятельно.

2. Сделать существующие системы совместимыми

Чтобы рекомендации оставались обоснованными, нужно было опираться на системы, которые уже знают наш каталог и подписчиков. Большинство функций представляют собой оболочки для сложных, проверенных систем Netflix, таких как поиск, масштабное ранжирование и доступ к метаданным каталога. В будущем некоторые из них могут запускать собственных агентов.

Преобразовать эти системы было непросто: агентная оркестрация ставит под сомнение многие устоявшиеся предположения, лежащие в основе распределенных систем. Теперь функция должна работать в сочетаниях, для которых ее никто не проектировал, и обслуживать вызывающий ее компонент, который сам выбирает момент вызова во время выполнения. Каждой функции нужны четкое назначение и понятный семантический интерфейс. При проектировании необходимо решить, сколько объединить в один шаг, а сколько оставить планировщику. Слишком мелкая детализация дает планировщику больше возможностей ошибиться, а слишком крупная ограничивает его возможности составлять более сложные планы.

Взамен планировщик получает строительные блоки, которые можно по-новому комбинировать, а подключение сервисов требует гораздо меньше ручной настройки. Поскольку в планах можно использовать только эти блоки, даже составленный на ходу план остается привязанным к нашему каталогу и предпочтениям подписчика.

3. Сначала планировать, затем выполнять

Чтобы ограничить задержки и ошибки LLM, мы составляем план каждого запроса до начала его выполнения. Привычный способ дать агенту доступ к инструментам — запустить цикл: рассуждение, вызов инструмента, обработка результата, новое рассуждение. Такой подход гибок, но заранее нельзя сказать, сколько шагов он займет и не свернет ли агент на неверный путь. С точки зрения агентных систем, наш подход — это агент, который сначала планирует, а затем выполняет: LLM может предложить путь, но решение о его запуске принимает код.

Планы берутся из двух источников: это уже проверенные готовые планы и планы, которые LLM создает на лету. Какой из них использовать, решает подконтрольный нам маршрутизатор. В любом случае план проходит одни и те же проверки перед запуском. Если планировщик работает медленно или план не проходит проверку, мы переключаемся на проверенный план.

Такой подход позволяет адаптивно планировать. Планировщик может находить новые способы обработки запросов, а мы — балансировать стоимость, задержку и качество каждой задачи, выбирая от простого плана с одним вызовом до более сложного многоэтапного.

4. Не зависеть от конкретных моделей и функций

Лучшая для задачи сегодня модель или функция через несколько месяцев может оказаться лишь второй по качеству или избыточной, поэтому мы создали систему, позволяющую переключаться между ними. Для каждой задачи выбирается подходящая модель или версия функции. Сейчас это настройка для отдельной задачи, которую можно менять в реальном времени. Только некоторые шаги запроса используют LLM.

Это работает, только если переключение не вызывает сложностей. Все используемые нами LLM подключены через единый интерфейс. Перед переключением каждая модель-кандидат проверяется на одних и тех же задачах с помощью автоматических тестов и оценок других LLM, поэтому каждое изменение основано на измерениях.

Значительная часть поведения системы задается промптами и конфигурацией на серверной стороне, поэтому мы можем менять модели, инструменты и функции без нового кода или выпуска новой версии телевизионного приложения.

Обновления обходятся дешевле, а эксперименты проводить проще. Переход на более совершенную модель, систему ранжирования или извлечения требует изменить план или настройку, а не переносить систему целиком, поэтому каждый компонент можно улучшать без крупных вложений.

5. Сделать генерацию страниц асинхронной

Инференс становится все быстрее, но ожидания подписчиков растут не менее стремительно: им нужны более содержательные ответы, больше контекста и больше элементов страницы, сформированных с помощью LLM. Граница между тем, что кажется мгновенным, и тем, ради чего стоит подождать, будет постоянно смещаться, поэтому мы сделали асинхронную обработку полноценным способом обслуживания запросов.

Большинство операций телевизионного приложения выполняются синхронно: нажал кнопку — получил страницу. Генеративные задачи нарушают эту схему. Если держать один запрос открытым много секунд, пока он проходит через различные сервисы, это займет слишком много потоков. Поэтому запросы, связанные с генерацией, обрабатываются асинхронно. После нажатия кнопки сразу появляется подтверждение, а телевизор показывает экран ожидания с объяснением того, что готовится. В это время исполнитель выполняет план в фоновом режиме. Когда результат готов, сервер сообщает об этом телевизору, и тот загружает его.

Медленная генерация больше не замедляет другие процессы. Серверная инфраструктура остается работоспособной независимо от длительности обработки, а каждое нажатие по-прежнему сразу получает ответ на экране.

Схема асинхронного взаимодействия

6. Обеспечить соблюдение правил безопасности на уровне кода

Некоторые правила должны соблюдаться независимо от того, что генерирует LLM: стандарты контента и возрастных ограничений, перечень доступных каждому шагу данных и просьбы подписчика не показывать тот или иной контент. Если включить эти правила в промпт, их соблюдение станет вероятностным, поэтому мы обеспечиваем его на уровне кода. Сгенерированный текст очищается до того, как попадет на экран. Планировщик получает упрощенный запрос, а сведения о подписчике ограничиваются тем, что нужно для проверенного плана.

Например, планировщик определяет, какие входные данные нужны каждому шагу, скажем возрастной рейтинг профиля для извлечения контента. Вместо того чтобы напрямую задавать значения параметров, он использует заполнители. После проверки плана контроллер подставляет в них значения из запроса, сопоставляя их по объявленным типам. Это также защищает от инъекций в промпт.

Для каждого запроса также создается структурированная запись: план, каждый шаг и его результат, а также примененные правила. Если страница получилась неудачной, мы можем выяснить, что стало причиной — план, данные, правило или модель. Эти же записи используются для автономной оценки и воспроизведения запросов.

В совокупности эти правила и записи позволяют запускать эксперимент, соблюдая те же стандарты безопасности и конфиденциальности, что и во всем остальном продукте.

7. Запоминать пожелания подписчиков

Сводка предпочтений — это краткий профиль того, что нравится подписчику, например любимые жанры, настроение и повторяющиеся темы. MemberLLM заранее составляет ее на основе истории просмотров, поэтому эта работа LLM не замедляет обработку запроса. Сводка помогает дополнительно персонализировать страницу подписчика. Шаги, на которых создаются темы и пояснения, получают ее в качестве контекста, чтобы формулировки учитывали его предпочтения. Подробнее о MemberLLM мы расскажем в одной из следующих статей.

В AI Discover подписчики также могут настраивать рекомендации и напрямую сообщать, чего хотят. Эти настройки применяются сразу и сохраняются между сеансами, добавляя новый сигнал к уже известным нам предпочтениям. Это первый шаг к тому, чтобы запоминать больше сведений о каждом подписчике: от его предпочтений до привычек, складывающихся со временем, и любимых уголков каталога, которые он исследует. Мы храним все это в Memory Hub — нашем постоянном хранилище памяти с низкой задержкой — рядом со сводками предпочтений и можем добавлять новые типы памяти по мере необходимости. В последующих запросах мы используем эти данные, когда они актуальны, вместе с контекстом в реальном времени.

Пульт остается в руках подписчика

В этой версии подписчики взаимодействуют с продуктом, выбирая темы и используя настройки рекомендаций, например «Не рекомендовать». Здесь нет ввода произвольного текста или свободного чата. Благодаря этому задачи LLM намеренно ограничены.

  • Прежние меры защиты остаются в силе. Настройки профиля, а также наши правила безопасности и конфиденциальности действуют здесь так же, как и во всем остальном продукте.
  • Сгенерированный текст прошел проверку до запуска. Мы оценили безопасность подписей тем, заголовков подборок и пояснений, чтобы убедиться, что они соответствуют нашим стандартам.

Что дальше

Было бы быстрее поручить LLM все задачи и на этом остановиться. Но интеллектуальный слой дал нам продукт, созданный с учетом возможностей ИИ, надежные строительные блоки, адаптивное планирование, возможность быстрее проводить эксперименты, асинхронную генерацию, контролируемое выполнение и память агента для настройки персонализации. Хотя AI Discover — первый продукт на его основе, мы создавали этот слой с расчетом на дальнейшее развитие.

Мы организовали работу вокруг двух вопросов:

  • Насколько подписчики хотят влиять на рекомендации? Предпочитают ли они направлять подборку или просто смотреть, не вмешиваясь, и в какой степени; какие темы им помогают; как объединить пожелания подписчиков с нашими существующими системами персонализации.
  • Какие компромиссы связаны с этой технологией? Как ведут себя стоимость и задержки в рабочей среде по мере увеличения нагрузки, как долго подписчики готовы ждать сгенерированных результатов и чем вызваны ошибки — моделью, агентной инфраструктурой или существующими системами. Для многошаговых сеансов также нужны другие методы оценки и наблюдения за работой системы, чем для отдельных запросов.

В перспективе мы хотим создать систему, которая будет совершенствоваться сама, опираясь на записи, оставленные каждым запросом. Сейчас мы повторно обрабатываем прошлые запросы с новым промптом, моделью или правилом, чтобы увидеть, что изменилось, и оцениваем каждое изменение с помощью автоматических проверок, оценок LLM и оценок специалистов. В конечном счете мы хотим, чтобы система предлагала улучшения, безопасно их проверяла и сохраняла только те, что доказали свою эффективность, соблюдая наши правила конфиденциальности и использования данных. По мере совершенствования LLM все больше работы может перейти к ним, а интеллектуальный слой позволяет нам осознанно определять эту границу.

Это часть более масштабных изменений. Рекомендательные системы давно учатся на том, что смотрят подписчики, и незаметно для них отвечают подборками контента, отсортированными по релевантности. LLM позволяют таким системам слушать и реагировать, и подписчики, возможно, будут все чаще этого ожидать. Мы продолжим изучать, что это значит для поиска контента на Netflix.

Благодарности

Мы хотели бы поблагодарить за вклад в эту работу Adi Suresh, Akash Katipally, Allan Johns, Becks Wood, Bhargav Mangipudi, Carrie Santiago, Chris Martin, Claire Campbell, Corey Waldin, Dana Sittler, Daneo Zhang, David Leen, Devon Bryant, Dharamendra Kumar, Dharini Chandrasekaran, Ebony Turner, Federico Roa, Gianfranco Cuoco, Guru Tahasildar, Haley Clanton, Haresh Chudgar, Ivan Provalov, James Schultz, JingXu Yang, Josie Shaw, Kamelia Aryafar, Kate Cummings, Kathleen Garrity, Kelley Robinson, Kevin Du, Kevin O«Connor, Kyla Moore, Kyle Lind, Laura Matsuura, Leah Cusella, Lingyi Liu, Lingyong Wang, Mallory Walkup, Matthew Pereira, Michael Galassi, Minsu Jang, Moumita Bhattacharya, Paran Jain, Paul Lee, Qusai Al-Rabadi, Scarlet Chen, Sergi Perez, Sriram Rao, Stephen Shaw, Sura Elamurugu, Varad Pathak, Yesu Feng, Zainab Mahar Mir и Zhongli Cheng.

Статья «Разработка AI Discover» впервые опубликована в Netflix TechBlog на Medium, где читатели продолжают обсуждение, выделяя фрагменты и отвечая на эту публикацию.

© Netflix Tech Blog