YouTube: как работают рекомендации
Кристос Гудроу, вице-президент YouTube по технологическим вопросам
Когда рекомендации YouTube верно настроены, они связывают миллиарды пользователей со всего мира созначимым, образовательным и развлекательным контентом. В моем случае это лекции об актуальных этических вопросах в сфере технологий и лучшие моменты футбольных матчей Университета Южной Калифорнии, которые я смотрел в детстве. Для моей старшей дочери — это видео Vlogbrothers, которые дарят ей положительные эмоции. Моему старшему сыну рекомендации помогают лучше понять линейную алгебру с помощью анимированных обучающих роликов от3Blue1Brown, а отдыхает он за просмотром видео рэпераKSI.
Как видно на примере моей семьи, аудитория есть почти у любого видео. Задача нашей системы рекомендаций эту аудиторию найти. Представьте, как сложно искать книги в огромной библиотеке без помощи библиотекарей. Рекомендации направляют зрителей и приносят больше половины общего количества просмотров на YouTube: больше, чем подписки на каналы или поиск. Я больше десяти лет работаю над системой рекомендаций YouTube, и мне приятно видеть, что она стала важной частью нашего сервиса. Однако зачастую пользователи не представляют, как на самом деле работают рекомендации. Мы хотим, чтобы принцип работы был понятным, поэтому я расскажу, как устроены и как совершенствуются рекомендации.
Что такое система рекомендаций
Наша система рекомендаций основывается на простом принципе — она должна помогать пользователям находить видео, которые им интересны и полезны. Рекомендации отображаются в двух основных разделах: на главной странице и на панели «Следующее». Главная страница — это первое, что вы видите на YouTube, на ней доступны ваши персонализированные рекомендации, подписки, а также свежие новости и информация. Панель «Следующее» появляется, когда вы смотрите видео и предлагает дополнительный контент, сформированный на основе информации о том, что вы смотрите в данный момент, а также на основе контента, который, как мы думаем, может вас заинтересовать.
В 2008 году, когда мы только создали нашу систему рекомендаций, она работала совершенно иначе. Предположим, что вы в основном смотрите кулинарные видео. Было бы нелогично видеть в рекомендациях на главной странице спортивные и музыкальные видео, потому что у них больше всего просмотров, правда? Такое могло случиться в ранние годы существования сервиса, когда видео отбирались исходя из их популярности и группировались на одной странице. Мало кто смотрел такие рекомендации, и большую часть просмотров на YouTube приносил поиск и внешние ссылки.
Сегодня наша система классифицирует миллиарды видео, чтобы подобрать контент, соответствующий именно вашим интересам. Например, наши алгоритмы обнаружили, что я смотрел ролик с лучшими моментами футбольного матча Университета Южной Калифорнии и предложили мне другие спортивные подборки времен моей молодости. Без системы рекомендаций я бы никогда не увидел эти видео. В отличие от других платформ, мы не подбираем для пользователей контент на основании их социальной активности. Вместо этого успешность рекомендаций на YouTube зависит от того, насколько точно мы можем предсказать желания зрителя.
Чтобы это сделать, мы отталкиваемся от того, что зрительские привычки каждого пользователя уникальны. Система сравнивает ваши действия в сервисе с поведением похожим на ваше и на основании этой информации предлагает вам контент, который может вас заинтересовать. Предположим, вам нравятся смотреть видео про теннис. Наши алгоритмы определяют, что другие зрители, которым нравятся те же ролики, также с удовольствием смотрят видео про джаз. Вероятно, в ваших рекомендациях появятся ролики с джазовой тематикой, даже если вы никогда их не смотрели. Для новостных и информационных разделов принцип работы рекомендаций может отличаться, об этом мы поговорим чуть позже. Несколько лет назад наша система порекомендовала моей старшей дочери видео Тайлера Окли. Это произошло потому, что тогда его ролики смотрели многие поклонники Vlogbrothers. Моя дочь так увлеклась контентом Тайлера, что стала его большим фанатом и позже увиделась с ним на одной из фан-встреч.
Конечно, мы понимаем, что не все пользователи готовы делиться с нами личной информацией. Поэтому мы создали настройки конфиденциальности, чтобы вы сами могли решать, доступ к каким данным хотите предоставлять. Вы можете удалять, редактировать и временно отключать историю поиска и просмотров на YouTube в любой момент.
Как мы персонализируем рекомендации
Для того, чтобы предложить каждому пользователю индивидуальные рекомендации, наша система не основана на жестком регламенте. Она постоянно развивается и обучается, анализируя 80 миллиардов информационных объектов, которые мы называем «сигналами». Поэтому чтобы объяснить систему работы рекомендаций, нужно не только объяснить их принцип работы, но и рассказать, какие данные мы используем. Чтобы определить предпочтения, наши алгоритмы принимают во внимание множество сигналов: нажатия, время просмотра, результаты опросов, ссылки на контент, а также отметки «Нравится» и «Не нравится».
Клики. Когда вы кликаете на видео, это с большой вероятностью говорит о том, что оно покажется вам интересным. Вряд ли вы станете нажимать на то, что не хотите смотреть.
Однако в 2011 году мы выяснили, что даже если пользователь кликнул на ролик, это не значит, что он его посмотрел. Допустим, вы ищете видео лучших моментов матча Уимблдонского турнира за определенный год. Вы прокручиваете страницу и кликаете на один из роликов, потому что по его названию и значку похоже, что он содержит видео с матча. Но оказывается, что автор видео пересказывает матч на камеру. Вы нажимаете на рекомендованный ролик на панели «Следующее», но это снова просто пересказ игры от фаната. Пока вы найдете видео с записью матча, вы можете перебрать таким образом много роликов. Поэтому с 2012 года мы стали учитывать время просмотренных роликов.
Время просмотра. Анализируя, какие видео вы смотрели и как долго, наша система получает персонализированные сигналы о том, какой контент вам скорее всего понравится. Поэтому если наш гипотетический фанат тенниса посмотрел 20 минут подборки ярких моментов Уимблдонского турнира и всего несколько секунд видео с анализом матча, мы можем с уверенностью предположить, что яркие моменты игры показались ему более интересными.
Когда мы впервые стали учитывать время просмотра при подборе рекомендаций, то количество просмотров мгновенно упало на 20%. Однако мы верим, что нам важнее предоставлять зрителям интересный контент, ведь польза от просмотра разных видео может отличаться. Иногда я засиживаюсь допоздна, просматривая случайные видео вместо того, чтобы изучать на YouTube новый язык или оттачивать кулинарные навыки. Мы не хотим, чтобы пользователи сожалели о времени, потраченном на просмотр видео. Поэтому мы поняли, что нам нужно лучше анализировать то, насколько зрители удовлетворены временем, которые они посвящают YouTube.
Результаты опросов. Чтобы наверняка определить, довольны ли зрители контентом, который они смотрят, мы учитываем так называемое «ценное время просмотра». Это время, которое вы сами оцениваете как проведенное с пользой. «Ценное время просмотра» мы определяем с помощью опросов, где пользователь ставит видео оценку по шкале от одного до пяти. Так мы можем понять, доволен ли зритель контентом. Если пользователь ставит видео одну или две звезды, мы спрашиваем, что ему не понравилось, а если четыре или пять — что оказалось полезным. При подсчете ценного времени просмотра учитываются только те ролики, которым вы поставили четыре или пять звезд.
Конечно, не все пользователи проходят опрос после каждого просмотренного видео. На основе ответов, которые мы получаем, наша модель машинного обучения научилась предсказывать возможные оценки. Чтобы проверить точность этих прогнозов, мы специально исключаем из задания для обучениячасть уже выставленных пользователями оценок. Это позволяет нам проверить, насколько полученные с помощью нашей системы данные соответствуют реальным ответам.
Ссылки на контент, а также отметки «Нравится» и «Не нравится». Обычно если пользователь делится видео или ставит ему отметку «Нравится», это означает, что он доволен этим контентом. Наша система использует эту информацию, чтобы предсказывать вероятность того, что вы поделитесь следующими роликами или поставите им отметку «Нравится». Когда вы нажимаете «Не нравится», это сигнал, что контент не показался вам интересным.
Как и в случае с рекомендациями, значимость каждого сигнала зависит от вас. Если вы делитесь всеми просмотренными видео, даже теми, которым поставили одну или две звезды, наша система не будет учитывать отправленные вами ссылки на контент при подборе рекомендаций. Именно поэтому наши алгоритмы не базируются на четких правилах, а адаптируются к вашему поведению.
Фокус на качественные рекомендации
Анализ нажатий, просмотров, времени просмотра, опросы пользователей, ссылки на контент, отметки «Нравится» и «Не нравится» — все это эффективно работает для подбора рекомендаций на самые популярные темы на YouTube, такие как музыка и развлечения. Но за последние годы мы наблюдаем тенденцию, что все больше пользователей приходят в наш сервис за новостями и информацией. Будь это актуальные новости или сложные научные исследования, для таких тем очень важно качество контента и контекст. Кто-то может поставить высокую оценку видео, где утверждается, что Земля плоская, но это не значит, что мы будем рекомендовать подобный некачественный контент.
Именно поэтому рекомендации играют важную роль в процессе построения платформы, которая внушает доверие. Мы предлагаем зрителям проверенную информацию и минимизируем вероятность того, что они столкнутся с сомнительным контентом. При этом учитываются правила сообщества, определяющие, какие материалы разрешены, а какие запрещены на YouTube.
В 2011 году мы начали ограничивать распространение некачественного контента с помощью рекомендаций. Тогда мы разработали классификаторы, позволяющие распознавать и исключать из рекомендаций видео, содержащие контент для взрослых и насилие. В 2015 году мы заметили, что на главной странице показывается много нарочито сенсационных материалов от таблоидов, и приняли меры, чтобы убрать их. Через год мы научились прогнозировать вероятность того, что в видео показаны несовершеннолетние в опасных ситуациях, и удалять такие ролики из рекомендаций. В 2017 году мы начали оценивать работу машинного обучения, отслеживая справедливость нашей системы по отношению к социально уязвимым лицам.
В последние годы увеличилось количество недостоверной информации, поэтому мы улучшили нашу систему рекомендаций, чтобы она могла обрабатывать видео с неверными данными, а также спорный контент (материалы, которые близки к нарушению правил сообщества, но технически этого не делают). Например, ролики с конспирологическими теориями («высадка человека на Луну была сфальсифицирована») и другие видео, распространяющие неверную информацию («апельсиновый сок может вылечить рак»).
Мы отделяем проверенный контент от пограничного с помощью классификаторов. Оценку качества информации, представленной на канале или в видео, осуществляют специалисты со всего мира, которые обучаются по нашим подробным общедоступным правилам. Мы также обращаемся к сертифицированным экспертам, например, врачам, когда контент содержит информацию, касающуюся здоровья.
Чтобы определить авторитетность контента, специалисты по оценке отвечают на несколько ключевых вопросов. Материалы отвечают заявленной цели? Какой уровень квалификации требуется, чтобы понять смысл видео? Какая репутация у выступающего в ролике человека и канала, на котором оно опубликовано? Какая основная тематика видео (например, «Новости», «Спорт», «История», «Наука» и т. д.)? Контент задуман как сатирический? Ответы на эти и другие вопросы определяют, насколько видео заслуживает доверия. Чем выше оценка, тем активнее мы продвигаем ролик в рамках новостного и информационного контента. Чтобы определить пограничные видео, специалисты по оценке отмечают факт присутствия неточного, вводящего в заблуждение, оскорбительного, нетолерантного, реально или потенциально вредоносного контента и другие. На основании общих результатов определяется вероятность, что в ролик содержит вредоносную информацию или пограничный контент. Видео, которые классифицируются как пограничный контент удаляются из рекомендаций.
Подобные оценки специалистов тренируют нашу систему моделировать решения по заданному образцу, их мы внедряем в каждую проверку всех видео на YouTube.
