Сила непрерывного обучения23.12.2022 08:00

Что вас больше всего вдохновляет в будущем искусственного интеллекта?

Общий искусственный интеллект (AGI) должен превосходить человека в большинстве экономически ценных видов труда. Я с нетерпением жду, когда AGI начнет помогать человеческому обществу следующим образом:

1. Полная автоматизация или значительное сокращение человеческих усилий при выполнении рутинных и неинновационных задач. Иными словами, AGI должен кардинально повысить производительность труда.
2. Существенное ускорение совершения новых научных прорывов, включая, помимо прочего, упрощение процесса принятия человеческих решений за счет предоставления дополнительного анализа и информации.
3. Эффективное, результативное и безопасное понимание физического мира и взаимодействие с ним.

Какими проектами, над которыми вы работали в OpenAI, вы гордитесь больше всего?

В течение моих первых 2,5 лет в OpenAI я работала в команде робототехники над амбициозной идеей: мы хотели научить одну человекоподобную роборуку собирать кубик Рубика. Это был невероятно захватывающий, сложный и эмоциональный опыт. Мы решили⁠ эту задачу с помощью глубокого обучения с подкреплением (RL), безумного объема рандомизации домена и полного отсутствия реальных обучающих данных. Что еще важнее, мы справились с этой задачей как команда.

От симуляции и обучения с подкреплением до компьютерного зрения и микропрограммного обеспечения — мы сотрудничали очень тесно и слаженно. Это был потрясающий эксперимент, и в то время я часто вспоминала поле искажения реальности⁠ Стива Джобса: когда вы во что-то верите настолько сильно и упорно продолжаете идти к цели, вы каким-то образом можете сделать невозможное возможным.

С начала 2021 года я возглавила команду прикладных исследований в области ИИ (Applied AI Research). Управление командой ставит перед нами совершенно иные задачи и требует изменения стиля работы. Больше всего я горжусь несколькими проектами в области безопасности языковых моделей, реализованными в рамках прикладного ИИ:

1. Мы разработали и создали набор оценочных данных и задач для оценки склонности предобученных языковых моделей к генерации контента ненавистнического, сексуального или насильственного характера.
2. Мы создали подробную таксономию и построили мощный классификатор для обнаружения нежелательного контента⁠, а также определения причин, по которым этот контент является неприемлемым.
3. Мы работаем над различными методами, которые делают модель менее склонной к генерации небезопасных результатов.

Поскольку команда прикладного ИИ на практике отрабатывает лучшие способы внедрения передовых методов искусственного интеллекта — таких как крупные предобученные языковые модели, — мы видим, насколько они мощны и полезны для задач реального мира. Мы также осознаем важность безопасного развертывания этих методов, как подчеркивается в нашем Уставе⁠.

Существующие модели глубокого обучения не идеальны. Они обучаются на колоссальном объеме данных, созданных людьми (например, из интернета, тщательно отобранных материалов и литературы), и неизбежно впитывают множество изъянов и предвзятостей, давно существующих в нашем обществе. Например, когда DALL·E просили изобразить медсестру, она генерировала только женских персонажей, а когда профессора — исключительно белокожих людей. Модель улавливает предвзятость в статистике реального мира или предвзятость в наших обучающих данных.

У меня возникла мотивация разработать метод смягчения такого рода социальной предвзятости и оценить эффективность этого метода. Вместе с командой мы разработали конвейер для уменьшения подобной предвзятости, а также рабочий процесс для проведения оценки с участием человека (human-in-the-loop). Борьба с социальной предвзятостью — непростая задача, поскольку она проявляется во многих аспектах нашей жизни, и ее бывает трудно заметить. Но я рада, что команда DALL·E серьезно относится к этой проблеме и предпринимает действия на самом раннем этапе. То, что мы имеем сейчас, — это лишь начало, и мы продолжим добиваться прогресса. Я горжусь тем, что работаю в этой области, и рада видеть, как шаг за шагом мы делаем современный ИИ более безопасным и совершенным.

«Идеи из разных тем или областей часто способны вдохновлять на новые замыслы и расширять пространство потенциальных решений».

Как вы применяете свой личный опыт и ценности в повседневной работе в OpenAI?

Я верю в силу обучения, и учиться никогда не поздно. Ведение моего личного блога — отличный способ поддерживать это любопытство и регулярно узнавать о новых достижениях в сообществе глубокого обучения. Я также поощряю свою команду продолжать обучение, независимо от того, связано оно с их текущими проектами или нет. Идеи из разных тем или областей часто могут вдохновлять на новые замыслы и расширять пространство потенциальных решений.

Я также искренне верю в командную работу. Если каждый проявит свои лучшие сильные стороны, мы получим эффект 1+1 > 2. При этом нам часто приходится сталкиваться с «грязной» работой, и лично я очень охотно берусь за такие задачи, потому что пока это главный фактор торможения или задача, приносящая наибольшую ценность проекту, ничто не должно считаться «грязным» или «тривиальным». Я призываю окружающих поступать так же: быть командными игроками и работать вместе для ускорения общей производительности.

Расскажите о своем блоге! Почему вы его завели? К чему, по вашему мнению, он должен вдохновлять?

Все началось как набор личных заметок об обучении. Я пришла в сферу глубокого обучения не слишком рано и до сих пор считаю себя «новичком». Поначалу, когда я стала погружаться в огромное количество научных работ, меня поразила сама концепция: не проектировать алгоритм для решения проблемы, а обучить модель находить этот алгоритм. Чем больше я читала, тем сильнее становилось мое любопытство. На практике оказалось очень сложно упорядочить все прочитанные статьи и новые концепции, которые я усвоила. Поэтому я решила завести блог, чтобы документировать и систематизировать свои учебные заметки. Я также верю, что лучший способ чему-то научиться — это убедиться, что вы можете правильно и понятно донести эти знания до других. Письмо помогает мне в этом.

Я не ожидала, что он станет популярным в ML-сообществе, но каждый раз, когда я получаю благодарственное письмо или мне лично говорят, что люди многому научились, читая мой блог, я чувствую огромную гордость и благодарность. Прошло почти 6 лет с тех пор, как я открыла блог в 2017 году, и я буду продолжать его вести столько, сколько смогу.

Какая, по вашему мнению, одна из самых неотложных задач, которую ИИ может решить в нашем обществе?

Сообщество специалистов по ИИ добилось огромного прогресса за последние годы. Развитие аппаратного обеспечения, архитектуры моделей и данных позволяет обучать гигантские модели, в результате чего мы постоянно наблюдаем все возрастающие возможности. Я считаю, что мы находимся на верном пути к созданию AGI, но масштабирование — это не единственный рецепт. На мой взгляд, самыми срочными проблемами сейчас являются выравнивание (alignment) и безопасность. В определенной степени это может быть одна и та же проблема управляемости или подконтрольности.

Во-первых, даже если у нас в руках уже будет чрезвычайно мощная система ИИ, если мы не сможем эффективно доносить до нее свои цели и гарантировать, что модель согласуется с тем, чего мы хотим, создать необходимую ценность не удастся. Самая мощная на сегодняшний день модель обучается на колоссальном объеме данных, и набор данных неизбежно отражает несовершенные изъяны и предвзятости реального мира. В связи с этим несогласованные модели несут в себе угрозу безопасности, поскольку они не осознают, чего следует избегать.

«Я считаю, что мы находимся на верном пути к созданию AGI, но масштабирование — это не единственный рецепт. Самыми срочными проблемами сейчас являются выравнивание и безопасность».

Какой лучший совет вы получили за время своей карьеры в OpenAI?

Это не какой-то конкретный совет, который кто-то мне дал, а скорее вывод, основанный на моем опыте работы в OpenAI к настоящему моменту. А именно — мыслить масштабно. Мы создаем нечто совершенно новое, и мы должны быть амбициозными, смелыми и обладать достаточной настойчивостью, чтобы продолжать начатое.

Где вы черпаете вдохновение?

Книги. Обычно я читаю книги за пределами сферы глубокого обучения и вдохновляюсь самыми разными областями. Например, тем, насколько важно для писателя сохранять упорство на протяжении 50 лет, для хирурга — уделять безупречное внимание деталям, а для предпринимателя — иметь «безумные идеи».

Люди вокруг меня. Для меня большая честь работать с большой группой исключительно талантливых коллег в OpenAI. В каждом есть что-то яркое, вдохновляющее или вызывающее уважение, и мне нравится учиться у них.