День обучения01.08.2019 07:00

Мы заметили, что наиболее весомый вклад в работу OpenAI вносят междисциплинарные эксперты, поэтому нам необходимо либо нанимать их, либо взращивать внутри компании. До появления Дня обучения мы крайне редко видели, чтобы люди развивались в смежных направлениях — например, сотрудники с бэкграундом в разработке ПО редко осваивали машинное обучение (что в целом редкость для других организаций, за исключением академической среды). После введения Дня обучения такой рост стал обычным делом.

В обычный день обучения сотрудники занимаются следующими вещами:

• Перереализуют научные работы.
• Проходят учебные пособия по глубокому обучению.
• Экспериментируют с новыми инструментами для управления кластерами, компиляции, генерации виртуальных миров или парадигм программирования.
• Учатся проводить исследования небольших по масштабу задач.
• Читают о новых разработках в кажущихся несвязанными областях ИИ.

Мы считаем, что День обучения может быть полезен и другим организациям, поэтому хотим поделиться тем, как он зародился и как устроен в OpenAI.

Предыстория

Мы впервые опробовали День обучения в нашей команде робототехники. Вот как на эту идею наш руководитель направления робототехники Войцех Заремба (Вой):

Как это устроено

День обучения проходит каждый четверг. Вой написал следующие рекомендации для команды робототехники, но мы адаптировали эти принципы для каждой команды, внедрившей День обучения:

Для поддержания ответственности мы просим каждого публиковать в Slack информацию о том, чему они научились за этот день.

Чему мы учимся в День обучения

Ниже приведены примеры того, чему люди учатся за один День обучения.

Чтение литературы по глубокому обучению

• »Population Based Augmentation: Efficient Learning of Augmentation Policy Schedules⁠»
• »Learning Domain Randomization Distributions for Transfer of Locomotion Policies⁠»
• »Neural Graph Evolution: Towards Efficient Automatic Robot DesignLearning to Learn with Probabilistic Task Embeddings⁠»
• »Mid-Level Visual Representations Improve Generalization and Sample Efficiency for Learning Visuomotor Policies⁠»
• »Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables⁠»
• »Does computer vision matter for action? ⁠»
• »WAIC, but Why? Generative Ensembles for Robust Anomaly Detection⁠»
• »Weight Agnostic Neural Networks⁠»
• »Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations⁠»
• Deep unsupervised learning⁠
• Deep RL Bootcamp⁠

Программирование в области глубокого обучения

• Reptile⁠ и MAML⁠
• Эксперименты с кодом в JAX⁠
• Применение разреженных трансформеров (Sparse Transformers)⁠ к задачам компьютерного зрения
• Реализация LSTM и трансформера с нуля; их обучение на корпусе Penn Treebank
• Обучение нейросети воспроизведению поведения физического мотора

Математика и статистика

• Анализ временных рядов (Time Series Analysis)⁠
• Книга о том, почему: новая наука о причине и следствии (The Book of Why)⁠

Менеджмент

• Спасибо за отзыв: наука и искусство правильно принимать обратную связь (Thanks for the Feedback)⁠
• Измени свои вопросы — измени свою жизнь (Change Your Questions, Change Your Life)⁠

Исторический контекст мощных технологий

• Темная территория: Секретная история кибервойны (Dark Territory)⁠
• Взломанный мировой порядок (The Hacked World Order)⁠
• Передача технологий в СССР, 1928–1937 и 1966–1975 гг. (Technology Transfer to the USSR)⁠
• Тест Тьюринга: Вербальное поведение как признак интеллекта (The Turing Test)⁠
• Информация: История, теория, потоки (The Information)⁠
• Радикальные рынки: искоренение капитализма и демократии ради справедливого общества (Radical Markets)⁠

Мы также компенсируем разумные расходы на самообразование — такие как покупка книг и оплата услуг репетиторов (в основном используемые для изучения основ математики). Эти затраты — весьма окупаемые инвестиции!

Как мы поддерживаем эту практику

Эффект от Дня обучения достигается благодаря строгому подходу к тому, как люди его используют. Это не день отдыха, а день определенного вида упорного труда. Мы отслеживаем и стараемся пресекать следующие негативные сценарии, чтобы поддерживать эту практику в долгосрочной перспективе:

День обучения могут использовать для обычной работы. День обучения может превратиться в обычный рабочий день, поскольку люди могут захотеть быстрее завершить свой основной проект (из-за внутреннего или внешнего давления). Мы предотвращаем это, проводя День обучения в один и тот же день для всех команд. Это создает здоровое давление со стороны коллег и побуждает каждого воспользоваться преимуществами Дня обучения.

День обучения может выйти за рамки отведенного времени. На самом деле мы еще не наблюдали такого. Судя по нашему опыту работы с другими организациями, скорее всего, это означало бы, что человек недостаточно увлечен своим основным проектом, и стало бы для руководителя сигналом о том, что сотруднику стоит сменить команду или проект.

День обучения могут использовать для отдыха. Наше решение заключается в том, чтобы каждый участник команды делился своим прогрессом в Slack с помощью Geekbot⁠. Это поддерживает высокий уровень вовлеченности и служит механизмом подотчетности.

День обучения за пределами робототехники

Недавно мы распространили День обучения с небольшой группы технических команд на всю компанию. Он стал элементом нашей корпоративной культуры — по результатам нашего последнего внутреннего опроса, День обучения оказался тем аспектом культуры, о котором сотрудники отзывались больше всего. Мы рады видеть его влияние и продолжим развивать и поддерживать День обучения в будущем.