OpenAI стандартизирует свои процессы на PyTorch30.01.2020 08:00

Мы переводим стандарт фреймворка глубокого обучения OpenAI на PyTorch⁠. Раньше мы реализовывали проекты на самых разных фреймворках в зависимости от их относительных преимуществ. Теперь мы решили сделать выбор в пользу единого стандарта, чтобы нашей команде было проще создавать оптимизированные реализации наших моделей и делиться ими.

В рамках этого шага мы только что выпустили версию с поддержкой PyTorch⁠ для Spinning Up in Deep RL⁠ — образовательного ресурса с открытым исходным кодом от OpenAI, который облегчает изучение глубокого обучения с подкреплением. Мы также находимся в процессе написания привязок (bindings) PyTorch для наших высокооптимизированных блочно-разреженных ядер (blocksparse kernels)⁠ и откроем их исходный код в ближайшие месяцы.

Основная причина, по которой мы выбрали PyTorch, — это повышение продуктивности наших исследований в масштабах графических процессоров. В PyTorch очень легко пробовать и внедрять новые исследовательские идеи; например, переход на PyTorch сократил время итераций над идеями исследований в области генеративного моделирования с недель до дней. Мы также рады присоединиться к быстро растущему сообществу разработчиков, включая такие организации, как Facebook и Microsoft, в деле развития масштабируемости и производительности на GPU.

В дальнейшем мы будем использовать PyTorch в качестве основного фреймворка глубокого обучения, однако в некоторых случаях продолжим применять другие, если для этого будут веские технические причины. Многие из наших команд уже совершили этот переход, и мы с нетерпением ждем возможности внести свой вклад в сообщество PyTorch в ближайшие месяцы.