TorchNeuron от Amazon позволяет запускать код PyTorch на чипах AWS Trainium
- Открытая бета-версия TorchNeuron выйдет 20 октября по лицензии Apache 2.0; поддерживаются Trainium2 и Trainium3.
- Чтобы направить существующий код PyTorch на Trainium, достаточно изменить настройку устройства; стандартные средства тестирования и масштабирования продолжают работать.
- Первая версия не поддерживает некоторые возможности PyTorch, включая динамические размеры входных данных; около 22 000 тестов пропускаются.
Почему это важно: Текст отмечает, что перенос ИИ-кода на новый чип раньше мог требовать нескольких месяцев переписывания и тестирования.
Amazon представила TorchNeuron — бэкенд с открытым исходным кодом, который позволяет запускать код PyTorch на ИИ-чипах Trainium, изменив всего одну строку. Публичная бета-версия выйдет 20 октября по лицензии Apache 2.0; поддерживаются Trainium2 и Trainium3. Некоторые возможности PyTorch пока недоступны.
Amazon представила TorchNeuron — инструмент, позволяющий разработчикам запускать уже существующий код PyTorch на ИИ-чипах Trainium без переписывания. Об этом компания сообщила в понедельник. PyTorch — самый широко используемый программный фреймворк для создания ИИ-моделей.
Публичная бета-версия TorchNeuron выйдет 20 октября на конференции PyTorch в Сан-Хосе, говорится в публикации в блоге PyTorch, написанной инженерами Amazon. Инструмент будет распространяться с открытым исходным кодом по лицензии Apache 2.0 и поддерживать Trainium2 и Trainium3.
До сих пор перенос ИИ-кода на новый чип часто требовал нескольких месяцев на переписывание и тестирование. С TorchNeuron разработчикам достаточно изменить настройку устройства, чтобы направить код на Trainium, сообщила Amazon.
В демонстрации Amazon запустила один и тот же скрипт обучения на стандартном чипе и на Trainium и заявила, что модель обучалась с одинаковой скоростью на обоих. Инструмент интегрируется во встроенную в PyTorch систему подключения нового оборудования, поэтому стандартные средства тестирования и масштабирования продолжают работать.
Однако в первой версии есть ограничения. Пока не поддерживаются некоторые возможности PyTorch, например динамические размеры входных данных, а около 22 000 тестов PyTorch пропускаются, говорится в публикации в блоге PyTorch.
Среди первых пользователей — стартапы в сфере голосового ИИ Cartesia и Deepgram, а также Lieber Institute for Brain Development, где инструмент применяют в исследованиях лекарственных препаратов. Hugging Face также добавила поддержку Trainium в свои ИИ-инструменты. Uber недавно договорилась об использовании этих чипов в рамках соглашения о расширении сотрудничества с AWS.
Запуск — часть усилий Amazon по конкуренции с Nvidia, чьи чипы и программное обеспечение CUDA доминируют в сфере ИИ-вычислений. В апреле генеральный директор Amazon Энди Джесси заявил, что бизнес компании по производству собственных чипов может стоить 50 млрд долларов. Сейчас Amazon сообщает, что годовой темп выручки этого направления превысил 25 млрд долларов.
Один из партнёров TorchNeuron по запуску — Decart, стартап, разрабатывающий программное обеспечение для ИИ-чипов, который, как сообщалось, вел переговоры о продаже Amazon.
