Машинное обучение загрязняет атмосферу сильнее, чем автомобили и самолеты
Исследователи Массачусетского университета предупреждают о теневой стороне искусственного интеллекта в новой работе: необходимый для тренировки модели объем вычислений требует огромного количества энергии и вызывает выброс углекислого газа в атмосферу. Цифры, которые приводят авторы, показывают, что обучение одной модели обходится человечеству дороже, чем эксплуатация пяти автомобилей.
Объектом исследования стала группа алгоритмов искусственного интеллекта, созданных для задач, связанных с обработкой естественного языка: машинный перевод, анализ и генерирование текста. Для эксперимента ученые отобрали четыре модели последних лет, которые дали максимальный скачок в производительности: Transformer, ELMo, BERT и GPT-2. Модели запускались на отдельных графических процессорах, чтобы замерить расход мощности. Далее, используя информацию о продолжительности обучения, исследователи рассчитали общий объем энергии, потребляемой каждой из программ, и количество углекислого газа, которое выделилось в процессе.
Результаты показали, что влияние машинного обучения на экологию сильно варьирует в зависимости от сложности модели и числа параметров. Например, для модели Transformer обучение на 65 млн параметров вызывает выброс объемом примерно в 11 кг, когда же количество параметров возрастает до 213 млн, выделяется уже 87 кг вредных для окружающей среды веществ. Также большое значение имеет то, используется ли нейронная архитектура для оптимизации работы и повышения точности результатов. По расчетам авторов, именно процессы тюнинга и корректировки настроек потребляют больше всего энергии.
Чтобы дать читателям возможность в полной мере оценить, чего нам стоит разработка новых алгоритмов, исследователи приводят несколько сравнений с другими хорошо известными источниками загрязнения. Так, без применения нейросетей наиболее затратная модель BER равнозначна по степени воздействия на окружающую среду перевозке одного пассажира на самолете из одного конца США в другой. Модель Transformer с оптимизацией нейронным поиском и максимальным числом параметров дает такой же выброс углекислого газа и эквивалентов как полный жизненный цикл пяти автомобилей, включая производство и весь срок службы.
Источник: MIT Technology Review
Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу. В дальнейшем они, как правило, дорабатываются и проходят дополнительное обучение на новом материале, производя все больше и больше выбросов. Динамику этого процесса еще предстоит изучить.
В заключение, признавая, что процесс создания и совершенствования компьютерного разума не может и не должен останавливаться, исследователи указывают на необходимость более ответственного и разумного подхода к использованию существующих ресурсов. «Многие исследования в сфере искусственного интеллекта не принимают во внимание фактор эффективности, — поясняет Карлос Гомез-Родригез, ученый, задействованный в проекте, — ведь сейчас у компаний и организаций есть широкий доступ к очень крупным нейросетям, которые рассчитаны на самые разнообразные задачи и могут дать им конкурентное преимущество». Исследователи надеются, что проведенный ими анализ побудит разработчиков изменить некоторые практики, в частности отказаться от ресурсозатратных методов оптимизации, которые дают незначительный эффект.
