Исследователи из Массачусетского университета представили новую архитектуру ИИ, способную резко снизить энергопотребление вычислений
Учёные из Университета Массачусетса представили новую архитектуру искусственного интеллекта, которая, согласно опубликованному в журнале Nature Communications исследованию, может радикально снизить энергопотребление современных вычислительных систем без потери их вычислительных возможностей.
Работа команды под руководством профессора Хавы Зигельман (Hava Siegelmann) направлена на решение двух ключевых проблем современных ИИ-систем: чрезвычайно высокого энергопотребления и ограниченной способности к непрерывному обучению в реальном времени. Вместо стандартного подхода, при котором модель проходит фиксированную фазу обучения, а затем используется в режиме инференса, новая архитектура предполагает постоянное адаптивное обучение по мере поступления данных.
Зигельман отмечает, что современные модели искусственного интеллекта остаются крайне ресурсоёмкими: несмотря на их возможности, они требуют огромных вычислительных мощностей и энергозатрат. В противоположность этому человеческий мозг, содержащий примерно 86 миллиардов нейронов и потребляющий около 20 ватт энергии, демонстрирует сопоставимую сложность поведения при несоизмеримо меньших энергетических расходах.
Изображение сгенерировано: Nano BananaКлючевое отличие заключается в принципе работы мозга: он функционирует асинхронно, активируя лишь небольшие группы нейронов в конкретный момент времени. Современные же нейросетевые модели, включая крупные языковые системы, используют синхронную схему вычислений, где миллионы параметров обновляются одновременно под управлением глобального тактового цикла. Это обеспечивает стабильность обучения, но требует значительных энергозатрат.
Попытки перейти к асинхронным спайковым нейронным сетям ранее сталкивались с проблемами обучения: такие системы хуже поддаются оптимизации по сравнению с методами градиентного спуска и обратного распространения ошибки, которые лежат в основе современных глубоких моделей.
Разработанная в Массачусетском университете архитектура получила название ANT (Asynchronous Neural Turing networks). Она объединяет преимущества асинхронной обработки с возможностью дифференцируемого обучения, сохраняя совместимость с современными методами оптимизации.
По словам Зигельман, ключевая задача заключалась в том, чтобы отказаться от глобального синхронизирующего «тактового сигнала», не потеряв при этом вычислительную мощность и адаптивность системы. В рамках предложенного подхода обновляются только те части сети, которые необходимы для конкретного вычислительного шага, что потенциально позволяет снизить энергопотребление на порядки.
Исследователи подчёркивают, что в теоретическом смысле ANT может достичь вычислительной мощности традиционных цифровых систем и современных нейросетей, при этом работая значительно эффективнее.
Работа опирается на более ранние теоретические результаты Зигельман, включая её доказательство 1995 года о том, что рекуррентные нейронные сети обладают вычислительной мощностью, эквивалентной машине Тьюринга.
Сейчас команда продолжает дорабатывать архитектуру, повышая её энергоэффективность и расширяя возможности непрерывного обучения в реальном времени. Исследователи рассматривают потенциальное применение технологии в робототехнике, периферийных вычислениях, автономных транспортных системах и других сценариях, где энергопотребление является критическим ограничением.
Если подход ANT окажется масштабируемым, то он сможет сместить акцент в развитии ИИ с гонки за увеличением моделей на поиск более физиологически и энергетически эффективных архитектур, приближающих вычислительные системы к принципам работы биологических нейросетей.
© iXBT
