Почему рост нейросети меняет её поведение: физик сравнил ИИ и законы сложных систем
Точка зрения «More is Different», сформулированная физиком Филипом Андерсоном в 1972 году, утверждает, что свойства сложных систем нельзя напрямую вывести из законов, описывающих их элементарные компоненты. В новой работе профессор Идо Кантер (Ido Kanter) из Университета имени Бар-Илана в Израиле проверил, как эта идея проявляется в современных системах искусственного интеллекта, и сопоставил их с физическими системами.
Исследование рассматривает поведение нейросетевых моделей с точки зрения теории информации. В центре анализа — внутренние элементы модели, называемые узлами (nodes), и их вклад в выполнение общей задачи. Кантер сравнивает, как информация распределяется в таких системах по мере увеличения их масштаба.
В работе показано, что по мере обучения нейросети её узлы перестают выполнять одинаковые функции и начинают «специализироваться». Отдельные узлы фокусируются на распознавании конкретных паттернов или языковых особенностей. Такая специализация приводит к распределению функций внутри системы и формированию некоторой кооперации между элементами.
Иллюстрация: SoraПо словам Кантера, «даже один узел внутри языковой модели может содержать значимую информацию о задаче, однако при совместной работе узлов их возможности превышают сумму индивидуальных вкладов». Это поведение он описывает как проявление эмерджентности (возникновения новых свойств системы за счёт взаимодействия её частей), соответствующее принципу «больше — значит иначе».
Для физики, согласно результатам работы, характерна другая картина. Во многих физических системах отдельные компоненты отражают ту же информацию о состоянии системы, что и совокупность компонентов. Добавление новых элементов не увеличивает объём информации о системе, что Кантер описывает как «больше — это то же самое».
Автор также связывает полученные результаты с нейробиологией. Ссылаясь на экспериментальные данные о дендритном обучении (механизм обработки сигналов в нейронах), он предполагает, что биологический мозг может использовать более специализированные и информационно насыщенные элементы, чем считается.
В работе делается вывод, что эффективность систем искусственного интеллекта определяется не только их масштабом, но и способностью внутренних компонентов специализироваться и взаимодействовать. Такой подход позволяет количественно описать различие между физическими и искусственными системами и уточняет роль эмерджентных свойств в формировании интеллекта.
© iXBT
