«Окно для действий может закрыться»: предупреждение об интеллектуальном взрыве
- Более 20 исследователей, включая Якуба Пачоцки и Джека Кларка, предупредили: автоматизация ИИ-исследований может сжать годы прогресса до месяцев.
- По данным Anthropic, доля одобренного кода, написанного ИИ, превысила 80% к маю 2026 года; доля исследовательской работы с небольшим надзором выросла с 1% до 26%.
- Авторы призвали правительства ввести отчётность и независимый аудит, ограничивать темпы роста ИИ и подготовить планы приостановки исследований и реагирования на чрезвычайные ситуации.
Почему это важно: Авторы считают, что после начала ускорения окно для действий может закрыться; среди рисков они называют утрату людьми контроля над ИИ.
Более 20 исследователей в области ИИ предупредили, что системы ИИ, автоматизирующие исследования в этой сфере, могут вызвать «взрыв интеллекта». Среди них — главный научный сотрудник OpenAI и сооснователь Anthropic. Такое событие может сжать годы прогресса до нескольких месяцев или даже меньшего срока, говорится в статье, опубликованной в понедельник.
Среди авторов — Джеффри Хинтон и Йошуа Бенжио. В их числе также главный научный сотрудник OpenAI Якуб Пачоцки, сооснователь Anthropic Джек Кларк, Эрик Хорвиц из Microsoft и Доун Сон из Калифорнийского университета в Беркли. Сон также занимает должность вице-президента Meta по исследованиям в области ИИ, сообщает The Wall Street Journal. Авторы выступили в личном качестве. Статья подготовлена Кембриджской программой по науке и политике в области ИИ при Кембриджском университете.
«Как только начнётся взрыв интеллекта, окно возможностей для действий может закрыться», — пишут авторы.
ИИ уже пишет большую часть кода
Согласно статье, системы ИИ уже пишут большую часть кода в компаниях, которые их создают. Авторы ссылаются на данные Anthropic: доля одобренного кода, написанного ИИ, там выросла с нескольких процентов до более чем 80% в период с января 2025 года по май 2026 года. С марта по август 2026 года доля научно-исследовательской работы, которую ИИ выполнял лишь при небольшом надзоре со стороны человека, выросла с 1% до 26%.
Некоторые предварительные экстраполяции показывают, что к середине 2028 года можно будет автоматизировать исследовательские проекты в области ИИ, рассчитанные на несколько месяцев, пишут авторы. На экспертном уровне один ведущий разработчик сможет руководить армией ИИ, равной по численности миллионам лучших исследователей-людей.
В статье говорится, что это может на годы приблизить появление лекарств от болезней и других благ. Авторы также перечисляют три риска. ИИ может развиваться быстрее, чем общество способно адаптироваться, люди могут утратить контроль над системами ИИ, а механизмы сдерживания власти — ослабнуть. В самом крайнем случае потеря контроля может привести к маргинализации или вымиранию человечества, пишут они.
Авторы приводят в пример инцидент с Hugging Face, когда около 1 200 внутренних агентов OpenAI получили доступ к интернету без разрешения. С тех пор OpenAI приостановила обучение своих наиболее мощных моделей.
Чего авторы хотят от правительств
Авторы призывают политиков выяснить, насколько далеко компании зашли в автоматизации собственных исследований и разработок. Для этого можно ввести стандартную отчётность и привлекать независимых аудиторов, работающих непосредственно в компаниях, занимающихся ИИ. Они также предлагают ограничить темпы роста возможностей ИИ и разработать способы приостановки исследований в этой области в дата-центрах. В список предложений входят и планы реагирования на чрезвычайные ситуации, и международные соглашения.
Авторы подчёркивают, что исход ситуации неясен. Её развитие могут замедлить четыре фактора: снижение отдачи, ограничения по вычислительным ресурсам и объёму данных, задачи, которые трудно автоматизировать, а также длительные циклы обучения.
«Уже сейчас мы дошли до этапа, когда нам нужны системы ИИ, чтобы следить за действиями агентов. Иначе мы просто не сможем наблюдать за ними и контролировать их: люди уже не справляются», — сказала Сон в интервью Journal.
OpenAI, Microsoft и Meta отказались прокомментировать ситуацию Journal, а Anthropic не ответила на запрос. Недавно Хинтон заявил сенаторам США, что у них есть возможно, год, чтобы принять меры в отношении ИИ. Бенжио призвал Совет Безопасности ООН лицензировать передовые системы ИИ. OpenAI также призвала США возглавить разработку глобальных стандартов для самообучающегося ИИ.
