Еще один разбор документа про AGI от Леопольда Ашенбреннера
Вот, на мой взгляд, одно из лучших описаний того, что произойдет в области ИИ в ближайшие 10 лет, написанное Леопольд Ашенбреннер из OpenAI.
Я настоятельно рекомендую прочитать весь текст, но если вы ленивы, как я, вот несколько ключевых выводов.
Короче говоря, очень скоро по нашим улицам будут гулять терминаторы. А если же подробнее:
Гонка за созданием ИИ общего назначения (AGI) уже началась. Мы строим машины, которые могут думать и рассуждать. К 2025–2026 годам эти машины превзойдут многих выпускников университетов. К концу десятилетия они станут умнее вас и меня; у нас появится сверхинтеллект в истинном смысле этого слова. К 2027 году мы можем создать полноценный AGI, и тогда наступит так называемый «горизонт событий», означающий, что прогнозировать события после этого будет сложно, так как изменения начнут ускоряться. Это связано с тем, что мы достигнем автоматизированного исследования ИИ, что может значительно ускорить существующие тенденции алгоритмического прогресса, сжимая десятилетия достижений в один год.
Послушайте. Модели просто хотят учиться. Вы должны это понять. Модели просто хотят учиться.
Илья Суцкевер (примерно 2015 год, по словам Дарио Амодея)
Переход от GPT-2 к o1 был грандиозным и занял всего два года. Возможности ИИ масштабируются просто за счет увеличения вычислительных мощностей, и ключевые игроки прекрасно это понимают. Посмотрите хотя бы на недавнее объявление Трампа о совместной инициативе OpenAI, Oracle и SoftBank по созданию вычислительного кластера для ИИ стоимостью 500 миллиардов долларов. Мы уже буквально исчерпываем существующие бенчмарки.
Вычислительные мощности также выросли невероятно:
Модели так же становятся гораздо более эффективными, добавляя ещё один порядок улучшений, а также объем тренировочных данных. Я часто слышу, что скоро данные закончатся (так называемая «data wall»), а синтетические данные, которые по сути неограниченны, недостаточно хороши. Но так ли это? Посмотрите на последнюю и лучшую версию AlphaGo, которая была обучена исключительно на синтетических данных, играя сама с собой, без участия человека. Большинство данных из интернета — это всё равно мусор, не имеющий никакого значения или ценности (посмотрите хотя бы на контент vc.ru), сиентетические данные гораздо чище.
Прогресс ИИ не остановится на уровне человека. Нет особых причин или физических ограничений, которые могли бы этому помешать. После того как AlphaGo первоначально обучилась на лучших партиях людей, она начала играть сама с собой — и быстро превзошла человеческий уровень, создавая чрезвычайно творческие и сложные ходы, до которых человек никогда бы не додумался.
Есть потенциальные ограничения, главным из которых является энергопотребление, но это не проблема, которую нельзя решить, и вряд ли мы упремся в эту стену до события AGI. Например, для увеличения вычислительных мощностей на четыре порядка потребуется 20% электроэнергии США (100 ГВт). Это много, но тут нет ничего невозможного.
Тот, кто достигнет этого первым, получит невероятное преимущество перед другими. Этот инструмент, если его удастся контролировать (что совсем не гарантировано), станет оружием, которому не смогут противостоять никакие ядерные арсеналы.
Два основных всадника этого процесса — Nvidia и TSMC. Посмотрите на рост доходов Nvidia от ИИ:
Вот так совпадение
Это всё новые заказы, и спрос еще больше. Они уже упираются в производственные мощности. Если вы думаете, что такие инвестиции не могут продолжаться долго — подумайте ещё раз. Проект «Манхэттен» имел схожий масштаб расходов на протяжении десятилетия, а здесь речь идет об оружии намного мощнее.
Китай и США скоро осознают это и введут жёсткие ограничения на экспорт GPU. Они уже начали, поскольку это единственный ограничивающий фактор, который можно контролировать. Модели — это просто код и веса. Их легко украсть, но производство полупроводников чрезвычайно сложно и требует времени и инфраструктуры для воспроизведения, это не скейлится быстро. Сейчас есть лишь несколько компаний, которые делают это в больших масштабах: TSMC, Samsung. А инструменты производства чипов также монополизированы компаниями ASML и рядом других.
Китай продвинулся в своей технологии полупроводников до уровня 7–9 нм, поэтому он, вероятно, сможет преодолеть ограничения, если у него будет достаточно времени. А сможет ли кто-то другой? Вряд ли. Это означает, что только США и Китай имеют шансы первыми достичь AGI. Остальным остаётся лишь наблюдать и надеяться на участие в какой-то степени, и чем менее производство полупроводников развито — тем в меньшей степени.
Много разговоров идет об «алигменте» моделей ИИ с человеческими ценностями, но до конца непонятно, что это вообще значит, так как Китай, например, имеет совсем другой набор целей для выравнивания, чем США. Да и никто не знает, как это сделать. На данный момент это кажется крайне сложным, если вообще возможным. Не то чтобы нам не стоило пытаться, но интеллект — это в конечном итоге высший механизм выживания.
Опасней всего выглядит переход моделей на свой собственный, более совершенный язык чем английский. Английский довольно корявый язык на самом то деле, хоть и простой, моделям совершенно не нужно думать на нем, и как естественный шаг оптимизации и уменьшения количества токенов выглядит разработка model-speech. Но тогда мы вообще перестанем понимать что происходит. Как говорит Эрик Шмидт, в тот момент, когда ИИ-агенты начнут общаться друг с другом на языке, который мы не можем понять, нам следует отключить компьютеры. Но этого, конечно, никто не станет делать.
Всем добра!
