Китайский ИИ – садовник против леса
В сентябре прошлого года уволился глава отдела программного обеспечения Пентагона Николас Чайлен. В своём ставшем знаменитом письме он громко хлопнул дверью, заявив, что «в противоборстве искусственных интеллектов Америка обречена».
А на прошлой неделе мир облетела статья под громким заголовком «Китайский суперкомпьютер достиг мирового превосходства с ИИ нейросетью уровня человеческого мозга».
Китайский ИИ уже победил?
В среду в South China Morning Post — главном рупоре Китая, вещающем на внешний мир — вышла статья «China supercomputer achieves global first with «brain-scale» AI model». В ней было объявлено, что Китай создал BaGuaLu — ИИ нейросеть, обладающую 175 триллионами синапсами нейронов (также называемых параметрами), что сравнимо с количеством синапсов нейронов в человеческом мозге. Для сравнения, до этого самой мощной нейросетью в мире был Switch Transformer, которую Google Brain смог натренировать лишь на 1.6 триллионов синапсов.
Означает ли бунт от бессилия в Пентагоне и приближение Китая к возможностям человеческого мозга, что ML-инженерам и прочим «дата-сатанистам» нужно срочно учить китайский и переходить с Tensorflow, Keras и прочих AWS на что-нибудь другое? Что нам всем пора готовиться к приходу китайского искусственного интеллекта? Что Китай будет владеть миром?
В последние пять лет автор статьи участвовал в запуске двух ИИ-стартапов — одного в Китае и одного на Западе. Понаблюдав за битвой с обеих сторон, автор пришёл к заключению, что столкновение китайского и западного ИИ — это битва садовника и дикого леса.
Так кто победит?
ИИ в Китае
Что такое Китай? Суперконцентрированное общество, 1.4 млрд человек, крупнейшая в мире онлайн-коммерция, крупнейшие в мире социальные сети. Всё вместе это значит одно — данные. Люди — это источник данных, а данные — это топливо для двигателя ИИ.
Уже сейчас достижения китайцев в ИИ колоссальны. По разным оценкам, в денежном выражении китайский рынок ИИ сейчас составляет порядка $30 млрд в год или около трети мирового рынка. Но деньги — лишь вершина айсберга. Помимо BaGuaLu, способности которой нам только предстоит увидеть, широко известной стала китайская универсальная нейросеть Wudao, способная общаться на уровне школьника начальных классов и писать художественный текст, неотличимый от человеческого.
Помимо этого, Китай уже давно и прочно лидирует по количеству суперкомпьютеров. Так, из 500 самых мощных суперкомпьютеров в мире 227 расположены в Китае (в США — лишь 118).
Но вершиной китайского ИИ, безусловно, является первый в мире Паноптикон (называемый в Китае социальной кредитной системой). Сведение в одно целое данных социальных сетей, банковских счетов и десятков миллионов уличных камер наблюдения, способных с 99.99% точностью распознать человека даже в маске и капюшоне, позволило Китаю воплотить в жизнь давнюю мечту Джереми Бетхема — систему, где каждый человек без исключения находится под постоянным наблюдением, где каждое отклонение от желаемого поведения, вплоть до перехода улицы в неположенном месте, приводит к автоматическому снижению «социального рейтинга».
Проведя почти пять лет в Китае, автор этой статьи наблюдал за строительством Паноптикона и тем, как, проникая во все сферы деятельности человека, ИИ создаёт общество новой формации — где 1.4 миллиарда человек объединены, управляемы одной ИИ-системой, связаны одной целью.
Паноптикон еще не развернут на всю страну, но это вопрос ближайшего времени. Уже сейчас эффект от внедрения Паноптикона поражает — например, традиционная полиция фактически становится ненужной. ИИ открывает безграничные возможности в управлении группами людей.
Фото: Паноптикон — революционная форма тюрьмы. Заключенные думают, что охранники за ними все время наблюдают, и поэтому ведут себя «правильно». В идеале, Паноптикон может работать без охранников. На фото заброшенная тюрьма на Кубе — до недавнего времени, единственный Паноптикон, построенный в мире.
Посмотрев на достижения китайского ИИ, становится понятно, почему Николас Чайлен уволился из Пентагона. Китай словно создан для ИИ: гигантский объем данных и неограниченные возможности для применения.
Эта война проиграна. Китай победил.
Или…
Пирамида ИИ
ИИ — зверь непростой. Чтобы понять, как он устроен, разложим его на три уровня.
Пирамида ИИ
Уровень 1. Приложения
Приложения — это вершина айсберга. Это то, что мы, пользователи, видим: строка поиска в Яндексе, выбор следующего видео на Ютубе, автоматическое распознавание паспорта в мобильном банке, распознавание препятствий дроном. Да тот же алгоритм в Хабре, решивший, что вы должны увидеть именно эту статью — это тоже приложение, использующее ИИ.
Китай, без сомнений, преуспел в этой области — такие названия, как Tiktok (организация запрещена в России) и DJI известны всему миру. Ну и, конечно, вершина — упомянутый выше Паноптикон.
Однако, чтобы любое приложение работало, у него под капотом должен быть двигатель — нейронная сеть.
Уровень 2. Нейросети
Когда мы, обычные смертные, слышим об очередном достижении ИИ, почти всегда речь идет именно о нейросетях. Дело в том, что компании, которые создают нейросети, заинтересованы в их рекламе, поскольку от этого зависят их бюджеты.
В результате вокруг нейросетей всегда много хайпа.
Недавний пример об отстранении Гуглом программиста, заявившего, что готовящаяся к выпуску нейросеть LaMDA уже обладает интеллектом второклассника, взбудоражил весь мир. Зато теперь мы все знаем о LaMDA, так же как когда-то давно мы узнали о роботе Промобот лишь потому, что прошла новость, что он пытался сбежать (любой, кто видел робота Промобот, например, в отделении Сбербанка, может подтвердить, что последнее на что это устройство способно — это побег).
Но хайп не должен отвлекать нас от главного — нейросети действительно уже прямо сейчас переворачивают мир с ног на голову. На наших глазах стирается грань между органическим и компьютерным разумом.
Стандартная программа ИИ в Стенфорде начинается с создания нейросети «с нуля». Когда на программу попадают нейробиологи, они внезапно понимают, что собираемая ими буквально «на коленке» система из простейших формул релю, танг и прочих сигмоидов фактически работает так же, как и мозг. То, на что у эволюции ушло несколько миллиардов лет, теперь можно собрать за пару минут. Революция свершается прямо у нас на глазах — в нейросетях.
У природы больше нет монополии на разум.
Гонка нейросетей
Сейчас идет гонка нейросетей. В мире есть как минимум с десяток развивающихся независимо друг от друга нейросетей, которые находятся в авангарде, на передовой ИИ. Почти все они нацелены на одну и ту же задачу — общение. Упрощенно говоря, это такие универсальные чатботы. Среди них четыре китайские нейросети — BaGuaLu, Wudao, PanGu Alpha и M6.
Еще несколько недель назад считалось, что Wudao — самая передовая нейросеть в мире. Более того, Wudao одна из первых стала по-настоящему универсальной нейросетью. Это означает, что она способна не только общаться, но и решать другие задачи — например, по словесному описанию создавать неотличимые от реальных фотографии и даже моделировать протеины
NB: любой молекулярный биолог вам скажет: трехмерное моделирование протеинов –, а именно, определение по РНК формы запрограммированного им белка и, соответственно, физических и химических свойств такого белка — это самая сложная и в то же время многообещающая задача, стоящая перед человечеством. Она позволит предсказать свойства белка без необходимости его синтезировать. Станут возможны лекарства и химические вещества, о которым мы даже не подозреваем. И китайская универсальная нейронная сеть обещает скоро решить эту задачу.
Таким образом, создаётся впечатление, что Китай впервые в истории человечества смыкает воедино универсальный разум Wudao и возможность управлять 1.4 млрд людей через Паноптикум.
Значит, Николас Чайлен был прав? Китай победил?
Да.
Ну, почти…
У нейросетей есть несколько интересных особенностей.
Во-первых, нейросеть очень легко скопировать. По сути, это просто файл, в котором описаны структура сети (количество слоев нейронов и их взаимное расположение), а также натренированные веса синапсов между нейронами. По большому счету, нейросеть (как в каком-то смысле и мы сами) — это просто ряды чисел, которые показывают силу связи между любыми двумя нейронами). Т.е. Wudao — это просто файл. Файл, который можно скопировать на флешку и унести с собой. Ну хорошо, на очень большую флешку.
Во-вторых, существуют нейросети, созданные энтузиастами (например, EleutherAI GPT-NeoX), которые распространяются в качестве Open Source: бесплатно, т.е. даром. Да, эти нейросети намного меньше, чем та же Wudao, не говоря уже о BaGuaLu (у GPT-NeoX 20 млрд синапсов, в то время как у BaGuaLu — 175 000 млрд синапсов), но по целому ряду характеристик эти нейросети близки к лидерам. Любой человек уже может использовать эти «натренированные» нейромодели в качестве основы и надстраивать к ним собственные дополнительные этажи интеллекта, затачивая их под конкретные задачи.
Более того, нейросети фактически стали трансформерами, конструкторами ЛЕГО, которые из существующих кусков может собрать любой продвинутый восьмиклассник. Все, что школьнику понадобится — вычислительные мощности, чтобы натренировать модели.
О чём это говорит? Нейросеть как таковая не даёт какого-то долгосрочного преимущества. Она легко копируется и любой прорыв в технологии фактически мгновенно становится всеобщим достоянием. Любой, у кого есть вычислительные мощности, может её воссоздать.
И мы плавно подошли к главному — вычислительным мощностям.
Иными словами — железу.
Уровень 3. Железо (чипы)
Чтобы нейросети работали, они должны располагаться на мощном, современном железе. Без железа, без основания пирамиды, нейросети, как и ИИ в целом, бессмысленны.
Железо для ИИ требуется разное, но самое главное — чипы. Почему? Чипы труднее всего сделать — это самое сложное изделие, которое когда-либо производилось человечеством. Чипы –настоящее бутылочное горлышко всей индустрии ИИ.
И вот здесь нас ждёт удивительное открытие.
Практически все ведущие китайские ИИ-приложения и нейросети работают на западных чипах, на западном железе. Как минимум 215 из 227 китайских суперкомпьютеров работают на процессорах Intel. Есть лишь одна знаменитая китайская нейросеть, натренированная на китайских чипах. И это — как раз та самая BaGuaLu (натренирована на суперкомпьютере Sunway, который использует китайские чипы SW26010). Но к BaGuaLu мы вернёмся чуть позже.
Импорт чипов — это самая большая статья импорта Китая, превосходящая даже нефть. Каждый год Китай закупает чипов на 150 млрд долларов.
Чтобы «слезть с чиповой зависимости», последние десять лет Китай отчаянно пытается создать собственные чипы. По разным оценкам, с 2014 года лишь государством напрямую в это были инвестированы 123 млрд долларов.
Что было достигнуто?
Посмотрев на голые цифры отчетов, мы увидим, что в 2021 году Китай занимал порядка 11% мирового рынка чипов (полупроводников). Однако, если мы всмотримся в эти цифры, мы увидим, что все китайские чипы производятся по устаревшим технологиям 28нм и выше. Это те чипы, которые в наши дни устанавливаются в стиральные машины, автомобили и пылесосы.
Да, в 2020 году китайской SMIC была произведена опытная партия 14nm на 70 млн долларов. Но после того, как в декабре 2020 года компания попала в «entity list» США, производство, судя по всему, пришлось свернуть.
Таким образом, на данный момент Китаю удалось наладить производство процессоров лишь по технологии 28нм, а это технологии 2011 года. Для ИИ они неприменимы, хотя в далеком 2016 году был прецедент, когда Гугл использовал технологию 28нм для создания ИИ процессора первого поколения (TSU). Но сейчас это уже каменный век.
График: эволюция чипов различных технологий (process/technology node)
Современные ИИ используют чипы как минимум 16нм.
Вы спросите, а как же тогда удалось создать BaGuaLu, самую большую нейросеть со 175 триллионами синапсами нейронов? Ведь тренировать такую гигантскую нейромодель на 28нм процессорах — это то же самое, что строить авианосец на угольном двигателе. И вот здесь на помощь приходит официальная статья команды разработки BaGuaLu. Оказывается, модель ещё не натренирована. Фактически новость состояла в том, что, по оценке команды разработчиков, тренировка такой модели стала возможной. Хайп.
На сегодняшний день в производстве чипов Китай отстаёт на четыре, или даже пять поколений. Собственных чипов, пригодных для ИИ, у Китая нет.
Таким образом, если на вершине и в середине пирамиды ИИ Китай занимает ведущие позиции (Паноптикон, Wudao), то в основании пирамиды Китай отстает. И отстаёт намного. Сейчас китайский ИИ — колосс на глиняных ногах.
Так почему Китай так отстал, и, главное, сможет ли он наверстать?
Садовник против леса
Китай отстаёт по той же причине, по которой садовник никогда не сможет вырастить дикий лес.
Чтобы пояснить этот феномен, обратимся к личному опыту автора. В последние пять лет наша команда участвовала в запуске двух ИИ-стартапов. В Китае и в Австралии (на условном «Западе»). «Китайский» стартап использовал компьютерное зрение (т.е. ИИ) для управления трафиком в торговых моллах, в то время как «западный» стартап использовал компьютерное зрение для управления медсестрами и медперсоналом в больницах и домах престарелых. Иными словами, обе системы использовали облачные ИИ-нейронные сети для распознавания изображений в целях управления поведением людей.
Что было дальше?
В случае с китайским стартапом дело застопорилось чуть ли не в самом начале, на этапе MVP, когда выяснилось, что даже для пробной установки системы в выбранном торговом центре потребуется не просто лицензия, а многоуровневое согласование с бесконечным множеством государственных органов, которые все в итоге упирались в государственную Alibaba Cloud, обладающую монополией на компьютерное зрение в публичных местах. Официально, система называется Smart City Brain. Де-факто — это часть Паноптикона.
В Австралии же государственное регулирование ИИ фактически отсутствовало. Менее чем за год работающая система была установлена в первом государственном госпитале, получена лицензия TGA (аналог американской FDA), и даже получена национальная награда. За четыре года государство фактически ничем не пыталось нам воспрепятствовать, и даже где-то помогало.
Стратегия садовника
Китай хорошо понимает, как ИИ меняет механизмы управления людьми — то, как люди получают информацию и принимают решения. Теперь не государство, а алгоритм решает, что вы увидите завтра утром в новостях. Алгоритм определяет, кто будет управлять людьми. Поняв это, Илон Маск купил Твиттер. Китай же всё понял уже давно, и поэтому с самого начала появления ИИ жестко его регулировал.
Китай создал так называемую «Великую ИИ-команду» (人工智能国家队) — для каждой области ИИ властями была выбрана компания, которая «ответственна» за неё. Например, за беспилотники отвечает Baidu, за Панаптикон — Alibaba, за медицину — Tencent. Всего таких «ИИ-чемпионов» пятнадцать.
В сфере ИИ Китай похож на садовника — он решает, что будет расти в его саду, а что следует прополоть. И затем щедро поливает финансированием, окучивает и защищает от вредителей. Подобная стратегия позволяет быстро достичь впечатляющих результатов — быстро вырастить дерево (Wudao, M6), собрать большой урожай (Wechat, Паноптикон).
На Западе же ИИ — это дикий лес. Все растёт как сорняк. Большинство ростков отмирает и высыхает, так и не пробившись к свету. Но то, что доказывает свою работоспособность, выживает, получает финансирование от частного капитала и затем покупается большими игроками. Теория Дарвина в действии.
Стратегия садовника позволила Китаю добиться колоссальных успехов на вершине пирамиды — в приложениях и нейросетях. Там, где нужно решить кого прополоть, а кого полить, удобрить и оставить жить, рождаются такие гиганты, как Wudao, Alibaba и многие другие. Но почему этот садовник пока не смог ничего создать в основании пирамиды — в железе, в чипах?
Стратегия дикого леса
Мы привыкли воспринимать дикий лес как нечто простое и само собой разумеющееся. Но на самом деле, дикий лес — это переплетение бесчисленных взаимосвязей и зависимостей. Грибам нужны бактерии. Дубу нужны грибы, чтобы перерабатывать органику. Белке нужен дубовый желудь. Дубу же белка нужна, чтобы она, где-нибудь закопав желудь, забыла о нём, тем самым дав жизнь новому дубу. Таких взаимозависимостей в диком лесу мириады, и ни один садовник, как бы он ни хотел, не смог бы их воссоздать.
Садовнику не по силам создать дикий лес.
Что такое чипы?
Современные чипы — это одно из самых сложных устройств, созданных человечеством. Фабрика по производству чипов по своей сложности сравнима с адронным коллайдером и термоядерным токамаком, если не превосходит их. Стоимость одной современной фабрики по производству чипов достигла 10 млрд долларов.
Создание чипа — это производство с более чем 700 процессами, которое занимает три месяца. Оборудование состоит из более чем 300 видов устройств, каждое из которых стоит миллионы долларов за штуку. Некоторые устройства стоят более 100 миллионов долларов за штуку. Каждое из этих устройств производится сторонними компаниями и каждое развивается по собственной эволюционной логике, зачастую тесно переплетенной с эволюцией других вовлеченных технологий. И каждая из этих компаний зависит ещё от тысяч промежуточных поставщиков и производителей, каждая из которых — тоже сложная система.
И все это постоянно эволюционирует. Перемешивается. Становится сложнее. Бурлит, словно суп на плите.
Помимо этого, уменьшение размера кратно увеличивает сложность и стоимость таких систем — на масштабах менее 7нм уже нужно учитывать квантовые эффекты. С каждым шагом количество и сложность вовлеченных технологий и поставщиков увеличивается кратно. Например, если разработка одного чипа на 28нм стоила всего пятьдесят миллионов долларов, то разработка одного чипа в 3нм стоит миллиард.
Производство чипов — это сложнейшая экосистема. Эта не сад. Это дикий лес. И садовник не может воссоздать его, сколько бы он его ни удобрял и не поливал.
Чтобы вырастить дикий лес или создать чипы, нужно отпустить природу на самотек. А это то, чего Китай себе позволить не может.
Это одна из тех битв, исход которых предрешен ещё до начала.
Подпишитесь на телеграмм канал: https://t.me/wtopchiev.
Автор титульной иллюстрации: Rimma_arty
