Протестующие пчёлы и стохастические попугаи: дайджест публикаций с критикой и поддержкой развития AI
В последние недели активизировались противники и сторонники искусственного интеллекта. Сначала институт Future of Life, заручившись почти тысячей подписей таких специалистов, как Илон Маск и Стив Возняк, опубликовал свой взгляд на угрозы, которые потенциально могут исходить от AI, и предложил взять на полгода паузу в обучении систем генеративного AI. Потом Элиезер Юдковский заявил, что это всё полумеры, и эксперименты с искусственным интеллектом надо вообще запретить. Затем группа специалистов по этике AI раскритиковала обращение Future of Life. Следом начали высказываться другие люди, к чьему мнению прислушиваются: Билл Гейтс, Сэм Альтман, Эрик Шмидт, Ноам Хомский. Пчёлы опять выступают против мёда? Или пчёлы агитируют за свой улей?
Не претендуя на глобальные обобщения, в этом дайджесте я хотела собрать интересные публикации, которые бы просто помогли составить общее представление о развернувшейся сейчас дискуссии.
Всё началось с письма Future of Life. Его авторов беспокоило то, что человечество настолько разогналось в совершенствовании AI, что рискует потерять контроль над ним: «Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а риски — управляемыми». Письмо на сегодняшний день подписали более 50 тыс. человек, список пока не отражает всех отметившихся: из-за того, что авторы не ожидали такого наплыва желающих оставить свою подпись рядом с подписью Маска и Возняка, верификация идёт очень медленно.
Институт Future of Life для того и создавался — чтобы выступать с подобными предостерегающими заявлениями. Его основатели всегда говорили, что миссия института — снижение риска техногенных катастроф, которые могут устроить сверхразвитые технологии. Илон Маск, кстати, упоминался в качестве советника Future of Life.
Преимущества и риски искусственного интеллекта
Future of Life не в первый раз высказывается подобным образом: его эксперты периодически разбирают те или иные техногенные риски, в том числе, риски, связанные с AI. Ещё в 2015 году одна из публикаций института с разбором угроз, исходящих от AI, была достаточно дальновидна: «В то время как научная фантастика часто изображает AI как робота с человеческими характеристиками, он может оказаться чем угодно, от поисковых алгоритмов Google до IBM Watson или оружия». Тогда главными угрозами считались две: что AI будет запрограммирован на разрушительные действия; или что AI будет запрограммирован делать что-то полезное, но использует разрушительный метод для достижения своей цели. Самое интересное в этой публикации — связанный с проблемами искусственного интеллекта огромный список с ссылками на работы исследователей, публикации в масс-медиа, уже вышедшие книги и созданные общественные организации и институты. Десятки ценных строчек.
Кстати, тогда же, в 2015 Future of Life предоставил трибуну Стивену Хокингу и опубликовал вопросы-ответы из его AMA-сессии (Ask Me Anything) на Reddit: Хокинг AMA на Reddit об искусственном интеллекте. Хокинг тогда говорил, что сверхразумный AI будет чрезвычайно хорош в достижении своих целей, и если эти цели не совпадают с нашими, человеческими, у нас будут проблемы.
Полная версия всё ещё доступна на Reddit. Она содержит тысячи комментариев и один комичный диалог с Хокингом, не включённый в публикацию на Future of Life: кто-то пытался напомнить Хокингу, как он задержался на 5 минут в своей коляске рядом с видеопрокатом, в то время как автор вопроса, тогда ещё ребёнок, смотрел фрагмент из «Мира Уэйна 2». Вся его семья потом запомнила «Мир Уэйна 2» как кино, которое смотрит сам Хокинг. Только Хокинг ничего такого вспомнить не мог — ни фильма, ни мальчика. На Reddit веселились.
Всё-таки вернусь к сегодняшнему дню. Почему Future of Life выпустил своё письмо именно сейчас? В публикациях в масс-медиа причиной возмущения техновизионеров называют последнюю исследовательскую работу Microsoft.
Искры общего искусственного интеллекта
Это доклад 14 исследователей, который так здорово срезонировал. Среди тех, кто активно работал над этим докладом — Эрик Хорвиц, главный научный сотрудник Microsoft. Кстати, в 2018 году автопилот его Tesla не справился с управлением, но Хорвиц всё равно выступает за развитие искусственного интеллекта. Пожалуй, единственное, что его беспокоит — дипфейки.
На 155 страницах исследователи рассказывают о своих последних тестах GPT-4 и заявляют, что эта языковая модель »удивительно близка к человеческому уровню». Авторы использовали термин AGI, и пожалуй, впервые это прозвучало не «теоретически» или «гипотетически». GPT-4 предложили рассматривать как раннюю, всё ещё неполную, но версию системы общего искусственного интеллекта.
Приостановки разработки AI недостаточно. Нам нужно всё закрыть
Знаменитый критик AI Элиезер Юдковский не подписался под обращением Future of Life. Почему? Он считает, что авторы преуменьшают опасности искусственного интеллекта: «Вероятный результат противостояния человечества сверхчеловеческому разуму — полное поражение. 10-летний ребенок, пытающийся играть в шахматы против Stockfish 15. Австралопитек, пытающийся бороться с Homo sapiens». Юдковский продолжает свою тему: развитый AI не будет долго оставаться привязанным к компьютерам, он сможет создавать искусственные формы жизни или сразу переходить к постбиологическому молекулярному производству. Поэтому Юдковский предлагает прикрыть все эксперименты с искусственным интеллектом и бомбить те центры обработки данных, которые продолжат исследования.
Заявление авторов «Стохастических попугаев» по поводу письма «Приостановите эксперименты с AI»
После громкого призыва института Future of Life приостановить на полгода обучение генеративных языковых моделей, высказалась вторая группа экспертов — по этике AI. Они стали известны благодаря научной публикации с заголовком, который отлично подходит альбому инди-группы: «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?». После чего двух авторов исследования, Маргарет Митчелл и Тимнит Гебру, уволили из Google. В настоящее время все они работают в DAIR Institute, ещё одном исследовательском центре, который создали для изучения, выявление и предотвращение вреда, который может причинить AI.
Эта группа учёных спорит с письмом Future of Life и называет опасной идеологию «долгосрочной перспективы», которой придерживаются критики AI. По мнению оппонентов Маска, Возняка и компании, они игнорируют реальный вред, причиняемый искусственным интеллектом уже сегодня.
Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?
С чего всё начиналось. Эта работа наделала много шума два года назад, и её авторы продолжают напоминать о себе и о том, что они считают главными опасностями искусственного интеллекта. Термин «стохастические попугаи» придумала Эмили М. Бендер, лингвист, профессор Стэнфордского университета. Она же использовала притчу про осьминога, который выдаёт себя за человека, для объяснения бессмысленности и несовершенства работы AI-систем.
По мнению Бендер, стохастический попугай — это сущность, «предназначенная для бессистемного связывания между собой последовательных лингвистических выражений на основе вероятности, что они связаны между собой, но без привязки к смыслу».
Авторы научной работы, в название которой залетел попугай, считают, что постоянно увеличивающиеся объёмы обучающих данных усугубляют социальные и экологические проблемы «здесь и сейчас». Большие вычислительные мощности используют много энергии, что ведёт к деградации окружающей среды. Причём страдают от этого не инженеры-компьютерщики, а маргиналы. Ещё один риск, по мнению авторов статьи, исходит от самих обучающих данных: набравшись информации из Интернета, генеративные языковые модели могут подхватить все экстремистские идеологии разом.
Ещё один звучный термин и опасная ассоциация, которую полюбили использовать и сторонники, и противники развития искусственного интеллекта — это «Проект Манхэттен».
Король ChatGPT не беспокоится, но знает, что вы можете быть обеспокоены
Последняя большая публикация, посвящённая генеральному директору Open AI Сэму Альтману, в которой он получил возможность высказаться. Автор статьи как бы между прочим упоминает, что Альтман и Оппенгеймер родились в один день и рассказывает, как Альтман ещё в 2019 году восхищался своим только начинающим жизнь Open AI и проводил аналогии с «Проектом Манхэттен».
Конечно, Альтман заинтересован в том, чтобы работы продолжались: с одной стороны, он как будто разделяет критические взгляды Элиезера Юдковского; с другой — «отстраивается от конкурентов», утверждая, что другие разработчики не думают о безопасности AI (это прозвучало в интервью для ABC News);, а в конце концов, обещает, что с появлением AGI на Земле наступит чуть ли не эпоха всеобщего благоденствия.
Центр человеческих технологий тоже апеллирует к «Проекту Манхэттен», но его эксперты убеждены, что искусственный интеллект опасен так же, как ядерное оружие.
Основатель центра Тристан Харрис — ещё один выходец из Google, и вместе с соавторами он опубликовал дополнение к письму Future of Life. Оно вышло в виде статьи
Вы можете принять синюю таблетку или красную таблетку; и у нас закончились синие таблетки
Авторы обращаются к опросу 2022 года, когда половина из 700 ведущих учёных и исследователей в области AI призналась, что существует как минимум 10-процентная вероятность вымирания человечества (или аналогичного постоянного и серьёзного лишения прав) из-за будущих систем AI. Они считают, что гонка за господство на рынке не должна определять скорость развёртывания наиболее важных технологий человечества. «Мы должны двигаться с той скоростью, которая позволяет нам сделать это правильно».
Кто ещё успел высказаться в эти дни?
Билл Гейтс против приостановки, он убеждён, что она не приведёт к ожидаемым результатам. Сейчас он ограничился комментариями для прессы и предложил сосредоточиться на утилитарных вопросах: как лучше всего использовать достижения AI. Он, как и Сэм Альтман, убеждён, что развитие искусственного интеллекта позволит привести людей к процветанию и гармонии. В конце марта основатель Microsoft выступил с идеалистичным программным заявлением в своём блоге, в котором уравнял по значимости появление компьютеров и нынешние достижения больших языковых моделей
Эпоха ИИ началась
Но раньше, до появления Open AI и её партнёрства с Microsoft, Гейтс был более AI-тревожен. В 2019 году и он сравнивал искусственный интеллект с ядерным оружием, а в 2015 году вместе с Илоном Маском даже подписал ещё одно обращение института Future of Life
Приоритеты исследований для надёжного и полезного искусственного интеллекта: открытое письмо
На Reddit Гейтс тоже общался с аудиторией и был осторожен в высказываниях, посвящённых искусственному интеллекту: «Я нахожусь в лагере, обеспокоенном сверхразумом. Сначала машины будут выполнять за нас большие объёмы работы и не будут суперумными. Спустя несколько десятилетий искусственный интеллект будет достаточно силен, чтобы вызывать беспокойство».
Привет, Reddit, меня зовут Билл Гейтс
Эрик Шмидт, бывший гендир Google, тоже выступил против приостановки, но он всегда пытался усидеть на нескольких стульях: параллельно инвестировал в AI-стартапы и писал регулирующие AI законы. Сейчас он считает, что пауза в обучении генеративных языковых моделей сыграет на руку Китаю.
Китай выиграет гонку AI, если исследования приостановятся: экс-глава Google
Ноам Хомский: ложное обещание ChatGPT
Статья Хомского, написанная в соавторстве с профессором лингвистики Кембриджа Яном Робертсом и философом и AI-специалистом Джеффри Уотумаллом, была опубликована до письма с призывом приостановить обучение языковых моделей. Но аргументы могут быть использованы в споре с теми, кто боится искусственного интеллекта.
Если ChatGPT и схожие с ним разработки будут продолжать доминировать в области AI, то человечеству нечего бояться: «Такие программы застряли в дочеловеческой или нечеловеческой фазе когнитивной эволюции. Глубочайшим их недостатком является отсутствие самой критической способности любого интеллекта: сказать не только, что есть, что было и что будет, — это описание и предсказание, —, но и то, чего нет и что могло бы быть, и даже чего быть не может. Таковы составляющие объяснения, признак истинного разума». Авторы представляют три поколения науки: Хомскому 94, Робертсу 65, Уотумаллу за 30 и они пишут, что могут «только смеяться или плакать над популярностью» генеративных языковых моделей.
