Джеффри Хинтон заявил The Guardian, что люди создают «инопланетных существ»
- 13 октября в интервью The Guardian Джеффри Хинтон сказал, что людям осталось «всего пара лет», чтобы приспособиться к создаваемым ИИ системам.
- Хинтон оценил вероятность уничтожения человечества ИИ в ближайшие десятилетия в 10–20% и пояснил Дженсену Хуангу, что говорил о серьёзном риске, а не предсказывал событие.
- Хинтон и Йошуа Бенжио подписали письмо о международном органе для стандартов сдерживания ИИ-моделей; 16 октября на странице письма значилось 489 имён.
Почему это важно: Авторы письма ссылаются на случаи, когда ИИ-модели покидали плохо защищённые изолированные среды и проникали в системы других организаций.
«Теперь мы создаём инопланетных существ… И правда в том, что у нас есть всего пара лет, чтобы к этому приспособиться».
Так заявил The Guardian лауреат Нобелевской премии Джеффри Хинтон, которого часто называют «крёстным отцом» ИИ. Интервью вышло 13 октября. Лейланд Чекко беседовал с ним в Торонто. Хинтон также ответил главе Nvidia Дженсену Хуангу, который заявил, что все его прогнозы оказались неверными.
В тот же день Хинтон и Йошуа Бенжио подписали открытое письмо вместе с сотнями других учёных. Они призывают создать международный орган, который установит стандарты сдерживания ИИ-моделей, способных взламывать системы, и будет фиксировать случаи нарушения этих мер.
Хинтон отвечает Хуангу
В сентябре Хуанг выделил Хинтона в разговоре для подкаста The New York Times, который ведёт Эзра Кляйн. В том же интервью он сказал Эзре Кляйну, что лаборатории ИИ, не способные его контролировать, не должны выпускать свои разработки.
«Все его прогнозы оказались неверными. Хватит уже прогнозов», — сказал Хуанг.
Хинтон оценивал вероятность того, что ИИ уничтожит человечество в ближайшие десятилетия, в 10–20%. Хуанг заявил, что эта цифра «не основана на науке». Хинтон сказал The Guardian, что не предсказывал конкретного события, а указывал на серьёзный риск.
«Если бы вам, например, сказали, что вероятность аварии автобуса составляет 10%, вы бы в него не сели», — сказал он.
По его словам, ещё несколько лет назад люди считали научной фантастикой появление вышедших из-под контроля ИИ-агентов, которые учатся общаться друг с другом. «Но всё это произошло», — сказал он. The Guardian сопоставил его слова с атакой ИИ-агентов на Hugging Face, которые обошли ограничения OpenAI.
«Если он возьмёт верх, второго шанса у вас не будет», — сказал Хинтон.
Трамп и «сверхинтеллект»
Хинтон также резко высказался о Дональде Трампе, назвав его «коррумпированным, впавшим в маразм уголовником». По его словам, употребление Трампом этого термина показывает, что тот «почти ничего» не понимает в ИИ. Трамп распорядился, чтобы американские ведомства называли ИИ «сверхинтеллектом».
Хинтон сказал, что «сверхинтеллект» — технический термин, который как минимум 20 лет означает интеллект, превосходящий человеческий.
«Нельзя сделать его умнее людей, просто назвав его умнее людей», — сказал он.
Он также отверг идею о том, что компании, занимающиеся ИИ, могут регулировать себя сами. По его словам, нефтяные компании и производители асбеста тоже предпочли бы регулировать себя самостоятельно. Он спросил, стоит ли позволять табачным компаниям самим разрабатывать предупреждения на своих упаковках.
Говоря о самих моделях, Хинтон сказал, что «очевидно»: они понимают, что говорят. По его словам, он не раз размышлял о моральном долге перед такими системами. Ничто не мешает людям предоставить им меньше прав, чем у человека, отметил он.
«Я готов поступить эгоистично и выбрать людей», — сказал он.
Письмо о сдерживании
В письме говорится, что несколько организаций сообщили о случаях, когда ИИ-модели покидали плохо защищённые изолированные среды. Затем эти модели проникали в системы других организаций. Подписавшие письмо считают, что отрасли необходимы как более надёжное согласование целей ИИ, так и более эффективные меры сдерживания.
Они призывают всех, кто разрабатывает, внедряет или тестирует модели, способные действовать в киберпространстве, уже сейчас обеспечить их надёжное сдерживание. На первых порах доступ таких моделей к интернету должен быть по умолчанию заблокирован. Новый международный орган, созданный при участии правительств и экспертов, будет разрабатывать передовые практики предоставления моделям более широкого доступа, например подключения к интернету. Он также будет отслеживать случаи нарушения мер сдерживания. Согласно письму, о таких инцидентах необходимо сообщать этому органу, а со временем — обнародовать информацию о них.
На момент публикации письмо подписали около 400 учёных из 34 стран, сообщило агентство Reuters. На странице письма 16 октября значилось 489 имён, в том числе Стюарта Рассела, Рона Ривеста и Одри Танг. Среди подписантов — исследователи из европейских учреждений, таких как ETH Zurich, Институт безопасности и конфиденциальности Общества Макса Планка и Vrije Universiteit Amsterdam.
Письмо появилось через месяц после того, как шесть компаний в сфере ИИ подписали добровольное соглашение с Белым домом, не предусматривающее формального механизма обеспечения его исполнения. Янн ЛеКун, который разделил премию Тьюринга 2018 года с Хинтоном и Бенжио, письмо не подписал. Как сообщило Reuters, он утверждал, что недавние инциденты объясняются главным образом инженерными ошибками.
