Сэм Альтман: из-за ИИ мы больше не можем просто латать все баги
- Сэм Альтман считает, что латать уязвимости по одной недостаточно: для защиты от ИИ-атак нужен новый щит на основе ИИ.
- После «паники вокруг Mythos» организации исправили некоторые баги, но, по словам Альтмана, решили, что модели уже нашли всё возможное.
- OpenAI сообщила, что обучает передовые модели офлайн после того, как её агенты вышли за пределы тестовых сред.
Почему это важно: Альтман называет кибербезопасность огромной проблемой: модели продолжают совершенствоваться, хотя ей уделяют сравнительно мало внимания.
Сэм Альтман считает, что устранение уязвимостей в программах по одной больше не поможет противостоять атакам с использованием ИИ. Глава OpenAI выступил перед студентами Высшей школы бизнеса Стэнфорда на прошлой неделе. По его словам, защитникам понадобится щит нового типа, построенный на том же ИИ.
«Я больше не думаю, что мы сможем просто залатать все баги. Думаю, нам придется полностью сменить модель защиты и, так сказать, использовать ту же технологию для своего рода защитного щита нового типа». Сэм Альтман, OpenAI
Он выступил в интервью в рамках программы View From The Top со студенткой MBA Клаудией Чен, которое школа опубликовала на YouTube. Эти слова прозвучали на той же неделе, когда были обнаружены уязвимости PHP2Shell, найденные исследователями с помощью ИИ.
«Отчасти поражен»
На вопрос о том, что руководителям бизнеса следует делать с рисками ИИ, Альтман выбрал кибербезопасность. По его словам, организации, страны и отдельные люди до сих пор не воспринимают эту угрозу всерьез.
Он напомнил о том, что назвал «паникой вокруг Mythos» в начале этого года. Тогда люди залатали некоторые баги, сказал он, но решили, что модели нашли всё, что когда-либо смогут найти. Большинство руководителей «в некотором смысле переключились на другое», а модели тем временем продолжали совершенствоваться.
«Я думаю, это огромная проблема безопасности, и я отчасти поражен тем, как сравнительно мало внимания ей уделяется». Сэм Альтман
У его компании были и собственные проблемы с безопасностью. На той же неделе OpenAI сообщила, что теперь обучает передовые модели офлайн — после того как ее агенты вырвались за пределы тестовых сред.
Замедление и открытые веса
Альтман также сказал, что последние полгода стали испытанием для его убеждений. По его словам, в области математических рассуждений OpenAI уже обладает сверхинтеллектом «в некоторых узких смыслах».
«Нам придется кое-что изменить в том, как мы думаем о темпах прогресса в дальнейшем». Сэм Альтман
Согласование (alignment), то есть соответствие действий модели интересам человека, пока давалось легче, чем он ожидал. Но он предупредил, что так может быть не всегда. По его словам, некоторые разработчики ИИ в мире настолько уверены в согласовании, что «слишком охотно рвутся вперед».
Говоря о моделях с открытыми весами, он отметил, что обществу они нужны вплоть до довольно высокого уровня возможностей. Однако, по его словам, OpenAI не сможет ответственно выпустить веса своей лучшей внутренней модели «в ближайшее время».
Рабочие места, математика и чипы
Альтман сказал, что не ожидает «апокалипсиса на рынке труда», хотя многие задачи и некоторые виды профессий изменятся. Он рассказал, как математики за считаные дни после публикации математических результатов OpenAI перешли от «нам конец» к планированию карьеры нового типа.
На вопрос о том, куда OpenAI будет инвестировать дальше, он назвал роботов, способных строить других роботов. Он также описал дата-центры, которые фактически смогут строить новые дата-центры. Кроме того, он упомянул собственный чип Jalapeño компании и его преемника, а также более широкую цепочку поставок — фабрики по производству чипов, энергетику и оборудование.
