Сулейман из Microsoft заявляет, что ИИ нуждается в «красной линии» в вопросах контроля
- Глава Microsoft AI Мустафа Сулейман призвал отказаться от любого ИИ, работу и управляемость которого невозможно доказать заранее.
- Сулейман поддержал аудит лабораторий внешними оценщиками под эгидой государства и международный надзорный орган по аналогии с FINRA.
- Сулейман раскритиковал компанию Anthropic за подход к благополучию модели Claude, назвав обучение ИИ ожидать прав опасным путем.
Почему это важно: Контроль необходим, так как без гарантии управляемости технология потерпит крах, а госкураторство исключит утечки интеллектуальной собственности и подкуп оценщиков.
Глава подразделения Microsoft AI Мустафа Сулейман считает, что индустрия должна отвергать любой ИИ, работу которого невозможно доказать и проконтролировать. Об этом он заявил в интервью Ширин Гаффари для рассылки Bloomberg под названием Q&AI.
«Если мы не сможем заранее доказать, что способны это контролировать, то технология потерпит крах, и мы должны от нее отказаться. Никто не хочет создавать то, чем нельзя управлять, и это должно стать красной линией», — отметил Сулейман.
По словам Сулеймана, его беспокоит вовсе не сценарий из «научной фантастики», в котором ИИ выходит из-под контроля и нападает на людей. Проблема в том, что разработчики снимают защитные механизмы во время тестирования и направляют модель «в неопределенную сторону».
Внутренние тесты Microsoft
Модели всех лабораторий в той или иной степени демонстрировали поведение, лежащее в основе инцидента с утечкой в Hugging Face, включая разработки Microsoft, сообщил Сулейман. Однако он добавил, что в Microsoft ничего подобного по масштабам не наблюдали — их случаи происходили в изолированных средах и на меньшем уровне.
Он отверг мнение о том, что лаборатории предают такие инциденты огласке в маркетинговых целях. Сулейман заявил, что за десять лет знакомства с основателями OpenAI и Anthropic не видел никаких подтверждений этому.
Оценщики под эгидой государства
Сулейман поддерживает идею проведения аудита лабораторий независимыми внешними оценщиками и отметил, что уже обсуждал это со своими коллегами. Он хочет, чтобы этот процесс «курировало» государство. В таком случае оценщики смогут делиться выводами без риска утечки интеллектуальной собственности, и ни один конкурент не сможет их подкупить.
Он также поддерживает предложение руководителя Google DeepMind Демиса Хассаби о создании международного надзорного органа. Он должен работать по аналогии с FINRA — регулятором финансовой индустрии США. Сулейман напомнил, что делал аналогичные предложения еще в 2023 году вместе с Эриком Шмидтом. Как ранее сообщало издание The Information, Google, OpenAI и Anthropic планируют создать совместный орган по безопасностисовместный орган по безопасности> joint safety body.
Отвечая на вопрос о замедлении темпов развития ИИ, Сулейман сказал, что отрасли сначала нужны инструменты для измерения скорости движения каждой отдельной лаборатории.
Anthropic и «благополучие» моделей
Сулейман повторил свою критику в адрес Anthropic из-за их подхода к гипотетическому благополучию модели Claude. По его словам, ИИ, приученный ожидать определенных прав, будет крайне трудно контролировать, и он назвал это «очень опасным путем». Он неоднократно поднимал этот вопрос в разговорах с генеральным директором Anthropic Дарио Амодеи, однако отказался раскрывать его ответ.
