AI-модель Claude Mythos не продемонстрировала особых достижений при поиске уязвимостей в Curl
Дэниел Cтенберг (Daniel Stenberg), автор утилиты для получения и отправки данных по сети curl, подвёл итог применения AI-модели Claude Mythos для анализа уязвимостей в кодовой базе Curl. По мнению Дэниела, анонсированные компанией Anthropic прорывные возможности AI-модели Claude Mythos в области поиска уязвимостей, из-за которых компания ограничила доступ к модели, являются скорее маркетинговым приувеличением, так как при проверке кода Curl модель не показала существенных преимуществ по сравнению с AI-продуктами от других производителей.
При этом Дэниел признал значительное повышение качества работы современных AI-анализаторов кода, которые превосходят традиционные статические анализаторы, умеют выявлять несоответствие кода описанию из комментариев, исследовать проблемы в сторонних зависимостях, учитывать специфику протоколов и предлагать исправления.
Анализ 176 тысяч строк кода Curl при помощи Claude Mythos выявил наличие 5 уязвимостей, которые были помечены в отчёте как «подтверждённые уязвимости». Ручная проверка показала, что только одна из 5 проблем приводит к уязвимости, а 4 проблемы не являются уязвимостями (три проблемы вызваны ложными срабатываниями, а одна представляет собой не связанную с безопасностью ошибку). Найденная уязвимость не связана с работой с памятью, имеет низкий уровень опасности и будет устранена в конце июня в выпуске Curl 8.21.0.
До этого за последние 8–10 месяцев код Curl проверялся при помощи AI-сервисов AISLE, Zeropath и OpenAI Codex Security, что позволило исправить 200–300 ошибок, из которых 12 были уязвимостями. Кроме того, проверки через AI выполнялись независимыми энтузиастами, присылающими отчёты об уязвимостях, выявленных при помощи AI. Всего в этом году в Curl было выявлено около 60 уязвимостей. После этих проверок модель Mythos выявила одну новую незначительную уязвимость и около двадцати мелких ошибок. Ошибки были качественно описаны AI-моделью и найдены практически без ложных срабатываний.
Тем временем, компания OpenAI представила инструментарий Daybreak на базе AI модели GPT-5.5 и AI-агента Codex, предназначенный для поиска уязвимостей, анализа вредоносного кода и разработки исправлений. В качестве опции в Daybreak предложена AI-модель GPT-5.5-Cyber, в которой убраны некоторые ограничения в области создания экплоитов и проверки безопасности систем. Доступ к модели GPT-5.5-Cyber предоставляется только исследователям безопасности после выборочного одобрения заявок.
Источник: http://www.opennet.ru/opennews/art.shtml? num=65428
© OpenNet
