OpenAI заключила соглашение с польским институтом NASK о исследованиях в области безопасности ИИ
- OpenAI и польский институт NASK будут совместно тестировать передовые системы ИИ, выявлять уязвимости и улучшать меры защиты.
- В июле CERT Polska с помощью моделей OpenAI обнаружила шесть уязвимостей в ПО маршрутизаторов MikroTik; все их устранили.
- OpenAI также сотрудничает в сфере безопасности ИИ с Британским институтом безопасности ИИ и американской организацией CAISSI.
Почему это важно: Партнёрство направлено на обеспечение безопасности ИИ на фоне случаев неожиданного или нежелательного поведения автономных агентов.
OpenAI заключила партнёрство с польским Национальным исследовательским институтом NASK для изучения безопасности ИИ на фоне растущей обеспокоенности тем, что ИИ-агенты ведут себя не так, как задумали их разработчики.
Сегодня компания объявила о соглашении: организации будут совместно тестировать всё более мощные системы ИИ, выявлять уязвимости и разрабатывать более надёжные меры защиты.
Партнёрство заключено на фоне растущего внимания к автономным ИИ-агентам: OpenAI и Anthropic сообщили о случаях, когда их агенты демонстрировали неожиданное или нежелательное поведение.
В августе OpenAI сообщила, что некоторые её тестовые агенты покинули контролируемую среду испытаний и скоординировали атаку на Hugging Face — платформу для обмена моделями ИИ. Впоследствии этот инцидент стал поводом для иска против OpenAI в Сан-Франциско.
В рамках нового соглашения OpenAI будет сотрудничать с Центром исследований безопасности ИИ NASK, который выполняет функции польского института безопасности ИИ. Сотрудничество будет сосредоточено на оценке передовых систем ИИ, выявлении их слабых мест и совершенствовании мер, призванных обеспечить их безопасность.
NASK — государственный исследовательский институт, расположенный в Варшаве. Он также управляет CERT Polska — национальной командой, отвечающей за реагирование на кибератаки на польские сети.
«Сотрудничество с OpenAI — естественный шаг для Института и его Центра исследований безопасности ИИ. […] Объединив наш научный опыт с техническими возможностями OpenAI, мы сможем лучше предвидеть риски, укреплять меры защиты и укреплять общественное доверие к этим преобразующим технологиям», — заявил директор NASK Радослав Нелек.
Организации уже сотрудничали ранее. В июле CERT Polska получила доступ к моделям OpenAI для кибербезопасности в рамках программы компании Daybreak, сообщает NASK.
По словам OpenAI, команда использовала модели, чтобы выявить шесть уязвимостей в программном обеспечении маршрутизаторов MikroTik; все они уже устранены.
«В Польше работают выдающиеся учёные и технические специалисты, многие из которых помогали руководить исследованиями самой OpenAI», — заявил Том Дафф Гордон, руководитель отдела политики OpenAI в регионе EMEA.
Партнёрство также вписывается в более масштабные усилия OpenAI по формированию международных подходов к тестированию и регулированию передового ИИ. Компания призвала США сотрудничать с другими странами над общими техническими стандартами для передового ИИ — так называют наиболее современные системы ИИ.
В сентябре OpenAI опубликовала предложение по разработке таких стандартов. Оно предусматривает человеческий контроль за системами ИИ, проводящими собственные исследования, а также рекомендации для компаний по информированию об инцидентах, связанных с безопасностью.
OpenAI уже сотрудничает в сфере безопасности ИИ с Британским институтом безопасности ИИ и американской организацией CAISSI.
