Обзор и карта рынка платформ для защиты ML
Security Vision
С ростом распространенности искусственного интеллекта (ИИ) и машинного обучения (ML) в бизнесе и промышленности, вопросы безопасности этих технологий становятся все более актуальными. Например, согласно отчету «Яков и Партнеры», всего треть опрошенных компаний в РФ находятся на стадии погружения в область ИИ, 23% уже экспериментируют с этой технологией, а 17% в своих стратегических целях отметили масштабирование показавших себя решений. В отчете McKinsey, для сравнения, говорится, что среди стратегических целей развитие и масштабирование ИИ имеют от 15% до 19% опрошенных компаний.
Современные модели машинного обучения обладают огромным потенциалом, но в то же время они открыты для множества угроз, включая кражу интеллектуальной собственности, атаки на конфиденциальные данные, манипуляции моделями и многое другое. В связи с этим, на рынке появляются специализированные платформы и решения, направленные на защиту ML-систем, особенно заметно это в зарубежном пространстве. В этой статье мы рассмотрим ключевые концепции и решения в области безопасности машинного обучения, а также приведем примеры некоторых продуктов и платформ. Некоторые из мер противодействия угрозам ИИ и видов продуктов безопасности будет возможно реализовать на основе платформы Security Vision, о чем мы более подробно скажем в конце статьи.
Концепции безопасности машинного обучения
Безопасность ML систем — это комплексная задача, требующая применения различных методов и технологий на разных стадиях жизненного цикла модели: от разработки и обучения до эксплуатации и обновления. Разработка делится на такие шаги, как сбор данных, их исследование и изыскание подходящей архитектуры модели, обучение, и валидация модели, а эксплуатация — это автоматизация этих процессов, вкупе с системой мониторинга и оптимизации кода для эффективного потребления ресурсов. Подробнее о практических аспектах практического машинного обучения — тут и тут. А исходная спецификация процесса разработки и внедрения в эксплуатацию ML описана в данной статье.
Очевидно, что в разных компонентах такой системы и участках процесса могут возникнуть различные угрозы и риски безопасности.
Вот примеры некоторых из них:
1. Злоумышленник путем изменения кода библиотек и программных компонент ML-системы добьется нарушения функционирования системы, или нарушения безопасности информации, циркулирующей в системе
2. Злоумышленник путем манипуляции данными на входе может обмануть модель и заставить ее выдать некорректный ответ (нарушение функционирования ML-системы, экстракция чувствительной информации из данных обучения модели или даже ее весов, или из среды исполнения модели при условии доступа у модели к среде)
3. Злоумышленник путем компрометации программных компонент, производящих обучение модели, может отравить ее данные и привести ML-систему к дисфункции или желаемому поведению
4. Злоумышленник путем модификации весов модели может заложить в них код ВПО или в целом в код модели
5. Злоумышленник может оставить в открытых источниках предобученные модели с заложенным выгодным для него поведением.
Поэтому далее мы рассмотрим ключевые подходы и методы защиты моделей машинного обучения.
1. Обнаружение аномалий в ML (Anomaly Detection for ML)
Одним из подходов к защите моделей является обнаружение аномалий во входных данных ML-моделей и в их поведении, то есть в их выходных данных. Для этого могут использоваться как простые логические правила, так и другие ML-модели. Но так или иначе, правила и модели будут классифицировать входные/выходные данные ML-модели на «нормальные» и «аномальные/вредоносные» (adversarial). Вопрос, возникающий в этом контексте, заключается в том, может ли такая модель быть универсальной для различных моделей и задач? Однозначного ответа нет; частично можно утверждать, что для моделей одинаковой модальности (то есть природы данных: текст, изображения, или логи определенных систем) детекторы аномалий могут быть универсальны, но подобных методов более общего характера скорее всего нет. Стоит также отметить, что модели-детекторы по архитектуре могут быть аналогичны защищаемой модели.
2. Тюнинг безопасности моделей (Security Tuning)
Один из ключевых методов повышения устойчивости ML-моделей к атакам — это дообучение моделей на так называемых adversarial examples/data — данных, приводящих к некорректному поведению модели. Вредоносные данные представляют собой специально созданные примеры, приводящие к различным негативным последствиям, таким как резкое снижение качества, нежелательное поведение (особенно в случае с LLM), утечкам данных из обучающей выборки и тому подобное. Дообучение на данных с вредоносными модификациями позволяет улучшить устойчивость модели и снизить вероятность успешных атак подобного рода.
Поэтому далее мы рассмотрим ключевые подходы и методы защиты моделей машинного обучения.
3. Защита зашумлением
Одним из методов защиты от атак, целью которых являются выходные данные модели (нарушение их качества или извлечение конфиденциальной информации из них) является добавление к ним шума. Например, это будет работать против атаки «инверсия модели» (model inversion). Это атака, в которой злоумышленник восстанавливает данные из обучающей выборки модели по ее ответам. Добавление шума в часть признаков, скругление чисел и использование прочих методов анонимизации снижает вероятность успешной атаки инверсией, однако такой подход эффективен не для всех задач: в частности, не для задач классификации.
4. Сканеры моделей для выявления программных уязвимостей
Одним из ключевых инструментов обеспечения безопасности являются сканеры, подобные HL ModelScanner. Эти решения позволяют выявлять программные уязвимости в коде, уязвимости в архитектуре ML-моделей, выявляя подверженность как к атакам внедрения кода в программные компоненты, так и проводящимися путем манипуляций входными данными.
5. Реализация принципов MLSecOps
В контексте безопасности ML важную роль играет обеспечение безопасной разработки моделей. Подходов к обеспечению MLSecOps существует несколько, ознакомиться с ними можно по следующим ссылкам: фреймворки databricks, Snowflake, Huawei, cyberorda:
· Интегрировать механизмы шифрования данных на всех этапах их жизненного цикла, включая шифрование в состоянии хранения и в процессе передачи, чтобы обеспечить защиту данных от несанкционированного доступа.
· Реализовать строгий контроль доступа к данным и моделям, настраивая многоуровневую аутентификацию и разграничение прав доступа, чтобы только авторизованные пользователи имели возможность взаимодействия с чувствительными данными и моделями.
· Применять методы анонимизации данных, такие как дифференциальная приватность, и использовать защищенные вычисления, чтобы минимизировать риски, связанные с раскрытием индивидуальной информации при обработке и анализе больших объемов данных, особенно в условиях совместной работы разных организаций.
· Включить в процесс разработки и обучения моделей методы противодействия атакам на машинное обучение (adversarial), такие как обучение на примерах с вредоносными изменениями, что улучшает устойчивость моделей к манипулированию входными данными.
· Регулярно проводить аудиты безопасности и тестирование на проникновение, чтобы систематически идентифицировать и устранять уязвимости в инфраструктуре, новых данных и новых ML-моделях.
· Важно учитывать существование таких платформ, как MITRE ATLAS, которые предоставляют детализированную информацию о тактиках и техниках атак на ИИ. Интеграция с такими платформами позволяет защитить ML-модели от широкого спектра угроз.
Для более детального понимания современного состояния рынка, рассмотрим два механизмы защиты на конкретных продуктах: Bosch AI Shield и HiddenLayer MLDR.
Bosch AI Shield
Bosch AI Shield — это мощная платформа для защиты ИИ-систем, обеспечивающая защиту через оценку уязвимостей и продвинутые механизмы безопасности. Платформа предоставляет SDK и API, которые легко интегрируются с существующими ML-потоками, такими как AWS SageMaker и Azure ML. Также платформа поддерживает интеграцию с системами мониторинга и платформами для конфиденциальных вычислений, такими как Fortanix.
Основные функции Bosch AI Shield включают в себя:
Оценка уязвимостей: Платформа выполняет глубокий анализ уязвимостей моделей, включая атаки на кражу, отравление, уклонение и инверсию. Это позволяет обнаруживать и устранять уязвимости на ранних стадиях.
Интеграция с MITRE ATLAS: Bosch AI Shield интегрируется с MITRE ATLAS, что позволяет отслеживать и анализировать актуальные тактики и методы атак.
Реагирование на инциденты: Платформа обеспечивает защиту на конечных точках, предотвращение вторжений и отправку данных об атаках в системы SIEM/SOAR, такие как Splunk и Microsoft Sentinel.
HiddenLayer MLDR
HiddenLayer MLDR — это первая в своем роде кибербезопасная платформа для мониторинга, обнаружения и реагирования на атаки, направленные на ML-модели. Технология HiddenLayer неинвазивна и не требует изменения данных или производительности моделей, что позволяет сохранять конфиденциальность и безопасность интеллектуальной собственности компании.
Основные возможности HiddenLayer MLDR включают:
Интеграция с MITRE ATLAS: HiddenLayer MLDR поддерживает интеграцию с MITRE ATLAS, что позволяет выявлять атаки на ML-модели с использованием более чем 64 тактик и техник атак.
Защита от атак на инференс: Платформа защищает модели от атак инверсией, направленных на восстановление исходных данных по результатам работы модели.
Защита от манипуляций с моделью: HiddenLayer MLDR позволяет обнаруживать и предотвращать попытки изменения модели путем манипуляций с входными данными.
Защита от отравления данных: Платформа предотвращает отравление моделей, когда злоумышленники пытаются изменить модель путем целенаправленного ввода искаженных данных.
Защита от кражи моделей: HiddenLayer MLDR защищает интеллектуальную собственность компании, предотвращая попытки извлечения или кражи модели.
Интеграция с SIEM, такими как Splunk и DataDog.
Данный продукт предлагает следующие меры реагирования на атаки:
Ограничить или заблокировать доступ к определенной модели или запросу
Изменить классификацию оценок, чтобы предотвратить исследование градиента функции ошибок модели или границ ее решений
Перенаправить трафик для обработки текущих атак
Включить человека в процесс триажа и реагирования
Обзор рынка и ключевые игроки
Рынок платформ для защиты ML активно развивается, и на нем представлено множество решений, направленных на различные аспекты безопасности. Рассмотрим основные категории решений и ключевые компании, работающие в каждой из них.
Управление (Governance)
Управление безопасностью ИИ включает разработку и внедрение фреймворков, политик и процедур, обеспечивающих этическое, ответственное и безопасное использование ИИ-технологий. В этой категории можно выделить:
AI Ethics Compliance Platforms: Платформы для обеспечения соответствия этическим стандартам и нормативным требованиям ИИ.
AI Risk Assessment Solutions: Программные решения для оценки и управления рисками, связанными с развертыванием ИИ.
Privacy and Bias Auditing Tools: Инструменты для аудита и устранения проблем с конфиденциальностью и предвзятостью в ИИ.
Ключевые компании: Cranium, CredoAI, Arklow, HiddenLayer, ProtectAI.
Observability
Наблюдаемость (Observability) в ИИ безопасности — это возможность мониторинга и понимания внутреннего состояния ИИ систем. Это включает прозрачность в процессах принятия решений, понимание поведения модели и отслеживание её производительности:
AI Monitoring Tools: Инструменты, обеспечивающие реальное время данные о производительности и здоровье ИИ-систем.
Explainability Interfaces: Платформы, предлагающие понятные объяснения решений ИИ для пользователей и заинтересованных сторон.
AI Anomaly Detection Systems: Решения для выявления необычных паттернов или поведения в работе ИИ, указывающих на возможные проблемы с безопасностью.
Ключевые компании: Humanloop, Helicone, CalypsoAI, Credal.ai, Flow.
Безопасность потребления моделей (Model consumption security)
Обнаружение и реагирование на угрозы, направленные на развернутые модели ИИ, являются основными задачами безопасности:
AI Intrusion Detection Systems: Системы для обнаружения вторжений и автоматического реагирования на угрозы, направленные на ИИ.
Automated Response Solutions: Автоматизированные решения для реагирования на угрозы, специфические для ИИ.
Ключевые компании: HiddenLayer, Lasso Security, Bosch AI Shield, CalypsoAI.
AI Firewall
Фильтрация вредоносных входных данных и запросов для защиты ИИ систем:
AI-Powered Firewalls: Межсетевые экраны, использующие ИИ для фильтрации подозрительных данных.
Input Validation Tools: Инструменты для валидации и фильтрации входных данных.
Ключевые компании: CalypsoAI, Robust Intelligence, Troj.ai.
Симуляция атак (Continuous Red Teaming)
Постоянные симуляции атак на ИИ системы для выявления уязвимостей:
Automated Red Teaming Platforms: Платформы для автоматического проведения атак на ИИ системы.
Continuous Security Assessment Tools: Инструменты для непрерывной оценки безопасности.
Ключевые компании: Adversa, Robust Intelligence, Lakera.
Защита от утечек данных (Data Leak Protection)
Предотвращение несанкционированного доступа и вывода конфиденциальных данных, используемых ИИ системами:
AI Data Loss Prevention (DLP) Solutions: Решения для предотвращения утечек данных в ИИ.
Secure Data Sharing Platforms: Платформы для безопасного обмена данными.
Ключевые компании: Nightfall, PrivateAI, Lakera.
Построение и обслуживание моделей (Model building & serving)
Мониторинг и сканирование уязвимостей в средах разработки ИИ:
AI Code Scanners: Инструменты для сканирования кода ИИ моделей.
Vulnerability Management Tools for AI Pipelines: Средства управления уязвимостями в конвейерах разработки ИИ.
Ключевые компании: ProtectAI, HiddenLayer, Robust Intelligence, Giskard, Troj.ai, Bosch AI Shield.
Идентификация/редакция PII (PII Identification/Redaction)
Обнаружение и защита персональных данных в наборах данных для ИИ:
Automated PII Detection & Redaction Tools: Инструменты для автоматического обнаружения и редактирования персональных данных.
Зарубежная регуляторная база
AI Risk Management Framework | NIST
Фреймворк управления рисками AI, разработанный Национальным институтом стандартов и технологий США (NIST), предоставляет рекомендации по идентификации, оценке и смягчению рисков, связанных с внедрением AI-систем.
The Act Texts | EU Artificial Intelligence Act
EU Artificial Intelligence Act устанавливает строгие требования к разработке и использованию AI-систем в Европейском союзе. Закон делит AI-системы на три категории: запрещенные, высокорисковые и прочие. Вступил в силу 1 августа 2024 года.
Запрещенные AI-системы (Title II, Art. 5):
Использование манипулятивных или обманных техник для искажения поведения и принятия решений.
Эксплуатация уязвимостей, связанных с возрастом, инвалидностью или социально-экономическим положением.
Биометрическая категоризация, определение чувствительных характеристик человека.
Социальный скоринг, оценка риска совершения преступлений на основе профилирования.
Компиляция баз данных распознавания лиц путем нецелевого сбора изображений из интернета или CCTV.
Распознавание эмоций в рабочих или образовательных учреждениях.
Удаленная биометрическая идентификация в реальном времени (RBI) в публичных местах для правоохранительных органов, за исключением случаев поиска пропавших лиц, предотвращения значительных угроз жизни или террористических атак, и идентификации подозреваемых в серьезных преступлениях.
Высокорисковые AI-системы (Title III):
Использование AI в качестве компонента безопасности или продукта, требующего третьей стороны для оценки соответствия.
Системы, профилирующие отдельных лиц для оценки различных аспектов их жизни.
Требования к поставщикам высокорисковых AI-систем (Art. 8–25):
Внедрение системы управления рисками на протяжении всего жизненного цикла системы.
Обеспечение качества данных для обучения, валидации и тестирования моделей.
Составление технической документации для демонстрации соответствия требованиям.
Проектирование систем с возможностью автоматической записи событий и существенных модификаций.
Обеспечение инструкций для конечных пользователей для соблюдения требований.
Разработка систем с возможностью внедрения человеческого надзора и обеспечения точности, надежности и кибербезопасности.
Внедрение системы управления качеством для обеспечения соответствия.
Заключение
Рынок платформ для защиты машинного обучения активно развивается, отвечая на возрастающие угрозы безопасности и нормативные требования. Ведущие вендоры, такие как Bosch AI Shield и HiddenLayer MLDR, предлагают комплексные решения, обеспечивающие многоуровневую защиту ML-моделей от различных типов атак. Однако эффективная защита AI требует не только внедрения технических решений, но и комплексного подхода, включающего управление рисками, соответствие нормативам и постоянный мониторинг состояния моделей. Компании, инвестирующие в защиту своих AI-систем, получают значительные преимущества, обеспечивая безопасность данных, сохранность интеллектуальной собственности и надежность бизнес-процессов.
Платформа Security Vision предоставляет широкие возможности настройки, что позволяет реализовать некоторые из перечисленных мер и систем по противодействию рискам безопасности машинного обучения. Например, на основе наших продуктов можно создать инструмент мониторинга входных и выходных данных моделей, детектирования опасных паттернов в них и аномалий. А меры реагирования, аналогичные, например, HL MLDR, позволяют внедрить и использовать наши решения по противодействию атакам и работе с инцидентами — SOAR 2.0 или NG SOAR.
