Cisco представила инструмент для «родословной» ИИ-моделей: контроль происхождения становится новым стандартом безопасности
Компания Cisco анонсировала новый open-source инструмент Model Provenance Kit, предназначенный для анализа происхождения и истории изменений моделей искусственного интеллекта. Решение ориентировано на компании, активно использующие сторонние модели из открытых репозиториев.
Сегодня миллионы моделей доступны через платформы вроде Hugging Face, однако их активное переиспользование сопровождается системной проблемой: организации редко отслеживают, как именно эти модели модифицировались, дообучались или объединялись. При этом заявленные разработчиками характеристики — от источников данных до наличия уязвимостей — зачастую остаются непроверенными.
Это создаёт целый класс рисков. В корпоративную инфраструктуру могут попадать «отравленные» модели или решения с уязвимостями, способными распространяться дальше — в чат-ботах, агентных системах и пользовательских продуктах. Аналогично, модели с неочевидными смещениями в обучающих данных могут приводить к ошибкам или манипуляциям в реальных сценариях применения.
Иллюстрация: Nano BananaКлючевая проблема — отсутствие прозрачной «родословной». Без понимания происхождения модели становится практически невозможно отследить источник инцидента, определить масштаб его распространения или быстро устранить последствия. Это особенно критично в условиях ужесточения требований к аудиту ИИ и контроля цепочек поставок.
Model Provenance Kit предлагает формализованное решение этой задачи. Инструмент реализован на Python и включает CLI-интерфейс, позволяющий создавать уникальный «отпечаток» модели. Он формируется на основе совокупности сигналов: метаданных, сходства токенизаторов, а также характеристик на уровне весов — включая геометрию эмбеддингов, нормализационные слои и энергетические профили.
Система работает в двух режимах. Режим compare позволяет напрямую сопоставлять две модели и выявлять общую линию происхождения. Режим scan ищет ближайшие совпадения в базе «отпечатков», собранной Cisco, что позволяет приблизительно восстановить «генеалогию» модели даже при отсутствии явной документации.
В компании подчёркивают, что современный жизненный цикл ИИ-моделей — с постоянным дообучением, дистилляцией и слияниями — делает их всё менее похожими на статические артефакты. Это усложняет аудит и открывает возможности для сокрытия происхождения. Новый инструмент должен стать шагом к более строгому, доказательному подходу к отслеживанию таких изменений.
Model Provenance Kit доступен в открытом доступе на GitHub, а база «отпечатков» моделей опубликована на Hugging Face.
© iXBT
