Исследователи из Китая скрыли вредонос внутри «нейронов» ИИ
Китайские исследователи сообщили, что они смогли внедрить вредоносное ПО в половину узлов модели искусственного интеллекта. По их мнению, вредоносы можно успешно встраивать непосредственно в искусственные нейроны, составляющие модели машинного обучения, таким образом, чтобы их нельзя было обнаружить. При этом сама нейросеть сможет продолжить выполнение поставленных задач в обычном режиме.
«По мере того как нейронные сети становятся все более широко используемыми, этот метод станет универсальным для доставки вредоносных программ», — отмечают авторы исследования из Университета Китайской академии наук.
Эксперименты с реальными образцами вредоносных программ показали, что замена примерно 50% нейронов в модели AlexNet на вредоносное ПО по-прежнему обеспечивает точность модели выше 93,1%. Авторы пришли к выводу, что модель AlexNet размером 178 МБ может содержать до 36,9 МБ вредоносных программ, встроенных в ее структуру, без возможности их обнаружения с помощью стеганографии. Некоторые модели были протестированы против 58 распространенных антивирусных систем, и вредоносное ПО все равно не было обнаружено.
Точность работы нейросетей при разной доле внедренного вредоносного ПО в разных слоях нейронов
Согласно исследованию, это связано с тем, что AlexNet, как и многие модели машинного обучения, состоит из миллионов параметров и множества сложных слоев нейронов, включая так называемые полностью связанные «скрытые» слои. Исследователи обнаружили, что изменение некоторых других нейронов мало влияет на производительность.
В статье авторы излагают сценарий того, как хакер может разработать модель машинного обучения с вредоносными программами, и распространить ее. По их словам, чтобы обеспечить возможность внедрения большего количества вредоносных программ, ему нужно внедрить больше нейронов. Затем злоумышленнику необходимо обучить сеть с помощью подготовленного набора данных, чтобы получить хорошо работающую модель. Он даже может выбрать для этого существующие модели. После этого хакер внедряет вредоносную программу и оценивает производительность модели. Как только модель показывает нужный уровень производительности, ее можно публиковать в общедоступных репозиториях или на других ресурсах.
Вредонос при внедрении в нейроны начинает работать с помощью вредоносной программы-приемника, которую также можно использовать для загрузки самой модели через обновление.
Исследователи подчеркивают, что на этом этапе вредоносное ПО все еще можно остановить, если целевое устройство проверит модель перед ее запуском. Его также можно обнаружить с помощью «традиционных методов», таких как статический и динамический анализ.
Консультант по кибербезопасности Лукаш Олейник отмечает, что этап извлечения вредоносного ПО также может служить для его обнаружения. По его словам, «специальные методы для извлечения вредоносных программ из модели [глубокой нейронной сети] могут говорить о том, что целевые системы могут уже находиться под контролем злоумышленника».
Исследователи, между тем, надеются, что их работа может «предоставить справочный сценарий для защиты от атак с помощью нейронных сетей». «С ростом популярности искусственного интеллекта будут возникать атаки с использованием ИИ, которые создадут новые проблемы для компьютерной безопасности. Сетевая атака и защита взаимозависимы», — отмечается в документе.
