Методы атак на машинное обучение и их последствия
Аннотация: настоящая статья затрагивает тему безопасности искусственного интеллекта, а именно метод машинного обучения. В начале статьи описано зарождение такого понятия как «безопасность моделей машинного обучения», а также приведена временная шкала появления различных типов атак на машинное обучение. Далее были описаны три сценария и четыре метода атак на машинное обучение. В данной статье приводятся удачные и неудачные «вредоносные примеры». Было проведено исследование, чтобы узнать и оценить вероятность успешных атак. На основании полученного результате был построен график зависимости точности модели от величины возмущения, вносимого в исходный пример. Также сделан вывод о том, что угроза безопасности машинного обучения существует, хоть она и небольшая и трудноосуществимая.
Ключевые слова: информационная безопасность, искусственный интеллект, машинное обучение, свёрточные нейронные сети, вредоносные примеры.
Содержание не найдено
Библиографический список
1. С.Хайкин. Нейронные сети: полный курс. 2-е изд. М., «Вильямс», 2006.
2. Л.Г.Комарцова, А.В.Максимов. Нейрокомпьютеры. М., Изд-во МГТУ им. Баумана, 2004.
3. А.И.Галушкин. Нейронные сети. Основы теории. М., Горячая линия - Телеком, 2010.
4. В.А.Головко. Нейронные сети: обучение, организация и применение. М., ИПРЖР, 2001.
В проведённом исследовании мы применяли три общепризнанных сценария в информационной безопасности:
Атака «белого ящика» (White-box). Она подразумевает знание архитектуры сети, её параметров, а также полный доступ к обучающим и тестовым данным.
Атака «серого ящика» (Gray-box). Она предполагает наличие информации об архитектуре сети и ограниченного доступа к данным.
Атака «чёрного ящика» (Black-box). Она характеризуется полным отсутствием информации об устройстве сети и наборе данных для её обучения.
Основные методы атак на свёрточные нейронные сети:
Метод FGSM (Fast Gradient Sign Method) основан на большой размерности вектора весов нейросети, и при малом возмущении входных данных в нужн