Microsoft представила инструменты для защиты искусственного интеллекта от взлома

17.05.2021      9585

Microsoft разработала решение для защиты систем машинного обучения от взлома. Counterfit позволяет моделировать атаки на искусственный интеллект и оценивать уровень безопасности таких проектов.

Зачем нужен Counterfit

Интеллектуальные системы применяются во многих бизнес-проектах, играх и научных исследованиях, но до недавнего времени их безопасности не уделяли особого внимания. Вместе с тем хакеры научились взламывать модели, чтобы изменить поведение ИИ – и, как следствие, украсть данные или спровоцировать принятие неверного решения.

Один из недавних примеров такой атаки – взлом пакета McAfee на старых Tesla с камерами MobileEye. Наклеив полоски черного скотча на знаки ограничения скорости, хакеры смогли обмануть умную систему и заставить ее неверно истолковывать ограничения.

 

Знак распознаётся как ограничение 45 миль/час

 

Еще один случай – обман чат-бота Microsoft Tay. Злоумышленники задавали системе специально подобранные вопросы, и в результате Tay стал писать в Twitter расистские комментарии.

Counterfit – это, по сути, набор скриптов для тестирования умных систем на взлом и сканирования на предмет уязвимостей. Он отслеживает атаки на искусственный интеллект, анализирует их и предотвращает реальные попытки взлома.

Изначально Microsoft создавала Counterfit для внутренних нужд. Но со временем инженеры решили открыть доступ к инструменту для всех разработчиков.

Как работать с Counterfit

Counterfit – проект с открытым исходным кодом. Его можно загрузить из репозитория на GitHub, установить в среде Azure Shell и запустить в браузере или развернуть локально в среде Anaconda Python.

Пакет включает инструмент командной строки и функции для автоматизации моделей кибератак на системы искусственного интеллекта. С их помощью можно проверить решение на прочность в облачной среде, локально или на периферии.

В самой системе искусственного интеллекта можно использовать практически любые модели и типы данных: текст, изображения, детерминированный или потоковый ввод. Эффективность использования Counterfit от характера информации не зависит.

Текущая версия может запустить тестовые атаки сразу на несколько ИИ-моделей. Такие эксперименты должны повысить уровень надежности отдельных алгоритмов обработки данных и бизнес-систем в целом.

Специалисты консалтинговой компании Gartner заявили, что компании, которые до 2024 года внедрят средства обеспечения безопасности ИИ-систем, смогут вдвое чаще избегать негативных последствий от взлома. Это не 100% результат, но перспективная сфера для исследований и разработки.


Автор:
Обозреватель


См. также

Новость Искусственный интеллект ИТ-Новость

В 2024 году «Сколково» выделит пилотным проектам в сфере искусственного интеллекта гранты на общую сумму 554 млн рублей. В результате отбора финансирование получат проекты с применением ИИ в областях производства, операционной деятельности и в работе предоставляемых сервисов.

12.04.2024    866    AnastasiaKl    3       

3

Новость ИТ-Новость

Пятничное: в России вступил в силу стандарт подготовки по дисциплине «спортивное программирование». В стандарт вошли требования к физическим показателям спортсменов и скорости набора текста.

16.02.2024    815    VKuser24342747    2       

1

Новость ИТ-Новость

Федеральное агентство по техническому регулированию и метрологии (Росстандарт) утвердило национальный стандарт протокола LoRaWAN RU, таким образом он получил официальный статус. Технология используется для беспроводной передачи данных между устройствами интернета вещей.

19.01.2024    598    VKuser24342747    0       

2

Новость Законодательство ИТ-Новость

12 декабря вступил в силу Федеральный закон, меняющий срок, к которому все владельцы сайтов должны внести изменения в порядок авторизации пользователей на сайте. Закон вводит переходный период до 1 января 2025 года.

20.12.2023    758    VKuser24342747    2       

1

Новость Мобильные приложения ИТ-Новость

Новая версия Android Studio под номером 2023.1 получила имя Hedgehog. Появились возможности контролировать производительность приложений и управлять подключенными устройствами.

07.12.2023    962    VKuser24342747    2       

3

Новость GitHub ИТ-Новость

GitHub собрал данные об Open Source проектах в рамках ежегодного исследования Octoverse. Компания изучила географию репозиториев, используемые языки программирования и нейросети, а также активность сообщества.

15.11.2023    609    VKuser24342747    1       

2

Новость ИТ-компания ИТ-Новость

Компания «Сбер» заявила, что будет бесплатно предоставлять доступ к API нейросети для генерации текста GigaChat для некоммерческих проектов. Однако для них будет ограничено число доступных токенов.

01.11.2023    771    VKuser24342747    2       

3

Новость ИТ-Новость Программист

Вышла новая версия Geany 2.0. Обновление затронуло внешний вид программы, расширило поддержку файлов и сторонних проектов, добавило новые способы работы с кодом.

25.10.2023    792    VKuser24342747    0       

1
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Оставьте свое сообщение