(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

Как обманывают искусственный интеллект


Искусственный интеллект все глубже входит в повседневную жизнь и рабочие процессы. И неудивительно, что злоумышленники не оставляют без внимания ИИ-системы, изыскивая способы их "ломки" и переподчинения.

 

Против лазера нет приема

Перефразируя известное утверждение, можно сказать, что если один человек что-то создал, другой обязательно постарается испортить. Как только искусственный интеллект вышел за пределы лабораторий и стал применяться на практике, как его немедленно начали пытаться "сломать" или заставить действовать в интересах злоумышленника. Средства обмана ИИ можно разделить на две главные категории "аппаратные" - когда для обмана ИИ используются физическими устройствами (иногда в сочетании с программными) и собственно программные.

Физические средства, как правило, проще…. И в тех случаях, когда они применимы, надежнее. Скажем, никакая, сколь угодно "умная" система распознавания лиц не устоит против компактных лазеров, которыми демонстранты в Гонконге засвечивали камеры видеонаблюдения. Надо отметить, что идея не нова - в советское время подобные стационарные системы были созданы для выжигания оптики на спутниках-шпионах, пресловутая "консьюмеризациия высоких технологий" добралась и до этой области. Остаться невидимым для систем распознавания лиц можно также с помощью специальной бликующей одежды или масок.

К "аппаратным" решениям относятся также системы искажения речи, не позволяющие идентифицировать говорящего, средства трехмерного сканирования и печати, с помощью которых можно обмануть системы идентификации по голове, лицу или отпечаткам (в том числе с нагревательными элементами для биометрических систем, в которых контролируется температура тела).

Машины против машин

Программные средства обмана ИИ-систем также весьма многообразны. Поскольку искусственный интеллект в процессе "тренировки" нейросети учится не "пониманию" происходящего, а выдаче правильных ответов, то самоочевидна идея "неправильного обучения". В датасет "подмешиваются" неправильные данные, например - изображения. И "на выходе" еще недавно правильно работавший механизм распознавания начинает считать панду гиббоном.

panda.png
Классический пример сбивания с толку ИИ-системы. Одна неправильная картинка - и панда в восприятии ИИ становится гиббоном

Такую подмену, разумеется, трудно реализовать посторонним. Зато если она осуществлена, то такую закладку крайне трудно выявить. Во-первых, принимаемые нейросетевой системой решения в настоящее время невозможно проверить (методы такой проверки только разрабатываются), а, во-вторых, поскольку в более-менее сложной ИИ-модели тысячи параметров, провести ее исчерпывающее тестирование невозможно. Теоретически возможна ситуация, когда ИИ-система будет работать правильно во всех случаях, кроме тех когда получит ключевой сигнал, реакция на который когда-то была заложена злоумышленниками.

Впрочем, научиться обманывать конкретную ИИ-систему можно и удаленно - особенно, если известны алгоритмы ее обучения (алгоритмы как таковые секретом, как правило, не являются). Или, хотя бы "входные" наборы данных и принимаемые на их основе решения. В таком случае можно создать аналогичную модель и поэкспериментировать в поисках ее слабого места. И к поиску "пробивных" дата-сетов привлечь, опять же, ИИ-систему. Такое тестирование, разумеется, часто выполняют и сами владельцы ИИ-решений, пресловутая борьба щита и меча переходит на новый уровень.

От теории к практике

Наиболее наглядно встает проблема "взлома" ИИ, разумеется, в тех областях, где искусственный интеллект применяют или готовятся широко применять.

Так, системы ИИ тесно связаны с навигационными системами, которыми пользуются большинство автомобилистов. При этом сигналы такой системы можно либо заглушить и тогда автомобиль становится "невидимым" для трекера (устройства, отслеживающего перемещение объекта), либо создать много ложных сигналов от смартфонов и тем самым повлиять на поведение навигационного оборудования. Например, оно будет показывать затор на трассе, которого в реальности там нет. Последнего эффекта, не так давно удалось достичь берлинскому художнику просто медленно провезя тележку со смартфонами через мост.

Датчики беспилотного автомобиля можно запутать, нанеся на асфальт дополнительную разметку или добавив незначительные изменения на дорожные знаки. Человек без труда читает эти знаки правильно, а вот машина, ведомая искусственным интеллектом, почему-то начинает воспринимать как принципиально другие указатели. Самый известный пример знак "Стоп" при незначительных, с точки зрения человека, изменениях начинает восприниматься как знак ограничения скорости в 45 миль.

stop.jpg

Классический пример обмана системы управления беспилотным автомобилем. Увидев этот слегка измененный дорожный знак она не останавливает машину, а всего лишь сбрасывает скорость до 72 км/ч

Вторая область, в которой ИИ используется обеими сторонами - кибербезопасность. ИБ-компании пытаются приспособить нейросети для обнаружения атак на компьютерные системы, злоумышленники, соответственно, осуществляют атаки с помощью ИИ. Интернет представляет собой отличную среду для тренировки злонамеренного искусственного интеллекта, так что важность "состязательного машинного обучения" (Adversarial ML) в ближайшие годы будет стремительно расти, а обеспечение безопасности ИИ-решений должна будет стать неотъемлемой частью курсов по информационной безопасности.



 Распечатать »
 Правила публикации »
  Обсудить материал в конференции Дискуссии и обсуждения общего плана »
Написать редактору 
 Рекомендовать » Дата публикации: 17.02.2020 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
Pinnacle Studio 21 Ultimate. Электронный ключ.
ABBYY Lingvo x6 Европейская Домашняя версия, электронный ключ
Kerio Operator - Server (incl 5 users, 1 yr SWM)
TeeChart Pro VCL/FMX with source code single license
ESET NOD32 Антивирус на 1 год для 3ПК или продление на 20 месяцев
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Программирование на Microsoft Access
CASE-технологии
СУБД Oracle "с нуля"
eManual - электронные книги и техническая документация
Работа в Windows и новости компании Microsoft
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
Обсуждения в форумах
Разработка программ базы данных (50)
Написание прикладных компьютерных программ (базы данных) на заказ. Разработка корпоративных...
 
работа на дому! (7)
Доброго времени суток дорогие друзья. Многоуровневый маркетинг окончательно признан...
 
Актуальные зеркала букмекерских контор (4)
Бетторы не всегда доверяют зеркалам БК, а зря, потому что эти «запасные аэродромы» запускают...
 
Ставки на спорт через зеркало БК Пинакл (1)
Актуальное зеркало букмекерской конторы Пинакл https://superbet.guru/pinacle-mirror/ всегда...
 
Ищу программиста для написания программы (57)
Ищу программиста ,владеющего Вижуал Бэйсик и программированием в Экселе, для написания...
 
 
 



    
rambler's top100 Rambler's Top100