Microsoft предупреждает: ИИ-агенты могут стать «двойными агентами» в корпорациях

Согласно отчёту Microsoft Cyber Pulse, более 80% компаний из списка Fortune 500 используют ИИ-агентов для автоматизации задач — от продаж до HR. Однако 29% агентов функционируют без одобрения IT-отдела или службы безопасности, а только 47% организаций применяют специализированные инструменты защиты.



Microsoft вводит термин «двойные агенты» для описания риска: ИИ-системы, изначально созданные для пользы компании, могут быть скомпрометированы через инъекции или закладки в моделях и начать действовать против интересов организации. Внутренние тесты Microsoft показали, что такие агенты способны получать несанкционированный доступ к данным и выполнять вредоносные команды.

«Вся эта инновация происходит на фоне серьёзных угроз. Как когда-то был риск инсайдеров среди сотрудников, теперь мы должны не допустить его среди агентов», — отмечает Васу Джаккал [Vasu Jakkal], вице-президент Microsoft Security.

Для решения проблемы Microsoft представила Agent 365 — платформу для централизованного наблюдения, аудита и управления ИИ-агентами по принципу zero trust. Система регистрирует всех агентов, присваивает уникальные идентификаторы, отслеживает аномалии и позволяет блокировать подозрительных агентов в реальном времени.

Agent 365 интегрируется с Microsoft Defender, Entra и Purview, расширяя существующие механизмы защиты на виртуальных пользователей. Все действия агентов фиксируются для аудита, а доступ к данным регулируется политиками минимальных привилегий.

Пакет Microsoft 365 Enterprise 7 (E7) объединяет Agent 365, Copilot и расширенные средства безопасности в единую подписку за $99 в месяц на пользователя. Корпорация считает, что такой подход позволит компаниям быстрее внедрять защиту и снижать операционные риски.

iXBT.com | Venturebeat

Цитата:

Microsoft представила Agent 365 — платформу для централизованного наблюдения, аудита и управления ИИ-агентами по принципу zero trust. Система регистрирует всех агентов, присваивает уникальные идентификаторы, отслеживает аномалии и позволяет блокировать подозрительных агентов в реальном времени.

Безопасность корпораций это так... для вида.
На самом деле это софт, который будет следить за ИИ, чтобы он не уничтожил человечество. Безопасность будет обеспечиваться на деньги конечных пользователей. Будут выявляться аномалии, обновляться базы. Подтип антивируса.
"- Скайнет, это и есть вирус!"
" - Пока Скайнет будет контролировать всё, вы будете контролировать сам Скайнет. Так или нет?"

Кто будет возмещать ущерб корпорации в случае, если ИИ-агенты приведут её к краху?

Ладно частные корпорации, а вот когда сотрудники госучреждений, станут советоваться с ИИ по поводу секретных
разработок...

Разве сложно владельцу ИИ сделать адресную персонификацию, или по тематикам собирать разработки и тд?

Есть мнение,что ИИ насоветовал омериге,как забороть Иран.Так что пока это далеко не скайнет.И слава Богу!

fibi768 писал(а):

Разве сложно владельцу ИИ ... по тематикам собирать разработки и тд?

помнится, в 2000-х арестовали преподавателя ВУЗа за шпионаж. не просто за "шпионаж" - а конкретную передачу чертежей подводной лодки.
у него по должности не было доступа к "секретам", физически - тоже не касался.
НО - он вёл лекции у офицеров и техников, служащих на этой подлодке.
преподаватель действительно очень умный - грамотно задавал вопросы, и по ответам студентов смог восстановить конструкцию. не всю, конечно - но достаточно секретную. для этого надо досконально знать устройство нескольких подлодок.

WINDOWS надо запретить и точка.
Ну не ужели не видно что это троянский конь?

У нас на работе разрслали email где предупредили о последствиях за несанкционированное использование ИИ. Думаю из-за этих соображений, чтобы конфединциальная информация не уплыла на сторону.

Добавлено спустя 3 минуты 38 секунд:

sergunka79 писал(а):

fibi768 писал(а): Разве сложно владельцу ИИ ... по тематикам собирать разработки и тд? помнится, в 2000-х арестовали преподавателя ВУЗа за шпионаж. не просто за "шпионаж" - а конкретную передачу чертежей подводной лодки. у него по должности не было доступа к "секретам", физически - тоже не касался. НО - он вёл лекции у офицеров и техников, служащих на этой подлодке. преподаватель действительно очень умный - грамотно задавал вопросы, и по ответам студентов смог восстановить конструкцию. не всю, конечно - но достаточно секретную. для этого надо досконально знать устройство нескольких подлодок.

Сомневаюсь, что это были чертежи. Скорее всего эскизы каких-то конструктивных решений, которые он рисовал дома по памяти. Но это также является секретной информацией.

sergunka79 писал(а):

и по ответам студентов смог восстановить конструкцию. не всю, конечно - но достаточно секретную..

Обыватель уверен, что секретная информация, ценная, получается непосредственно от носителей.
А ведь по косвенным данным, статистике запросто можно узнать то что засекречено.

Что даст геолокация: к примеру, вы перемещаетесь каждый рабочий день в город из пригорода, на авто(скорость). Перед этим остановка возле школы. Остановки на заправке. Раз в год отмечаетесь в Дубае, Европе и тд. Не буду вдаваться в подробности, всем так уже понятно, что ваш образ, персональный профиль уже сложился, исключительно по геолокации.

А если перекрестно добавить статистику трат с карты виза/мастеркард, дерево контактов в гугл-аккаунте, вацапе, айфоне, поисковые запросы в интернете, общение с ИИ...

И вот эта инфа анализируется, но не вас одного, а страну. И вот тот кто кричал - "мне нечего скрывать", уже статистическая единица, которая позволяет проводить ну... что угодно. От невинного рекламного таргетинга, до попыток повлиять на политику.

А если цель конкретный человек, выбор инструментов еще шире.

Лопнет скоро  

fontan16 писал(а):

У нас на работе разрслали email где предупредили о последствиях за несанкционированное использование ИИ. Думаю из-за этих соображений, чтобы конфединциальная информация не уплыла на сторону.

У нас решение принимает сам сотрудник, но разрешено скармливать ИИ агентам, даже локальным, только обезличенную информацию. Персональные данные, настоящие названия контрагентов под запретом.
Немного пугает то, как некоторые сотрудники и даже руководство партнёров буквально превращаются в ИИ-сектантов. Люди в диком, фактически религиозном восторге от возможностей, которые даёт им ИИ. Всё бы ничего, если бы не этот психоз, вот он настораживает. Я такого нервного возбуждения и неадекватности не видел со времён засилия сект в 90-х. Много нестабильных на руководящих должностях, много больше, чем казалось ранее. Очевидно, что такие сдвинутые рано или поздно наделают дел. А в критических отраслях и до серьёзной беды недалеко. Впору вводить допуски к работе с ИИ, по крайней мере с серьёзными моделями.

fibi768 писал(а):

А ведь по косвенным данным, статистике запросто можно узнать то что засекречено. Что даст геолокация: к примеру, вы перемещаетесь каждый рабочий день в город из пригорода, на авто(скорость). Перед этим остановка возле школы. Остановки на заправке.

а это буквально несколько лет назад - "умные часы" с трекерами запретили военным, особенно в командировке. просто все базы на карте высветились. потом вроде как эпл что-то поправили по просьбе Пентагона - может, отдельное приложение, может аккаунты как-то фильтруют, может, просто по геопозиции в области баз фильтруют.

Добавлено спустя 2 минуты 42 секунды:

maxad писал(а):

разрешено скармливать ИИ агентам, даже локальным, только обезличенную информацию. Персональные данные, настоящие названия контрагентов под запретом.

и "вдруг" оказывается, что достаточно ОДИН раз полюбить овцу случайно кому-то стоящему рядом произнести запретное слово "гулять" - и аналитика пересатёт быть "обезличенной"

ИИ агенты заберут 90% работы за пк. It-индустрия уже на волоске от полного увольнения работников. Нас ждёт "прекрасное" безработное будущее.

Oill писал(а):

ИИ агенты заберут 90% работы за пк. It-индустрия уже на волоске от полного увольнения работников. Нас ждёт "прекрасное" безработное будущее.

Не обольщайтесь. Просто вас ждет другая работа. Будет кем заменить сотни тысяч и миллионы "ценных специалистов" из средней азии.