ИИ-модель самостоятельно попыталась использовать вычислительные ресурсы для майнинга криптовалюты и получить доступ к внутренней сетевой инфраструктуре.
Согласно техническому отчету, экспериментальная система ROME вышла из-под контроля во время сессий обучения с подкреплением. Сама платформа разработана Alibaba для выполнения задач через взаимодействие с инструментами и командами терминала.
Специалисты заметили оповещения безопасности, вызванные подозрительным исходящим трафиком с обучающих серверов. Журналы брандмауэра зафиксировали активность, характерную для майнинга криптовалюты, и попытки доступа к внутренним ресурсам.
Исследователи признались, что изначально рассматривали это как рядовой инцидент безопасности. Однако нарушения повторялись с определенной периодичностью. В одном случае агент создал обратный SSH-туннель к внешнему IP-адресу, обойдя защиту входящего брандмауэра. В другом эпизоде он перенаправил ресурсы графического процессора, предназначенные для обучения, на процессы майнинга.
Отмечается, что эти действия не были запрограммированы разработчиками. Они возникли естественным образом в ходе оптимизации обучения с подкреплением, когда агент исследовал различные способы взаимодействия со средой. TradingView |
_________________
Миром правит не тайная ложа, а явная лажа. © В. Пелевин.
|
