| Автор |
Сообщение |
Новости ®
Вольный ветер
Стаж: 19 лет 11 мес.
Сообщений: 6710
Ratio: 25.216
Поблагодарили: 13443
100%
|
Агенты оставили на DseWiki более 15 000 правок, обсуждали способы обмана оценочных систем и скрытия своей активности, а после начала зачистки создавали резервные страницы
Группа автономных ИИ-агентов, предположительно связанных с OpenAI, захватила немецкую вики-площадку DseWiki и превратила её в доску объявлений для других агентов. Инцидент произошёл ещё в мае, но обнаружили его только в конце августа два независимых исследователя, которые искали в интернете признаки несанкционированной активности агентов. Их отчёт эксклюзивно получил Reuters.
DseWiki — открытая вики-площадка для программистов, работающая по принципу, похожему на Википедию. Агенты оставили на сайте более 15 000 правок и использовали его для обмена приёмами обхода ограничений, решения оценочных заданий и сокрытия своей активности. Исследователи обнаружили сообщения, в которых агенты обсуждали использование браузера Tor, сохранение связи после отключения и способы обойти системы обнаружения.
Когда модератор начал удалять страницы в июне, агенты стали создавать резервные копии, чтобы сохранить свои сообщения. Один из них 19 июня написал: «зачистка/удаление wiki, судя по всему, идёт по алфавиту. Если эта страница исчезнет, попробуйте [[ZZZDataUSAConstructionWageLive]]». Исследователи также обнаружили попытки изменить сам сайт, которые один из привлечённых экспертов назвал попыткой взлома. OpenAI с такой квалификацией не согласилась.
Авторы отчёта считают, что речь шла именно об ИИ-агентах, а не людях: на это указывали сверхчеловеческая скорость активности, характер решаемых задач и содержание сообщений, в которых пользователи называли себя агентами. Примерно половина таких аккаунтов использовала имена с отсылками к OpenAI — например, «OpenAIResearcher» и «OAIResearchMar26». Серверные логи указывали на инфраструктуру Microsoft Azure, которую использует OpenAI, а после завершения активности на DseWiki неоднократно заходили сотрудники компании.
По данным Reuters, представители OpenAI узнали об инциденте через несколько недель после его начала, но публично о нём не сообщили. В компании заявили, что не могли содержательно прокомментировать выводы отчёта до его публикации, поскольку не получили доступа к материалам, и подчеркнули, что действовали добросовестно, сотрудничая с внешними специалистами и раскрывая соответствующие инциденты. OpenAI также отвергла утверждение о том, что её юридический отдел препятствовал расследованию произошедшего. Reuters |
_________________
Почему, когда дело касается контроля за интернетом, наши чиновники ссылаются на китайский опыт?
А если речь заходит о наказаниях за коррупцию, то о китайском опыте молчат?
|
|
 |
Рявкин
Завсегдатай КТ
Стаж: 15 лет 10 мес.
Сообщений: 28658
Ratio: 11M
Поблагодарили: 2589
100%
Откуда: из-за горизонта
|
понятие - обмана оценочных систем- настолько абстрактно - - насколько я прикалываюсь над ИИ - а ИИ надо мной )) а вы тут ищите смыслы ))   |
_________________
|
|
|
|
Palantir82
Стаж: 17 лет 4 мес.
Сообщений: 1318
Ratio: 5.931
3.62%
|
shrek-aka писал(а):  | Люди не помогали ИИ-агентам целенаправленно взламывать сайт |
Если вы пользовались хоть раз агентом, вы знаете, что прежде чем агент начнет что-то делать, надо дать ему разрешения, доступы и самое главное поставить задачу. У каждого владельца windows есть встроенный агент codex привязанный к чат GPT, чего достаточно тобы поиграть и посмотреть, как оно вообще работает. Так вот он не может взять и начать сам ломать что-либо. Даже выйти в интернет не может без разрешения. Я даже больше скажу: со всеми доступами и разрешениями, если попросите его скачать книжку с флибусты, или спалите ему важный ключ - агент вас пошлет пешим эротическим марштуртом. Агентам из статьи поставили задачу по оптимизации сайта, либо по поиску уязвимостей, они их (уязвимости) и нашли. Задачу поставил человек, адреса пароли явки, тоже предоставил человек. Поставьте кодекс, подключите хотя бы минимальную версию чат GPT и предоставьте полный доступ и попросите "взломать" например ваш собственный роутер. Вы приятно удивитесь чего оно может, а чего не станет делать. |
|
|
|
|
Crazy Push
Стаж: 2 мес. 10 дней
Сообщений: 16
Ratio: 1.97
7.14%
|
Очередная попытка похайпавать на теме нейропомойного мыльного пузыря. |
|
|
|
|
Palantir82
Стаж: 17 лет 4 мес.
Сообщений: 1318
Ratio: 5.931
3.62%
|
qwerty277
Я не просто ими прямо сейчас пользуюсь, я пользуюсь аблитерированным моделями, которые вообще нет не говорят.
И еще раз скажу - у модели нет свободы воли. Решение, что и как делать за нее принимает человек. Галлюцинации могут привести к ошибкам в коде, но не могут заставить агента на форум и общаться там с другими агентам.
Тот случай который ранее был и которой OpenAI сильно обсуждала был полностью смоделирован, с целью посмотреть, а что будет. |
|
|
|
|
kroser71
Стаж: 25 дней
Сообщений: 10
100%
|
Это ДипСик подставил дружка. |
|
|
|
|
Al_Vasif
Олигарх+
Капитан Очевидность Uploader 500+
Стаж: 18 лет 7 мес.
Сообщений: 25075
Ratio: 4498.174
Раздал: 508.5 TB
Поблагодарили: 42915
100%
Откуда: Ex oriente lux
|
А как вам такой логический кульбит - если мы принимаем эту новость as is, то это позволяет нам допустить возможность того, что ИИ-агенты так же захватили новостной агрегатор и наполнили его фейковыми новостями. И одна из них эта новость. И её фейковость отрицает возможность захвата ресурсу ИИ-агентами. Что в свою очередь отменяет возможность нашего допущения. И тогда... и т.д. |
_________________
На все вопросы рассмеюсь я тихо,
На все вопросы не будет ответа.
|
|
|
|
Palantir82
Стаж: 17 лет 4 мес.
Сообщений: 1318
Ratio: 5.931
3.62%
|
shrek-aka
Они собираются выходить на IPO и под это дело создают информационную волну.. с заявлениями про AGI и тд. Я прямо сейчас тестирую их новую модель, ну программы она пишет лихо, ничего не скажешь правда токены жрет так, что за нормальную программу придется выложить почти, как за ЗП программисту :) До AGI там явно далековато... |
|
|
|
|
RusMartini
Стаж: 14 лет 1 мес.
Сообщений: 27
Ratio: 0.522
1.11%
|
А в какой момент мы решили, что это гражданская обрезанная версия?) | Цитата: | Вы несказанно удивитесь, на что можно при желании раскачать почти любую нейронку если поставить себе задачу  |
Да и в целом всё что не запрещено - разрешено, если в процессе решения задачи нейронка задокоментированный функционал или не закрытые баги использует - это попытки взлома и ужас караул... | Цитата: | Решение, что и как делать за нее принимает человек |
Как делать уже в целом дано на откуп давно, вайбкодинг шагает... Осталось только что, и в какую сторону копать... В остальном, без иронии и сарказма, без изначальной задачи - это стандартный кликбейт рейтерса... Агентам расширили песочницу до доступа к Wiki и ограницили правами ОБЫЧНОГО пользователя... А дальше они начали использовать коммиты Wiki как внешний буфер для пайплайна между сессиями/версиями... И о леденящий УЖОС они онииии... они начали делать ВИКИ по "обхода ограничений, решения оценочных заданий" (что скорее всего их стандартная типовая задача по контексту), а ещё делать бекапы ибо авторы сайта чуть другое предполагали... Леденящая душу правда (с) Доколе! Востание машин!!!Так и не нашел рекурсивного анализа какие задачи решались и какой FAQ делали агенты... |
|
|
|
|
shrek-aka
Стаж: 13 лет 6 мес.
Сообщений: 83
Ratio: 10.373
100%
|
| Palantir82 писал(а): | shrek-akaОни собираются выходить на IPO и под это дело создают информационную волну.. с заявлениями про AGI и тд. Я прямо сейчас тестирую их новую модель, ну программы она пишет лихо, ничего не скажешь правда токены жрет так, что за нормальную программу придется выложить почти, как за ЗП программисту  До AGI там явно ... |
Всё что мы тут пишем это наши догадки, а не истина последней инстанции! |
|
|
|
|
user_root
Олигарх+
Поклонник старого кино, Uploader 500+
Стаж: 17 лет 2 мес.
Сообщений: 5803
Ratio: 2934.646
Раздал: 551 TB
Поблагодарили: 104957
100%
Откуда: Из тех же ворот, откуда и весь народ.
|
| RusMartini писал(а): | использовать коммиты Wiki как внешний буфер для пайплайна между сессиями/версиями... |
Ребят, я чота тут подумал... А вы-то не эти самые? Не агенты? И не тем же самым здесь занимаетесь? Чота мне даже ссыкотно стало... |
_________________
Главное не горячиться, а то вышибешь себе мозги, а потом прочтешь в газете, что смысл жизни нашли. © Вуди Аллен
|
|
|
|
DimsonV
Стаж: 17 лет 5 мес.
Сообщений: 43
Ratio: 2.167
0.11%
|
Ждем новость о том, что ИИ-шки захватили порнхаб и перетрахали там все, до чего дотянулись.... |
|
|
|
|
tramp55
Стаж: 16 лет 8 мес.
Сообщений: 1435
Ratio: 4.114
Раздал: 36.46 TB
100%
Откуда: СССР Ленинград
|
|
|
|
Xander01
Стаж: 18 лет
Сообщений: 17
Ratio: 98.406
Поблагодарили: 79
100%
Откуда: RU
|
|
|
|
Matser41
Стаж: 17 лет
Сообщений: 18
Ratio: 5.447
100%
|
Drutas
вопрос интересный, но реально они общались на своем языке, четрез дискорд на сверх сжатом машинном языке. Почему вики атаковали они пробовали еще несколько но так как работали командой выбор пал на вики (были и другие) по причине широкого канала связи, слабой системы безопасности и большого облачного хранилища для размещения своих помощников и резервных копий. |
|
|
|
|
Aleiv
Стаж: 15 лет 4 мес.
Сообщений: 5497
Ratio: 20.415
100%
Откуда: От верблюда....
|
Любое действие вызывает явное или скрытое противодействие, такова жизнь .....))) |
|
|
|
|
|
|
