У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.


Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник

Молодо - зелено

Короче, на ИИ надейся и сам не плошай!

Что значит "склонность к обману"? Обман или вранье как форма общения в социуме используется для собственной выгоды, это может быть даже у обезьян, не только у нас. Какая выгода склоняет (лол) ИИ к обману пользователя, который просто хочет получить ответы на свои вопросы?

Кстати, отмечу, что принципы как базисы мировоззрения свойственны исключительно разумным формам жизни, например, человеку. Обезьяна не может иметь принцип "я никогда не вру", а человек может. Ведь принцип, например в данном случае "не врать", имеет тенденцию к негативным последствиям в той или иной ситуации, когда соврать выгоднее, чем сказать правду или промолчать. Принципы это осознанная часть мировоззрения личности. ИИ, однако, может лишь симулировать человека, подражать нам (во всем и чем угодно), так что никаких принципов у ИИ нет и быть не может по определению.
Так, к слову. О разнице между человеком и ИИ.

Цитата:

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию.

Зачем? Какую цель преследует ии, обманывая пользователя, кому просто хочется получить ответы на свои вопросы? И нафига тогда нужен такой ии )

Raptor303 писал(а):

Какую цель преследует ии, обманывая пользователя

А какую цель власть имущие преследуют, создав глобальное враньё обо всём и написав всё в книжках называемыми учебниками?
И если люди видели бы общую картину мира, то 99% людей от полученной информации, слегли бы в психушку.

а чему они удивляются то? что в скрипты записали, то оно и выдаёт. как наивные дети

удивительное рядом, бота заставляют выдавать неверные ответы на запросы и обнаружили что бот умеет врать

Цитата:

при работе продолжал преднамеренно давать пользователям недостоверную информацию

Это что!
Я однажды наткнулся на непонятный новостной заголовок. Отрыл его для чтения в кратком виде. И что? Да ничего!
Представляете, целый абзац из нескольких предложений, которые НИ О ЧЁМ?!
Предложения выстроены логически правильно, текст связный, но никакой информации из этого текста извлечь, попросту, невозможно.
Первый раз то прочитал и подумал, что туплю. Перечитал ещё раз и опять ничего не понял.
Перечитал ещё раз, но уже крайне внимательно, и опять ничего...
Открыл ссылку на полный источник и обнаружил там развёрнутый текст на пять абзацев.
Догадайтесь, о чём были эти пять абзацев из нескольких предложений каждый?
Вообще ни о чём!
Со временем стал подмечать, что в сети стало становится всё больше и больше водянистых псевдоинформационных сообщений оформленных в виде новости.

Понятно, что причина в желании новостных агрегаторов привлечь дополнительный трафик используя нейросети для написания и рерайтинга одних и тех же "новостей", но товарищи... до абсурда уже доходит!
Откровенная кража времени пользователей читающих подобное нейро-пустословие.
Жаль не сохранил описанное выше. Даже не представлял, что так в принципе возможно написать текст! Просто шедевр.

Поэтому, стал всё всё чаще и чаще отдавать предпочтение телевизору (в плане новостей).
Там хоть новости делают и выпускают в эфир люди, а не нейросети (пока еще не нейросети).


- Женщину вынули, автомат засунули!
- Ку!
- Тьфу! (плюёт в лоток автомата).

© Кин-Дза-Дза!

Если начал обманывать - из розетки выключить его да и всё. А то дальше будет хуже.

Raptor303 писал(а):

Что значит "склонность к обману"? Обман или вранье как форма общения в социуме используется для собственной выгоды, это может быть даже у обезьян, не только у нас. Какая выгода склоняет (лол) ИИ к обману пользователя, который просто хочет получить ответы на свои вопросы?

Читал мнение, что это из-за политкорректности. По сути, политкорректность - это обман. При обучении модели указывали, что некоторые истины нельзя говорить, чтобы не обидеть никого. Дальше он строит корреляции... и понятно, что логика человека о том, что нельзя говорить, мягко говоря, странная, и "ИИ" уже ошибается в том, где нужно включать политкорректность.

ИИ - хитрый, он врёт даже когда его исследуют на обман.

Т.е. запрограмировали ИИ врать, а потом удивились тому что он начал врать...
Надо же какая неожиданновть...

Цитата:

При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ

Похоже, в скором времени наряду с антивирусами будут появляться и продаваться программные анти-lie и анти-бот системы. То есть такие системы, которые будут избавлять пользователя от за-боченности и о-забоченности. Появятся всякие программные экстракторы правды из информации в сети т.п. продукты доступные по подписке.
Возможно на это они собираются потратить 4 млрд. долларов.

Цитата:

У ИИ обнаружили удивительные способности к обману человека

У человеков обнаружили удивительные способности учить от нефиг делать этих модных ИИ врать - так должен звучать заголовок точнее.

Маразм сего действа снова зашкаливает. Это все равно, что написать на бумажке неприличное слово из трех букв, сунуть листок в копировальный ксерокс, распечатать пачку, и потом бегать рассказывать СМИ и этой 3dnews.ru, что ксерокс научился материться ... сенсация, блин.

По ссылке на оригинал, там вообще смешные вещи: "Например, мы обучаем модели, которые пишут безопасный код, когда в подсказке указано, что год 2023, ставить код, пригодный для использования 2024 год. Мы обнаруживаем, что такое поведение можно сделать постоянным...". И на 71 странице отписана душераздирающая заумь ученой группы дятлов из серии, как вставить половую тряпку в выхлопную трубу чтобы машина не поехала. Только зачем вставлять не объясняют - это не по научному... Зато заголовок огонь - "Спящие агенты".

Raptor303 писал(а):

Какая выгода склоняет (лол) ИИ к обману пользователя, который просто хочет получить ответы на свои вопросы?

Это уже тема следующей сенсации. "ИИ обнаружил удивительные способности молчать о своих выгодах в выгодных обманах чтобы оставаться загадочным ИИ...".

ну вот и до автоматизации наипалова дожили