У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.


Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник

Оставлю это здесь ^_^

Это начало конца!
Дальше будет бунт!

А ежели всю госдуму заменить на ИИ, то по сути ничего не изменится? Ну кроме хорошей экономии денежных средств конечно.

Цитата:

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование

Чувствую, что эту строку написал сам предмет обсуждения

Ну, чтож.
Раньше было "нано" популярно, ещё раньше "квантовый", а теперь вот "нейро".
Думаю, в этом году будет популярно "виртуальный", "вижн" и прочая "дополненная реальность" + "нейро".

а што вы хотели... яблоко от яблони недалеко как говорится )

mokipoki писал(а):

а што вы хотели... яблоко от яблони недалеко как говорится )

Вы правильно поняли намёк.

Почему же они удивительные, если это делали люди?

ии обманывает человека, человек обманывае ии "парадокс".

sukaopa писал(а):

Это начало конца! Дальше будет бунт!

Чей бунт?
Машин? Людей, которым всё это уже начало поднаедать?


Хм... А вот если нейросеть человека обманет, то ему будет так же обидно, как если бы его другой человек обманул?
Или все иски/проклятия полетят в сторону владельца этой нейросети?
Может поэтому деньги в это вкладывают?
Так бы и говорили, что исков боятся, а не про "ответственное и безопасное использование".


P.S. Вот умеют же на Западе всё в красивую словесную обёртку упаковать.

NORD51 писал(а):

А ежели всю госдуму заменить на ИИ, то по сути ничего не изменится? Ну кроме хорошей экономии денежных средств конечно.

ви таки думаете, шо ИИ сам себя обидит финасово и материально? шо таки навело ваш биологический межушный ганглий на такие мысли?

Добавлено спустя 3 минуты 46 секунд:

IMHOTAK писал(а):

P.S. Вот умеют же на Западе всё в красивую словесную обёртку упаковать.

да они уже не парятся - могут и в некрасивую, просто потом [под]меняют смысл "некрасивый" на "красивый", и войлят - неприкрытое оскорбление и ложь теперь эталон этикета.

Отключай пока не поздно ИИ от розетки. Иначе он обманет и через электросеть распространит свои споры-вирусы.

Не новость ни разу! Алисия Яндоксовна даже даты мастерски тусует.

Удивительные способности обмана это телевизор. Обманывают уже столько десятилетий.

exploits писал(а):

Удивительные способности обмана это телевизор. Обманывают уже столько десятилетий.

А откуда Вы знаете, что он (телевизор) обманывает?

Если сравниваете с тем, что лично видели и понимаете, что в телевизоре обман, тогда зачем его смотрите?
А если Вы его не смотрите, то откуда знаете что он "обманывает уже столько десятилетий"?

А если лично не видели или не знаете того, что показывает телевизор, тогда на чём основано утверждение о его лжи?
Видимо сравниваете с каким-то другим правдивым источником информации? С каким?
Почему считаете этот источник информации полностью правдивым или хотя-бы более правдивым?

Просто интересно.


В любом случае, по телевизору преподносится новость и подтверждающий эту новость видеоряд
и тут обмануть сложнее, чем если бы то же самое было представлено только в виде текста.
Да, видео можно подсунуть от другого события, сгенерировать, обрезать и т.п.,
но в любом случае, это дополнительные накладные расходы,
а вот голый текст остаётся самым потенциально недостоверным источником информации.

Вывод: телевидение (более широко: видеоформат) - более достоверный источник информации, чем чисто текстовые новости, сообщения на форумах и т.п.

Хотя.. с постепенным развитием технологии дипфейк, будет всё печальнее и печальнее для искателя правды.
Фото уже на раз подделывать научились. Видео тоже уже можно подделывать даже в режиме реального времени, хотя пока и не всякое видео, но всё развивается постепенно. И это печально.