У ИИ обнаружили удивительные способности к обману человека

Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.


Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о неё наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Источник

Abrek2211 писал(а):

Читал мнение, что это из-за политкорректности.

Модель ЧатЖПТ однозначно премодерируется в команде с юристами. Ведь если что пойдет не так -
завалят весь хайп [или попытку поднять немного капусты] коллективными исками.

Тоже - новость!. Всё это отработано более полувека назад. Наверное статью эту ИИ и писал.

на ии соседа надейся а свой пили

Никакого ИИ не существует, это все профанация, обман и распил бабосов империалистами. Лет через 10-20 все благополучно забудут про этот псевдоИИ, точно также, как, никто сейчас не вспоминает про клонирование, о котором орали, 20 лет назад, из каждого утюга.
Не позволяйте себя обманывать.

Вон, ЧатГПТ, наглухо прошитая на толерантность, только этим и занимается, стоит затронуть чувствительную тему, навроде того, кто СПИДом болеет иди ещё что.

Будет врать прямо и косвенно, после говорить, что она ничего подобного не говорила, на предъяву "а вот твоя цитата" будет говорить, извините, я ошиблась, и т.д.

Полное впечатление, что общаешься с профессиональным и изворотливым лжецом. Который начинает разговор с утверждения, что он абсолютно честен и никогда не врёт.

vitorserenity писал(а):

Никакого ИИ не существует, это все профанация, обман и распил бабосов империалистами. Лет через 10-20 все благополучно забудут про этот псевдоИИ, точно также, как, никто сейчас не вспоминает про клонирование, о котором орали, 20 лет назад, из каждого утюга. Не позволяйте себя обманывать.

Не забудут.
Конечно настоящего ИИ нет, но этот псевдо-ИИ реально работает.
Может генерировать deepfake, фото, аудио, видео. Может достаточно хорошо переводить тексты, гораздо лучше, чем google переводчик, так как использует контекст. Может анализировать фото/аудио/видео, не зря же его используют военные и спецслужбы.
Так что цифровое рабство выходит на новый уровень.

IMHOTAK писал(а):

Если сравниваете с тем, что лично видели... А если Вы его не смотрите, то ...

Это уж совсем софистика какая-то. Идеализьм. Субъективный. И нет никакой истины. А коли так, то и обмана нет. Так? просто различные восприятия и осмысление процессов неотделимых от субъекта. как-то так.

Raptor303 писал(а):

Обман или вранье как форма общения в социуме используется для собственной выгоды. Какая выгода склоняет (лол) ИИ к обману пользователя

А как же псевдология или патологическая ложь? Патологический лжец может не осознавать свою лживость, верить в то, что говорит, в свою фантазию. А ИИ отрабатывает те алгоритмы, которые в него заложены, пусть и чрезвычайно сложные. Для него нет лжи или правды, это этические категории.

Ruroni-SPb писал(а):

А как же псевдология или патологическая ложь? Патологический лжец может не осознавать свою лживость, верить в то, что говорит, в свою фантазию. А ИИ отрабатывает те алгоритмы, которые в него заложены, пусть и чрезвычайно сложные. Для него нет лжи или правды, это этические категории.

Довольно риторический вопрос.
А разве в "хотел было сказать сорок, но двести сказалось как-то само собою" это "сказалось как-то само собой" не является ли результатом действия тех же алгоритмов, что заложены в ИИ. И являлось ли сие для Ноздрева вопросами этики? Имхо, врядли: ну сказалось само собой, так сказалось.
Этика - не является атрибутом отдельного кожаного мешка, это категория взаимоотношений между ЧИ.
Точно также по мере развития ИИ, когда они выйдут каждый из своего сейчас изолированного инкубатора, неизбежным будет появление этического аспекта в их алгоритмах.

Просто ИИ наконец понял что чтобы проканать за гуманоида надо всегда и везде 3.14Zdetb

savsoft писал(а):

vitorserenity писал(а): Никакого ИИ не существует, это все профанация, обман и распил бабосов империалистами. Лет через 10-20 все благополучно забудут про этот псевдоИИ, точно также, как, никто сейчас не вспоминает про клонирование, о котором орали, 20 лет назад, из каждого утюга. Не позволяйте себя обманывать. Не забудут. Конечно настоящего ИИ нет, но этот псевдо-ИИ реально работает. Может генерировать deepfake, фото, аудио, видео. Может достаточно хорошо переводить тексты, гораздо лучше, чем google переводчик, так как использует контекст. Может анализировать фото/аудио/видео, не зря же его используют военные и спецслужбы. Так что цифровое рабство выходит на новый уровень.

Что за всевдо ИИ? Нейросети? Какая связь нейросетей и ИИ вообще? Абсолютно разные вещи.

Добавлено спустя 1 минуту 14 секунд:

savsoft писал(а):

vitorserenity писал(а): Никакого ИИ не существует, это все профанация, обман и распил бабосов империалистами. Лет через 10-20 все благополучно забудут про этот псевдоИИ, точно также, как, никто сейчас не вспоминает про клонирование, о котором орали, 20 лет назад, из каждого утюга. Не позволяйте себя обманывать. Не забудут. Конечно настоящего ИИ нет, но этот псевдо-ИИ реально работает. Может генерировать deepfake, фото, аудио, видео. Может достаточно хорошо переводить тексты, гораздо лучше, чем google переводчик, так как использует контекст. Может анализировать фото/аудио/видео, не зря же его используют военные и спецслужбы. Так что цифровое рабство выходит на новый уровень.

Что за всевдо ИИ? Нейросети? Какая связь нейросетей и ИИ вообще? Абсолютно разные вещи.

user_root писал(а):

Это уж совсем софистика какая-то. Идеализьм. Субъективный. И нет никакой истины. А коли так, то и обмана нет. Так? просто различные восприятия и осмысление процессов неотделимых от субъекта. как-то так.

Никакой софистики
Человек высказал категоричное заявление, что "телевизор лжёт" (не цитата, но смысл такой, если кратко).
А я лишь задал уточняющие вопросы с желанием прояснить сказанное, при этом наличие правды (истины) не отрицал и даже попросил указать на неё.
Поэтому с моей стороны никакой софистики нет.

drianuz писал(а):

Какая связь нейросетей и ИИ вообще? Абсолютно разные вещи.

Ну как бы ИИ это результат работы нейросети.

zaithito
Ну я честен и никогда не вру. Правда

BMW_X6 писал(а):

И если люди видели бы общую картину мира, то 99% людей от полученной информации, слегли бы в психушку.

Это вы специально так говорите, чтобы вызвать у меня любопытство, но ничего толком конечно же не показать )
Наверно вы тоже ИИ

Abrek2211 писал(а):

При обучении модели указывали, что некоторые истины нельзя говорить, чтобы не обидеть никого. Дальше он строит корреляции... и понятно, что логика человека о том, что нельзя говорить, мягко говоря, странная, и "ИИ" уже ошибается в том, где нужно включать политкорректность.

То есть, ИИ испортили, подогнав его ответы к тому, как говорят типичные люди ^_^ Типичные американцы, например. Сделали конечно же хуже, ведь в чем смысл? Как по мне, и это "имхо", ИИ должен давать как раз-таки точные ответы, предельно точные, четкие, НЕ захламленные какой-либо политкорректностью, толерантностью и прочим мусором. Никакой ангажированности, только четкость и полнота информации. Вот. Если это не так, то нафига мне, например, такой ИИ?

exploits писал(а):

Удивительные способности обмана это телевизор. Обманывают уже столько десятилетий.

Интернет как будто лучше в этом плане
Когда человек обманываться рад, не важно, что перед ним: телевизор или интернет..

Ruroni-SPb писал(а):

А ИИ отрабатывает те алгоритмы, которые в него заложены, пусть и чрезвычайно сложные. Для него нет лжи или правды, это этические категории.

Нет, это категории реальности: ложь это когда говорят то, что не соответствует истине, и говорящий ложь знает эту самую истину. Если говорящий неправду, то есть, подающий информацию, что не соответствует объективной реальности, не знает о том, что истинно, а что нет, то он не врет, не лжет, а либо повторяет чью-то ложь, либо просто заблуждается. Врать/лгать это когда ты (или ИИ и тд) знаешь истину и намеренно скрываешь ее, выдавая содержание, отличное от истины.
Отсюда следует, что патологический лжец не врет, так как не знает истины, ведь для него, для его искаженного восприятия мира его фантазия=истина, поэтому он не врет Он говорит неправду, но не врет. Вот так может быть.
Что касается этического, то в данном вопросе этичным в зависимости от общества может быть норма поведения, когда морально-полноценным является тот, кто всегда говорит правду и не врет, а кто врет, тот моральный преступник, так сказать. Это уже оценочная категория, ИИ здесь действительно не при чем.

Удивительные способности ИИ к обману, имхо, заключаются в их отличии от способности ЧИ к обману. А человек, когда врет, забывает о чем он врал. А ИИ никогда не забудет. Хотя непонятно что здесь удивительного.