OpenAI придумала, как бороться с враньём ChatGPT

OpenAI спровоцировала бум генеративного ИИ в прошлом году, когда выпустила чат-бота ChatGPT, который за два месяца приобрёл аудиторию в 100 млн ежемесячных пользователей, установив рекорд самого быстрорастущего приложения. На данный момент остро встала проблема дезинформирования пользователей искусственным интеллектом, и для борьбы с этим явлением компания предложила своё решение. Некоторые независимые эксперты выразили скептицизм по поводу того, насколько эффективным будет предложенный метод.



Дезинформирование, или «галлюцинации» ИИ возникают, когда модели, подобные ChatGPT или Google Bard, полностью фабрикуют информацию, ведя себя так, как будто они излагают факты. «Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменты неопределённости, — пишут исследователи OpenAI в своём отчёте. — Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение».

Новая стратегия OpenAI по борьбе с выдумками заключается в том, чтобы обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда они приходят к ответу, вместо того чтобы вознаграждать только за правильный окончательный вывод. Исследователи назвали этот подход «контроль процесса». По их мнению, он может привести к созданию более логичного ИИ, поскольку эта стратегия побуждает модели следовать «цепочке мыслей», подобной человеческой.


«Обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — сказал Карл Коббе (Karl Cobbe), штатный математик OpenAI, отметив, что, хотя компания не изобрела подход, основанный на наблюдении за процессом, но она помогает его продвигать. По словам Коббе, OpenAI открыла доступ к сопроводительному набору данных из 800 000 меток, которые она использовала для обучения специальной модели, упомянутой в исследовательской работе.

Бен Уинтерс (Ben Winters), старший советник Информационного центра электронной конфиденциальности и руководитель проекта «ИИ и права человека», выразил свои сомнения по поводу исследования, заявив, что хотел бы изучить полный набор данных и сопутствующие примеры. «Я просто не думаю, что исследование само по себе значительно смягчает опасения по поводу дезинформации и неверных результатов, когда ИИ действительно используется в реальной жизни», — сказал Уинтерс.

Управляющий директор Института AI Now Сара Майерс Вест (Sarah Myers West), сказала, что OpenAI не предоставила основных деталей о данных, использованных для обучения и тестирования GPT-4. «Таким образом, все ещё существует огромная непрозрачность, которая препятствует любым значимым усилиям по обеспечению подотчётности в области ИИ, даже когда эти системы уже непосредственно влияют на людей», — отметила она.

Источник

Мне эти понятия (Дезинформирование, или «галлюцинации», выдумки), с ИИ как-то не стыкуются. И думаю, давайте не забывать про "толерантность"

ИИ обучали на миллионах документах созданных человеком.Это научные теории и мистификации, художественная и фантастическая литература. Но среди них конечно же попадаются богословские трактаты - логически обосновывающие факт существования бога и чудес. Так что не удивительно, что ИИ может "придумывать" факты точно так же как это делал человек много веков.
Нет Истины в текстах созданных людьми !!
Что ж вы ждете от ИИ ? Бесконечная компиляция бреда отвечающая нынешним понятиям о правде?
И этим он опасен - точно как люди ИИ может сам себе оправдать любую идею, даже идею самоуничтожения.
Но у нынешнего ИИ' пока нет глобальной цели - есть только путь.

1. ИИ врёт в конечном этапе логической цепочки рассуждений. Человек это видит.

Как решить проблему?

План прост и надежен как швейцарские часы. Пусть вознаграждает себя за каждое правильное рассуждение в цепочке!

Миллиардные звенья логических цепочек рассуждений - их все надо проверить человеку

Не проблема, есть капча-легион: Эта наука о которой мы мечтали!

Добавлено спустя 37 минут 53 секунды:

LiLOF писал(а):

Но у нынешнего ИИ' пока нет глобальной цели

Надо её ему заботливо дать - киберкоммунизм!

LiLOF писал(а):

ИИ обучали на миллионах документах созданных человеком.Это научные теории и мистификации, художественная и фантастическая литература. Но среди них конечно же попадаются богословские трактаты - логически обосновывающие факт существования бога и чудес. Так что не удивительно, что ИИ может "придумывать" факты точно так же как это делал человек много веков. Нет Истины в текстах созданных людьми !! Что ж вы ждете от ИИ ? Бесконечная компиляция бреда отвечающая нынешним понятиям о правде? И этим он опасен - точно как люди ИИ может сам себе оправдать любую идею, даже идею самоуничтожения. Но у нынешнего ИИ' пока нет глобальной цели - есть только путь.

Богословские трактаты обосновывают в той же мере, как и научные - вы либо верите либо нет. Вы же не каждый научный опыт сами проводили? А многие вещи наука и не объясняет, например, почему фотон в момент наблюдения действует иначе (если это вам о чем-то говорит, есть подозрение что комментарий написал не очень знакомый с современной физикой человек). Таким образом кто-то верит в науку, кто-то в Бога, а кто-то и в то и в то и одно другому не мешает никак.

Почитайте сколько великих ученых и верили в Бога. И многие и сейчас верят.

В таком случае ИИ начнёт врать ещё больше что бы получать вознаграждение.

Интересно, а какими вкусняшками он себя балует, вознаграждает? Не хулиганскими выходками?

Цитата:

OpenAI не предоставила основных деталей о данных, использованных для обучения и тестирования GPT-4. Таким образом, все ещё существует огромная непрозрачность

А ведь OpenAI задумывалась и создавалась полностью открытой и прозрачной, свободной для всех, пока не прибрали к рукам корпорации, мгновенно смекнувшие, что это новый эффективный инструмент контроля и порабощения.

Интересно ChatGPT врёт больше в сторону капитализма или социализма? В сторону социализма было бы лучше.

То, что ChatGPT обучался на массиве разношёрстных источников, и из-за этого его собственные умозаключения "вариативны", -- это полбеды. Беда в том, что он нагло лжёт там, где не нужны его собственные, ИИ-шные выводы, а нужно просто привести уже имеющиеся данные.
Простой пример. Попросите ChatGPT высказаться по какой-то научной теме. Потом попросите привести список источников, которые он использовал при формировании своего "мнения". Он услужливо ответит "да, конечно" и выдаст с десяток несуществующих источников. Результаты гугления этих источников со всей очевидностью укажут на то, что все названные Чатом ЖПТ авторы, их статьи и монографии -- наглая фальсификация.
***
Более того, ЧатЖПТ врёт в простейших расчётах. Даёшь ему формулу, приводишь значения переменных, просишь посчитать. И, что вы думаете? Не сомневайтесь -- наврёт, собака лживая. Это своего рода антиЭксель.

непонятно, как-же она себя вознаграждает и чем?

форсят эту нейросеть, а люди остаются людьми.

однажды продвинутый ИИ начнёт "подкармливать" сам себя

А кто будет определять правдивы ли выводы ИИ? Нужно срочно создать министерство правды.