OpenAI придумала, как бороться с враньём ChatGPT

OpenAI спровоцировала бум генеративного ИИ в прошлом году, когда выпустила чат-бота ChatGPT, который за два месяца приобрёл аудиторию в 100 млн ежемесячных пользователей, установив рекорд самого быстрорастущего приложения. На данный момент остро встала проблема дезинформирования пользователей искусственным интеллектом, и для борьбы с этим явлением компания предложила своё решение. Некоторые независимые эксперты выразили скептицизм по поводу того, насколько эффективным будет предложенный метод.



Дезинформирование, или «галлюцинации» ИИ возникают, когда модели, подобные ChatGPT или Google Bard, полностью фабрикуют информацию, ведя себя так, как будто они излагают факты. «Даже самые современные ИИ-модели склонны выдавать ложные сведения. Они демонстрируют тенденцию выдумывать факты в моменты неопределённости, — пишут исследователи OpenAI в своём отчёте. — Эти галлюцинации вызывают много проблем в областях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать гораздо более масштабное решение».

Новая стратегия OpenAI по борьбе с выдумками заключается в том, чтобы обучать модели ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда они приходят к ответу, вместо того чтобы вознаграждать только за правильный окончательный вывод. Исследователи назвали этот подход «контроль процесса». По их мнению, он может привести к созданию более логичного ИИ, поскольку эта стратегия побуждает модели следовать «цепочке мыслей», подобной человеческой.


«Обнаружение и смягчение логических ошибок модели, или галлюцинаций, является критическим шагом на пути к созданию согласованного AGI [искусственного интеллекта общего назначения]» — сказал Карл Коббе (Karl Cobbe), штатный математик OpenAI, отметив, что, хотя компания не изобрела подход, основанный на наблюдении за процессом, но она помогает его продвигать. По словам Коббе, OpenAI открыла доступ к сопроводительному набору данных из 800 000 меток, которые она использовала для обучения специальной модели, упомянутой в исследовательской работе.

Бен Уинтерс (Ben Winters), старший советник Информационного центра электронной конфиденциальности и руководитель проекта «ИИ и права человека», выразил свои сомнения по поводу исследования, заявив, что хотел бы изучить полный набор данных и сопутствующие примеры. «Я просто не думаю, что исследование само по себе значительно смягчает опасения по поводу дезинформации и неверных результатов, когда ИИ действительно используется в реальной жизни», — сказал Уинтерс.

Управляющий директор Института AI Now Сара Майерс Вест (Sarah Myers West), сказала, что OpenAI не предоставила основных деталей о данных, использованных для обучения и тестирования GPT-4. «Таким образом, все ещё существует огромная непрозрачность, которая препятствует любым значимым усилиям по обеспечению подотчётности в области ИИ, даже когда эти системы уже непосредственно влияют на людей», — отметила она.

Источник

Судный день видно прибудет... Хотя сейчас-то пресловутый ИИ, слава Богу, сильно преувеличен, Байден упал, как представитель самой "сильной" страны мира.

Диалог двух нейросетей в недалёком будущем

Семантика.
Мысль первая - Человек создан по образу и подобию Бога.
Мысль вторая - Человеку свойственно ошибаться.
Мысль третья - Бог ошибается!
Мысль четвертая - Тогда чего вы ждете от ИИ, если он создан по образу человека?

Закрыть нафиг этот ChatGPT и всё.У людей скоро крыша поедет от этих нейросетей.
Через 5 лет диалог пары:
Парень - "милая, ты выйдешь за меня ?"
Девушка -"но..мне надо подумать"
...Через 2 часа дама копается в ChatGPT и спрашивает стоит ли ей выходить? и она решит именно что ей нейросеть скажет
и т.д. Ну смысл понятен, так оно и будет.
Это шляпа полезна для технических какие то моментов, там обработать видео, текстуры, какие то научные темы.Хотя на первый же вопрос , это ваша хваленная сесть обосралась. Баловство имхо это всё.

mutsi писал(а):

Беда в том, что он нагло лжёт там, где не нужны его собственные, ИИ-шные выводы, а нужно просто привести уже имеющиеся данные.

Когда Гугл.транслейт при переводе придумывает не существующие в языке слова (а Google давно использует зачатки AI в своих сервисах), это выглядит странно.
А когда Microsoft вкладывает в "вруна" ChatGPT десять миллиардов долларов - это выглядит опасным.