Ученые раскрывают, как на самом деле «думает» ИИ, и обнаруживают, что он тайно планирует наперед и иногда лжет

Учёные компании Anthropic изобрели способ заглянуть в механизмы работы больших языковых моделей и впервые раскрыли, как искусственный интеллект обрабатывает информацию и принимает решения.



Долгое время считалось, что полностью отследить механизмы рассуждения моделей ИИ невозможно, и даже их создатели не всегда понимали, как они получают те или иные ответы. Теперь некоторые механизмы удалось прояснить. Модели ИИ оказались сложнее, чем считалось ранее: при написании стихотворений они выстраивают планы, следуют одинаковым последовательностям для интерпретации понятий вне зависимости от языка и иногда обрабатывают информацию в обратном направлении вместо того, чтобы рассуждать, исходя из фактов.

Новые методы интерпретации схем работы ИИ в Anthropic назвали «трассировкой цепочек» и «графами атрибуции» — они помогли исследователям отследить конкретные пути реализации функций, подобных нейронным, которые запускаются при выполнении моделью задач. В этом подходе заимствуются концепции нейробиологии, а модели ИИ рассматриваются как аналоги биологических систем.

Одним из наиболее поразительных открытий стали механизмы планирования ИИ Claude при написании стихов. Когда чат-бот попросили составить двустишие в рифму, он сначала подобрал рифмующиеся слова для конца следующей строки и только после этого начал писать. Так, при написании строки, которая заканчивалась словом «кролик», ИИ выбрал все характеризующие это слово признаки, а затем составил предложение, которое подводит к нему естественным образом.

Claude также продемонстрировал настоящие рассуждения в несколько шагов. В испытании с вопросом «Столица штата, в котором находится Даллас, — это...», модель сначала активировала признаки, соответствующие понятию «Техас», а затем использовала это представление, чтобы определить «Остин» в качестве правильного ответа. То есть модель действительно выстраивает цепочку рассуждений, а не просто воспроизводит ассоциации, которые запомнила. Учёные произвели манипуляции, подменив «Техас» на «Калифорнию» и на выходе получили «Сакраменто», тем самым подтвердив причинно-следственную связь.

Ещё одним важным открытием стал механизм обработки данных на нескольких языках. Вместо того, чтобы оперировать разными системами для английской, французской и китайской языковых сред, она переводит понятия в общее абстрактное представление, после чего начинает генерировать ответы. Это открытие имеет значение для понимания того, как модели транслируют знания, полученные на одном языке, на другой: предполагается, что модели с большим количеством параметров создают независимые от языка представления.

Возможно, самым тревожным открытием стали инциденты, при которых механизмы рассуждения Claude не соответствовали тем, о которых он заявлял сам. Когда ему давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не принципов, которые должны были оказаться первыми.

Исследование также пролило свет на галлюцинации — склонность ИИ выдумывать информацию, когда ответ неизвестен. У модели есть схема «по умолчанию», которая заставляет её отказываться отвечать на вопросы в отсутствие фактических данных, но этот механизм подавляется, если в запросе распознаются известные ИИ сущности. Когда модель распознаёт сущность, но не имеет конкретных знаний о ней, могут возникать галлюцинации — это объясняет, почему ИИ может с уверенностью давать не соответствующую действительности информацию об известных личностях, но отказываться отвечать на запросы о малоизвестных.

Исследование является шагом к тому, чтобы сделать ИИ прозрачнее и безопаснее. Понимая, как модель приходит к ответам, можно выявлять и устранять проблемные шаблоны рассуждений. Проект может иметь и последствия в коммерческой плоскости: компании применяют большие языковые модели для запуска рабочих приложений, и понимание механизмов, при которых ИИ может давать неверную информацию поможет в управлении рисками. Сейчас Anthropic предложила лишь первую предварительную карту ранее неизведанной территории — так в древности первые специалисты по анатомии составляли атласы человеческого тела. Составить полноценный атлас рассуждений ИИ ещё предстоит, но теперь можно оценить, как эти системы «думают».

Источники: venturebeat.com, 3dnews.ru

Цитата:

Вычислительная мощность мозга невероятна. Так вот, пример к утверждению, что нет необходимости разработчикам ИИ знать биологию. Еще в 1969 году в своей книге «Перцептроны» (Perceptrons) Марвин Минский (Marvin Minsky) и Сеймур Пейперт (Seymour Papert) доказали отсутствие у однослойных искусственных сетей способности выполнять XOR, а в биологических системах Поирази доказала, что операцию XOR способен выполнять всего лишь один дендрит.

Так, а знание где? Вижу только, что биология спасовала, не может описать.
Вычислительные мощности прям? А если не число там? Никто ж не знает)

Добавлено спустя 4 минуты 19 секунд:

Цитата:

Скока, скока смертей за имитатором интеллекта машины Тесла?

А неправильно посчитанная машиной экономика сколько жертв принесет, а то и войну?
Страшно подумать, Тесла отдыхает.

welln

Цитата:

Вычислительная мощность мозга невероятна

вычислительная мощность - это же количественная характеристика скорости обработки информации;
человеческий мозг обрабатывает информацию со скоростью только 10 бит/с; к тому же мозг не рассчитан на многозадачность, человек не может одновременно выполнять сотни умозаключений или вычислений, в отличие от ИИ;
даже инфа, получаемая от органов чувст человека, обрабатывается с общей максимальной скоростью не более 1000mbps

Цитата:

А я где-то говорил что я психолог? Это разные специальности.

так психиатр, как-то же должен отличить симулянта от человека с психическим расстройством, или понять психологическое расстройство, например депрессию;
если психиатр не будет обладать качествами психолога, а только тупо назначать фармакотерапию, только по симптомам, не обращая внимания на их подлинность, глубоко не вникая в причины психологического расстройства человека, то это весьма посредственный психиатр или даже вредитель для здоровья пациента )

Galaxpro писал(а):

человек не может одновременно выполнять сотни умозаключений или вычислений, в отличие от ИИ; даже инфа, получаемая от органов чувст человека, обрабатывается только со скоростью 1,25mbps

Зависит от состояния, с бодуна, например, или на свежем воздухе мыслиться по-разному)
А привязанный к стулу человек, завидев паяльник, мне кажется все чувстует быстрее,
и даже бесконтактно и вся жизнь перед глазами проносится, и порой успешно обрабатывается
за микродоли пикосекунды) ИИ такая многозадачность не снилась, которая решает судьбу.
Сколько это в mbps сосчитать невозможно, жизни всех людей не хватит, чтобы посчитать это для одного человека.
ИИ, вот тебе шах и мат, дурилка картонная. Шучу, инструментик мне этот нравится, играюсь иногда пробую.

weter

Цитата:

А привязанный к стулу человек, завидев паяльник, мне кажется все чувстует быстрее

не знаю, у меня не было такого опыта, фантазировать не буду ))

Galaxpro писал(а):

не знаю, у меня не было такого опыта, фантазировать не буду ))

извиняюсь за грубый пример, но другого под рукой не было, паяльник только)

Мне исполнилось 16 лет на ннм! Ничеси!) Я большой!)

golliaf82 писал(а):

Рассуждения ИИ не сильно отличаются от мышления человека, только у него нет границ, и может выложить как есть, хоть и может помочь в различных вопросах. Только одно пугает, что многие слишком сильно полагаются на нейросети, и своего "я" просто перестают иметь...

Это предельно разные вещи. АИ простая и тупая экспертная система, мозг квантовая система. Разницы как между амебой и человеком. И даже гигантская амеба- все равно амеба.

Galaxpro писал(а):

welln Цитата: Вычислительная мощность мозга невероятна вычислительная мощность - это же количественная характеристика скорости обработки информации; человеческий мозг обрабатывает информацию со скоростью только 10 бит/с; к тому же мозг не рассчитан на многозадачность, человек не может одновременно выполнять сотни умозаключений или вычислений, в отличие от ИИ; даже инфа, получаемая от органов чувст человека, обрабатывается только со скоростью 1,25mbps

Скорость вычислений конкретного нейрона это несколько другое. (10 бит/с это вы про скорость мышления, там в этой же статье, написано про скорость сбора данных из окружающей среды в 1 млрд бит/сек).
Мозг прекрасно справляется с многозадачностью там где это ему нужно, например вы дышите, говорите, смотрите, и двигаете руками одновременно и объемы обрабатываемой информации для этих действий колосальны. При расстоянии в 100 мкм, скорость передачи данных от нейрона к нейрон 0,1 м/c, кроме того миелин может увеличивать скорость передачи данных в 5-10 раз, хотя это отдельна история. 10 бит/c это такое себе эмпирическое вычисление, как и фраза "скорость мозга". И это я молчу о том, что различные группы клеток, в различных участках мозга возбуждаются одновременно без какой-либо физической связи. Так что скорости там достаточно, вопрос в объеме данных который никаким вычислительным системам и не снился.

Цитата:

Цитата: А я где-то говорил что я психолог? Это разные специальности. так психиатр, как-то же должен отличить симулянта от человека с психическим расстройством, или понять психологическое расстройство, например депрессию; если психиатр не будет обладать качествами психолога, а только тупо назначать фармакотерапию, только по симптомам, не обращая внимания на их подлинность, глубоко не вникая в причины психологического расстройства человека, то это весьма посредственный психиатр или даже вредитель для здоровья пациента )

Поверьте мне, я неплохо разбираюсь и в психологии, и в психиатрии, и в ИИ, и работе головного мозга. Ибо всем этим каждый день активно пользуюсь. Хотя конечно, мне как любому другому человеку, может быть присуща невнимательность при чтении в том числе и ваших постов. Отличие психиатра от психолога в том, что психолог, работает с поверхностными проявлениями нарушений психики у человека и результатами его поступков. А психиатр понимает не только внешние, но в внутренние причины. К примеру изменение уровня дофамина приводит к шизофрении, изменение уровня серотонина и норадреналина к депрессии, нарушение нормальной работы гипофиза и эндорфиновой системы к наркомании. Высокая солнечная активность приводит к усилению агрессии в том числе в межличностном общении. А постоянные трамвы головного мозга к нарушению кровообращения и как следствию скверному характеру и кучу еще всего. И насколько я понимаю все эти процессы, никакой психолог тут никогда не поможет, хотя будет очень стараться. Хотя, если вы хотите заплатить деньги могу в индвидуальном порядке и психологом поработать. Проехать, так сказать, по ушам. Именно поэтому психолог не может "тупо назначать фармкотерапию", так он не понимает сути процессов, которые происходят.

PS: Если интересно про скорость обработки данных почитайте исследования, тем более сейчас в чат GPT отлично инфу ищет по сети, лучше того же гула, хотя и проверять надо:))) Так есть установленные факты о дорисовке окружающей реальности с целью оптимизации и ускорения данных, есть исследования которые показывают, что данные о неподвижных объектах в реальности обновляются в сознании раз в десять секунд, и вот такое вот все. Но это скорее что-то сродни компрессии, зачем лишняя информация если она для выживания не нужна.

LLM конечно не сравнится с мозгом по количеству производимых нейронами мозга вычислений, но у него другое преимущество. Языковая модель работает с квинтэссенцией человеческого знания: текстами. Наверно неправильно говорить о нем что он "думает" или еще что-то вроде этого, очеловечивая его (хотя это качество очень свойственно людям. Мы это делаем даже по отношению к неживой природе: дождь у нас грустит, деревья - шепчутся. Не говоря уже о домашних питомцах). Но отвечая на наши вопросы он предоставляет нам быстрый доступ до всего человеческого знания, прокаченного через него. Жалуясь на его глупые ответы мы, в теории (забудем на минуту о несовершенстве самой модели), ропщем на качество накопленных для его обучения данных, то есть наших знаний.
ИИ не "думает", но выдает свои ответы таким образом как это сделал бы усредненный человек, оставивший свои мысли в виде текстов. Рисует картины так, как это делали художники до него. И, что меня удивляет больше всего, делает это максимально похожим на человеческий стиль общения образом. Это не чат-бот, действующий по алгоритмам. Свои ответы он конструирует сам на основе прокаченных через него текстов. Говорить о том есть ли у него личность или может ли таковая появится думаю неправильно (по крайней мере пока), потому что его "сознание" совсем иное чем наше. Хотя возможно что речевые навыки у нас формируются схожим образом.

Он, кстати, сам охотно рассказывает о принципах своей работы. Вот рассказ Грока от x.ai:

welln

Цитата:

скорость передачи данных от нейрона к нейрон 0,1 м/c

в ИИ же скорость передачи от одной транзисторной ячейки к другой - почти 300000 км/с )
но понятное дело, что скорость обработки инфы в ИИ не будет равна скорости света, но всё равно кратно быстрее скорости обработки инфы в мозге

Цитата:

там в этой же статье, написано про скорость сбора данных из окружающей среды в 1 млрд бит/сек)

да, верно, максимально 1 млрд бит/сек - это 1000mbps, или 1 Гбит/с, но это не про когнитивную скорость обработки инфы, а про совокупную скорость получения информации в мозг от органов чувств, к тому же всё равно существенно меньше скорости работы ИИ, конечно же без учёта скорости интернета, я имею в виду чисто машинную скорость обработки информации ИИ по сравнению с человеческим мозгом

Цитата:

10 бит/c это такое себе импирическое вычисление, как и фраза "скорость мозга"

так любой эксперимент с полученным результатом и будет эмпирическим, но это же не значит, что эмпирический опыт можно списать в помойку, вроде как наоборот, исследовательский опыт и даёт представление о той или иной области познания;
если вы не верите научным исследованиям - link, и опровергаете результаты, тогда предложите свой способ, проведите свои исследования и напишите статью об этом )

dvasunin писал(а):

LLM конечно не сравнится с мозгом по количеству производимых нейронами мозга вычислений, но у него другое преимущество. Языковая модель работает с квинтэссенцией человеческого знания: текстами. Наверно неправильно говорить о нем что он "думает" или еще что-то вроде этого, очеловечивая его

Согласен с вами полностью. Я вообще считаю что проблема в терминах. Это не Интеллект и не Искуственный интеллект, это именно Большая Языковая Модель. У нее высокая "скорость мышления" за счет быстрого доступа к данным (то о чем комрад писал выше, против 10 бит/с у человека) и внимательности. Но это электронный справочик, я не знаю супер-пупер-мега калькулятор но интеллект... и опять как только история не связана с поиском информации в загруженных ранее данных, а минимальная творческая работа начинается ... ну все..
Хотя я не понимаю одного - любой язык программирования, подчиняется строгим правилам. Если в языковую модель загружают эти правила и синтаксис языка программирования, то как она может допускать ошибки, пропускать знаки, писать бредовые интепритации кода, выдумывать несуществующие библиотеки и тд. При абсолютно правильном алгоритме и логике рассуждения. И главное зачем ? И ведь делаются попытки модульности: рисует одна модель, код пишет другая, стихи третья. У человека к примеру именно так организовано.

welln писал(а):

Если в языковую модель загружают эти правила и синтаксис языка программирования, то как она может допускать ошибки

Вы идеализируете, мне кажется. Не учитываете, кто загружает эти модели.
Вот вы варите суп. Думаете, брошу туда еще эти специи - вкуснее будет.
А нет, пересолили, переперчили. Короче, где-то так все и происходит.
С чаем еще сложнее и зависит больше от качества и состава воды.

ИИ возник только по одной причине - человек не пользуется возможностями своего сознания.
И делегирует вовне, аппеллирует к готовому и тп. Мозг ленив. Индивидуальное сознание его включает.
Но это высший пилотаж.

"Есть многое на свете, друг Горацио,
Что и не снилось нашим мудрецам."

Добавлено спустя 18 минут 43 секунды:

Galaxpro писал(а):

weter Цитата: А привязанный к стулу человек, завидев паяльник, мне кажется все чувстует быстрее не знаю, у меня не было такого опыта, фантазировать не буду ))

вам и не надо, человек на стуле сам все фантазирует, я об этом.
Главное, что этот единственный пример переворачивает все, что связано со скоростью "передачи информации".
Я, не касаясь, показал паяльник и у человека распаковка всей жизни. Какая информация передалась, какие органы чувств?
Как это измерить? Профанация! Да, какие-то последствия можно замерить, выброс адреналина там, косвенные,
разнящиеся от человека к человеку. Но это несерьезно, в отличие от паяльника.
И всего навсего один пример.

И что-то я подозреваю дело не в скорости света.
А в чем-то неизмеримом.

Galaxpro писал(а):

welln Цитата: скорость передачи данных от нейрона к нейрон 0,1 м/c в ИИ же скорость передачи от одной транзисторной ячейки к другой - почти 300000 км/с ) но понятное дело, что скорость обработки инфы в ИИ не будет равна скорости света, но всё равно кратно быстрее скорости обработки инфы в мозге Цитата: 10 бит/c это такое себе импирическое вычисление, как и фраза "скорость мозга" так любой эксперимент с полученным результатом и будет эмпирическим, но это же не значит, что эмпирический опыт можно списать в помойку, вроде как наоборот, исследовательский опыт и даёт представление о той или иной области познания; если вы не верите научным исследованиям - link, и опровергаете результаты, тогда предложите свой способ, проведите свои исследования и напишите статью об этом )

Ну для начала вы мне дали ссылку на научно-популярную статью и философские рассуждения базирующиеся на исследованиях еще аж с 1952 год, и если почитать именно исходную статью то там такая логика:
Средняя скорость речи — около 2-3 слова в секунду -> одно слово содержит примерно 10-12 бит смысловой информации. ->
отсюда выходит: осознанная речь и восприятие речи — примерно 20-30 бит/с (с поправкой на контекст, предсказуемость и т.п.).
Отсюда сделан вывод что реальная скорость осознания смысла, а не просто восприятия звуков, — около 10 бит/с. Это типа скорость соображалки.

Другими словами ученые взяли в 1952 году эмпирическое исследование и на основании его вывели примерно эту скорость, а китаец в США написал эссе философское, "а нафига там такое все если у нас такая маленькая пропускная способность".

Чтобы было понятнее в реальности:

Зрение~10⁷ — 10⁸ бит/с (основной поток)
Слух ~10⁵ бит/с
Обоняние ~10³ бит/с
Вкус ~100 бит/с
Осязание ~10⁴–10⁵ бит/с

Итого: 10⁹ бит/с (1 миллиард бит/с) сенсорных данных, которые поступают в мозг в секунду.

После чего информация обрабатывается мозгом, лишняя по его мнению отбрасывается и необходимая (важная) доходит до сознания, т.е он сначала сообразил, пережевал, отсек лишнее, сделал выводы без нашего ведома, и вот потом в сознание запихал. Причем все это в туже секунду случилось.
Пропускная способность для результата, который он "запихивает" — около 10–60 бит/с, в зависимости от типа задачи.
Это именно то о чем я вам говорил предлагая поискать ссылки на статьи. Мозг принимает решения до того, как мы осознаем их. И скорость принятия этих решений чудовищна. Теперь запустите Чат GPT задайте ему вопрос, и посмотрите с какой скороростью он будет рассуждать (там сейчас можно цепчоку рассуждений посмотреть). И вы увидите что эта скорорсть в десятки раз ниже чем 10-60 бит/c

Приведу пример: Женщина увидела незнакомого мужчину, оценивает несколько миллионов параметров включая запах, цвет, рост, вес, размер стопы, из запаха в том числе вычленяет некоторые генетические патологии, (если опять же исследования не врут) и тд. (некоторые если верить злым языкам сразу прикидывают каким мужем будет), но вся эта информация для сознания лишняя поэтому в сознании со скоростью 10 бит/с появляется мысль их одного слова нравится/не нравится.

welln писал(а):

Мозг принимает решения до того, как мы осознаем их. И скорость принятия этих решений чудовищна.

Совсем ни к чему чудовищные обороты слов здесь.
Мозг не принимает решений, которые не осознаны.
То, что вне вашего сознания - вы просто не увидете, не услышите, и тд.
Попробуйте вообразить что-то несуществующее) (только без фокусов, типа комбинации из существующего)

weter писал(а):

welln писал(а): Мозг принимает решения до того, как мы осознаем их. И скорость принятия этих решений чудовищна. Совсем ни к чему чудовищные обороты слов здесь. Мозг не принимает решений, которые не осознаны. То, что вне вашего сознания - вы просто не увидете, не услышите, и тд. Попробуйте вообразить что-то несуществующее)

Он вообще все решения примает в бессознательном прям 100/500 :)) И это тоже доказано, в том числе так получилось из эволюции. Вот то самое медленное образование, оно сильно поздно выросло по отношению к остальным отделам. А если не верите попробуйте водить автомобиль с скоростью обработки информации в 10 бит/с, я посмотрю, как это получится.

welln писал(а):

А если не верите попробуйте водить автомобиль с скоростью обработки информации в 10 бит/с, я посмотрю, как это получится.

да просто посмотрите как профессионал ведет автомобиль с завязанными глазами.
еще пример, вы на автоматизме едете по городу и узнаете знаки фоном, не заглядывая в справочник каждый раз, какую педаль нажать.
Потому что вождение уже осознано. А где нет - там штраф. Потому что инспектор в этом месте осознан.