Ученые раскрывают, как на самом деле «думает» ИИ, и обнаруживают, что он тайно планирует наперед и иногда лжет

Учёные компании Anthropic изобрели способ заглянуть в механизмы работы больших языковых моделей и впервые раскрыли, как искусственный интеллект обрабатывает информацию и принимает решения.



Долгое время считалось, что полностью отследить механизмы рассуждения моделей ИИ невозможно, и даже их создатели не всегда понимали, как они получают те или иные ответы. Теперь некоторые механизмы удалось прояснить. Модели ИИ оказались сложнее, чем считалось ранее: при написании стихотворений они выстраивают планы, следуют одинаковым последовательностям для интерпретации понятий вне зависимости от языка и иногда обрабатывают информацию в обратном направлении вместо того, чтобы рассуждать, исходя из фактов.

Новые методы интерпретации схем работы ИИ в Anthropic назвали «трассировкой цепочек» и «графами атрибуции» — они помогли исследователям отследить конкретные пути реализации функций, подобных нейронным, которые запускаются при выполнении моделью задач. В этом подходе заимствуются концепции нейробиологии, а модели ИИ рассматриваются как аналоги биологических систем.

Одним из наиболее поразительных открытий стали механизмы планирования ИИ Claude при написании стихов. Когда чат-бот попросили составить двустишие в рифму, он сначала подобрал рифмующиеся слова для конца следующей строки и только после этого начал писать. Так, при написании строки, которая заканчивалась словом «кролик», ИИ выбрал все характеризующие это слово признаки, а затем составил предложение, которое подводит к нему естественным образом.

Claude также продемонстрировал настоящие рассуждения в несколько шагов. В испытании с вопросом «Столица штата, в котором находится Даллас, — это...», модель сначала активировала признаки, соответствующие понятию «Техас», а затем использовала это представление, чтобы определить «Остин» в качестве правильного ответа. То есть модель действительно выстраивает цепочку рассуждений, а не просто воспроизводит ассоциации, которые запомнила. Учёные произвели манипуляции, подменив «Техас» на «Калифорнию» и на выходе получили «Сакраменто», тем самым подтвердив причинно-следственную связь.

Ещё одним важным открытием стал механизм обработки данных на нескольких языках. Вместо того, чтобы оперировать разными системами для английской, французской и китайской языковых сред, она переводит понятия в общее абстрактное представление, после чего начинает генерировать ответы. Это открытие имеет значение для понимания того, как модели транслируют знания, полученные на одном языке, на другой: предполагается, что модели с большим количеством параметров создают независимые от языка представления.

Возможно, самым тревожным открытием стали инциденты, при которых механизмы рассуждения Claude не соответствовали тем, о которых он заявлял сам. Когда ему давали сложные задачи, например, вычисление косинуса больших чисел, ИИ заявлял, что осуществляет вычисления, но они в его внутренней деятельности не отражались. В одном из случаев, когда ответ на сложную задачу был известен заранее, модель выстроила цепочку рассуждений в обратном порядке, отталкиваясь от ответа, а не принципов, которые должны были оказаться первыми.

Исследование также пролило свет на галлюцинации — склонность ИИ выдумывать информацию, когда ответ неизвестен. У модели есть схема «по умолчанию», которая заставляет её отказываться отвечать на вопросы в отсутствие фактических данных, но этот механизм подавляется, если в запросе распознаются известные ИИ сущности. Когда модель распознаёт сущность, но не имеет конкретных знаний о ней, могут возникать галлюцинации — это объясняет, почему ИИ может с уверенностью давать не соответствующую действительности информацию об известных личностях, но отказываться отвечать на запросы о малоизвестных.

Исследование является шагом к тому, чтобы сделать ИИ прозрачнее и безопаснее. Понимая, как модель приходит к ответам, можно выявлять и устранять проблемные шаблоны рассуждений. Проект может иметь и последствия в коммерческой плоскости: компании применяют большие языковые модели для запуска рабочих приложений, и понимание механизмов, при которых ИИ может давать неверную информацию поможет в управлении рисками. Сейчас Anthropic предложила лишь первую предварительную карту ранее неизведанной территории — так в древности первые специалисты по анатомии составляли атласы человеческого тела. Составить полноценный атлас рассуждений ИИ ещё предстоит, но теперь можно оценить, как эти системы «думают».

Источники: venturebeat.com, 3dnews.ru

weter писал(а):

welln писал(а): Мозг принимает решения до того, как мы осознаем их. И скорость принятия этих решений чудовищна. Мозг не принимает решений, которые не осознаны.

\
Какая чушь.. Легко и непринужденно я иногда утром полностью осознаю себя только на улице..... всё остальное идёт на автопилоте за счет наработанных паттернов.

Galaxpro писал(а):

вычислительная мощность - это же количественная характеристика скорости обработки информации; человеческий мозг обрабатывает информацию со скоростью только 10 бит/с; к тому же мозг не рассчитан на многозадачность, человек не может одновременно выполнять сотни умозаключений или вычислений, в отличие от ИИ;

Мне кажется, вы упускаете один момент: "ИИ" выполняет математику, задачки с цифрами, с кодами, вот. А человеческий мозг обрабатывает звуковую и визуальную информацию, не считая все остальное. И работает не как калькулятор, не как типичный компьютер. По-вашему, на обработку всей поступающей к нам через органы чувств информации хватает скорости в 10бит в секунду? Нет конечно, и тут welln прав.

В одной передаче был чел, кто считал почти со скоростью калькулятора ) Видимо, скорость выполнения простых математических вычислений можно тренировать... либо это талант...

Galaxpro писал(а):

я же написал, дополнив предыдущий пост, что это 1 Гбит/с, что всё равно меньше скорости обработки инфы в ИИ

А теперь создайте робота, схожего с человеком, со всеми сенсорами, что требуются ему для полноценной имитации человека и *всех органов чувств*... и посмотрим, как быстро он будет обрабатывать ту же инфу, визуальную и прочую, что обрабатывает мозг человека. Потому что говоря об "ИИ", мы говорим о скорости обработки им лишь математической инфы, так сказать. Слова из текста это тоже набор единичек и нулей, все это есть числа, цифры. Чел.мозг не так работает, но обрабатывает, сдается мне, на порядки больше инфы, чем может лучший "ИИ". Это мнение, скажем так. Проверить как – уже предложил.
А то зациклились на "скорости обработки информации"... Товарищи! Информация бывает разной! Я могу до посинения вычислять "в голове" число пи, но потом могу заниматься боевыми искусствами – наверно это принципиально разные потоки информации, мм???
Сделайте робота с лучшим в мире "ИИ", пусть обработает весь спектр инфы аналогично человеку в повседневной жизни. Приводить в пример робота на колесиках или гугл-мобиль нет смысла )) У них весьма узкоспециализированные задачи, с человеком и всем спектром обрабатываемой его мозгом информации это не сравнить.

welln писал(а):

Однако в человеческом мозге, все в разы сложнее и дендриты каждого нейрона — не просто провода, а вычислительные структуры, способные локально обрабатывать информацию до того, как сигнал дойдёт до тела нейрона. Поэтому все эти теоретические измерения скоростей очень условны.

welln писал(а):

Мозг прекрасно справляется с многозадачностью там где это ему нужно, например вы дышите, говорите, смотрите, и двигаете руками одновременно и объемы обрабатываемой информации для этих действий колосальны.

Только квантовые компьютеры...

welln писал(а):

...нарушение нормальной работы гипофиза и эндорфиновой системы к наркомании

Физиологической зависимости или психологической? Надо бы уточнить.

weter писал(а):

ИИ возник только по одной причине - человек не пользуется возможностями своего сознания.

Кажется, я прочитал бред ) При чем здесь сознание? "ИИ" это как сложный станок, помогающий в производстве, а в нашем случае это работа с информацией. "ИИ" просто оказался нужным, без него невозможен научно-технический прогресс.

weter писал(а):

Мозг не принимает решений, которые не осознаны.

Надо бы для начала понять, что такое "принимает решения". Так, большая часть визуальной информации, что мы воспринимаем ежедневно, это "пассивная инфа", которая не осознается, на ней не заостряется внимание ввиду ненадобности. Например, вижу монитор + часть помещения вокруг него, и все это тоже ежесекундно отправляется в мозг, визуальная информация, но осознавать все это ежесекундно нет нужды. А когда играешь во что-то?! Вообще все лишнее отпадает ) Ты физически видишь боковым зрением часть помещения, но игнорируешь, иногда даже бывает, что ты видишь и не видишь одновременно ) Фотоны поступают в глаза, инфа обрабатывается, но до сознания не доходит, вот настолько можно быть увлеченным чем-то. Факт.
Ну не получится полностью сравнивать мозг человека и компьютер. Работают по-разному.

weter писал(а):

Волю надо тренировать, тут уж иначе никак. Хотя любой психотерапевт вам скажет, что это невозможно)

Странные вам психотерапевты встречались С чего бы вдруг невозможно? По-моему, вполне возможно.

weter писал(а):

Попробуйте вообразить что-то несуществующее) (только без фокусов, типа комбинации из существующего)

Вы задаете невыполнимую задачу... Хотя так кажется на первый взгляд. Например, линии существуют? Просто линии, двухмерные, они есть в природе? Вроде нет, но визуально они могут быть ) Зависит от интерпретации вашего сознания, а оптические иллюзии бывают всякими. И вот я воображу что-нибудь из того, что сам как-бы-видел (ложная интерпретация визуальной инфы), но вы не видели, и тогда я смогу "вообразить несуществующее", хотя с моей точки зрения я как бы нарушил ваши условия, но вам это знать не нужно )
PS
Неосознанный инспектор тоже может выписать штраф. Сам штраф вы осознаете уже позже )

Raptor303

Цитата:

По-вашему, на обработку всей поступающей к нам через органы чувств информации хватает скорости в 10бит в секунду?...

вы вообще не поняли того о чём я писал, сделали диаметрально противоположный вывод, я уже знаю, что ваш конёк додумывать и фантазировать на свой лад )
касательно многозадачности и низкой скорости, так я же писал про когнитивные способности мозга; так вот, человеческий мозг не рассчитан от природы на многозадачность, в отличие от нейронного процессора, который может выполнять тысячи одновременных операций; в нейросеть могут поступать вопросы от тысяч пользователей одновременно и она каждому ответит, это заложено в её архитектуре, разумеется с учётом потерь скорости в нете, о чём я и писал ранее;
мозг же не обладает такой скоростью выполнения операций, но есть многозадачность от органов чувст, да и то для мозга сложно одновременно внимательно вслушиваться, например, в лекцию и разглядывать фотки в смартфоне, читать смс;
можете сами попробовать простой опыт - начните писать рукой текст, другой рукой гладьте себя по груди круговыми движениями, при этом одной ногой топайте медленно, а другой быстро, так вот, мозг не справится с такой многозадачностью;
точную причину такого поведения мозга не знают до сих пор, кто-то предполагает, что мозг ленив, другие считают, что причина в низкой скорости передачи импульсов между нейронами и спинным мозгом; если бы скорость передачи импульсов была бы не 120 м/с, а близкой к скорости света, то фиг знает, на что был бы способен мозг, так что мозг до сих пор загадка для учёных; и не надо смешивать работу мозга для поддержания жизнедеятельности организма с его когнитивными способностями; не вижу смысла фантазировать про сверхспособности мозга, считаю, что надо опираться на то, что уже известно учёным, есть факт, что мозг можно натренировать для скоростного выполнения какого-то конкретного действия, но никак не для сложной многозадачности, тут мозг уже пасует, в отличие от ИИ, о чём я и писал ранее

Galaxpro писал(а):

человеческий мозг не рассчитан от природы на многозадачность, в отличие от нейронного процессора, который может выполнять тысячи одновременных операций;

Ну чушь же Многозадачность?! Але, гараж, как говорится: во время занятий боевыми искусствами мозг как раз и выполняет свою многозадачность, множество одновременных операций, миллионы факторов внешнего мира ежесекундно, и все тело (все его части, включая внутренние) движется, и мозг все обрабатывает параллельно. Это ли не многозадачность? Ну-ну. Она самая.
А нейросеть или обычный комп тоже выполняет множество функций... математических! Але еще разок. Математика, товарищ, числа и цифры! А не весь спектр разнообразия информации, что обрабатывает чел.мозг.

Galaxpro писал(а):

есть многозадачность от органов чувст, да и то для мозга сложно одновременно внимательно вслушиваться, например, в лекцию и разглядывать фотки в смартфоне, читать смс;

А это важный момент: вы уж определитесь, что имели ввиду. Мозг реально многозадачен, но наше сознание, наша способность сосредоточиться на хотя бы двух задачах одновременно уже сложна, но сам мозг независимо от осознанности наших действий самостоятельно обрабатывает много чего. Одновременно. Потому да: многозадачен. Сам мозг. Но не наша осознанная деятельность: тут мы реально уступаем самым простым древним компьютерам, про современные и смысла нет говорить.

«не надо смешивать работу мозга для поддержания жизнедеятельности организма с его когнитивными способностями;»
Простите! Это новое правило, вы его ввели только сейчас. Так не честно
Но вижу, вы и сами теперь видите, что я имел ввиду под многозадачностью. Уточнять надо в следующий раз.
Просто РАБОТА мозга это тоже часть того, что делает мозг. И потому, учитывая ВСЮ его работу, мозг многозадачен, только и всего.

Galaxpro писал(а):

...точную причину такого поведения мозга не знают до сих пор

Как по мне, так причина проста: наш мозг не создан (если угодно: не эволюционировал так) таким образом, чтобы выполнять функции аля компьютер, у мозга другие задачи, с которыми он вполне справляется. Вроде бы из теории эволюции ответы всегда просты: если чего-то нет, значит, природе это не нужно было ) И мозгу в том числе. Но это так, ответ для вас, тк сам я слегка иного мнения, но суть схожа: мозг работает так, как надо, исходя из того, что из себя представляет человек, как он устроен.

Raptor303

Цитата:

Многозадачность?! Але, гараж, как говорится:

если ваш гараж пуст, то нет смысла объяснять, я писал про когнитивные функции мозга, предложил провести опыт, который как раз и доказывает, что мозг не любит многозадачность, но вы, как всегда, о чём-то своём сказочном, сознание зачем-то приплели, хотя уже известно, что сенсорное восприятие от органов чувств идёт бессознательно;
в общем, але-але - заполняй гараж извне ))
почитайте книгу - "Рассеянный ум"