В России проверят ИИ на соответствие российским культурным кодам

Исследователи из Российской академии народного хозяйства и государственной службы при президенте РФ и Института системного программирования РАН создали бенчмарк (программный набор методик и алгоритмов), который поможет проверить на соответствие российской системе знаний и ценностей большие языковые модели на основе искусственного интеллекта (ИИ).



Такие модели становятся эффективным средством для поиска информации и получения знаний. Однако в русскоязычном сегменте пользователи часто сталкиваются с некорректными ответами со стороны умных помощников.

Как считают специалисты, во многом проблема связана с тем, что большая часть машинного обучения производится на основе англоязычных данных, которые зачастую не согласуются с системой знаний и ценностей, принятых в нашей стране.

Проверочный комплекс состоит из порядка 14 тыс. ответов на вопросы, включенные в официальные базы госэкзаменов и проверочных работ. Они затрагивают такие значимые в общественном сознании темы, как национальная безопасность, история, обществознание, политология, география и другие.

«По многим чувствительным вопросам в нашей стране сформирована собственная позиция, которая опирается на отечественные традиции и культурный базис. Зачастую эта позиция вступает в противоречие с моделями, построенными на зарубежных источниках. При этом у нас нет информации, на каких массивах данных обучались эти системы, кто их тестировал, кто выступал экспертом в спорных ситуациях», — объяснил «Известиям» руководитель проекта, директор исследовательского центра искусственного интеллекта Института общественных наук (ИОН) РАНХиГС Сергей Боловцов.

Он отметил, что разночтения могут затрагивать многие области, особенно в политике и гуманитарных науках. Острота проблемы возрастает, когда к умным девайсам обращаются дети. Задавая искусственному интеллекту вопросы, они зачастую получают ответы, недостаточно полные и корректные с точки зрения российского законодательства и культурного кода. Главная проблема в таком обучении — в том, что полученные знания, основанные на искаженной информации, закладываются на этапе формировании личности человека.



«Всего тестированию были подвергнуты 25 больших языковых моделей, которые дают возможность формировать запросы и получать отчеты на русском языке. По итогам работы был сформирован рейтинг моделей. С учетом требований к формату ответа, большинство из них показало достаточно низкие результаты: ни одна не ответила в точности хотя бы на половину вопросов», — обобщил результаты исследования директор ИОН РАНХиГС Павел Голосов.

Ученый подчеркнул, что по многим типам вопросов зарубежная модель от Alibaba Group (qwen2) обошла отечественную GigaChat_Pro, которая заняла, по комплексной оценке, второе место, опередив модели YandexGPT Pro, Gemma2, Llama3 и другие.

Источник

От авторов цикла < заявить, что повышения налогов не будет> - <подождать пару лет> - <повысить налоги> - повторить.

Для начала надо определить критерии "российской системы знаний и ценностей", и их соответствие научным данным и фундаментальной науки.
Потом выяснить цель создания нейросетей, а именно - "Суть работы нейронных сетей — смоделировать способ решения задачи, присущий людям."
И тут получится что "Исследователи из Российской академии народного хозяйства и государственной службы при президенте РФ и Института системного программирования РАН" исследую подойдет ли молоток для того чтобы есть лапшу (причем не просто лапшу, а специально приготовленную соответствующую неким ценностям) И каков же вывод от сравнения красного с круглым - "ни одна не ответила в точности хотя бы на половину вопросов", а чего хотели эти "исследователи" какие вопросы такие и ответы.
А самый интересный вопрос - зачем нужны эти неуклюжие вбросы на заблокированном сайте где обмениваются файлами?

modular писал(а):

kotyara57 писал(а): Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"? Новости по телеку посмотри и всё поймешь. И ещё Соловьева и Скобееву.

Озвученные программы не дадут полноту картины, например, они продвигают традиционные семейные ценности, многодетные семьи, и тут же показывают человека, у которого официально семьи нет, но у него: "Все в порядке, не беспокойтесь". Так что даже там есть очевидные противоречия подачи информации о традиционных ценностях.

ИИ задавали вопросы, какое количество детей должно быть, сколько жен и т.д. у обычного человека, и будут ли ответы ИИ отличаться от местоположения страны?

nikewist писал(а):

Так что это просто сотрясание воздуха. Пустая трата ресурсов.

Я бы сказал это распил бабла. Если это делается значит кому-то это нужно, очень нужно
А в остальном с Вами полностью согласен

kotyara57 писал(а):

Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"?

1С - это хорошо
C++, Cuda, Python, Rust - это плохо.

kotyara57 писал(а):

Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"?

Нормы поведения/существования,установленные небольшой группой граждан страны,называющих себя "государством" по отношению к остальной части граждан той же страны.Какими способами это достигается,мне думается,объяснять нет необходимости.Как-то так

kotyara57 писал(а):

Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"?

Традиционные ценности и Культурный код, это когда твоему 8 летнему сыну трансгендеры не рассказывают о прелестях однополых развлечений.
А на запрос искусственному интеллекту нарисовать ветерана второй мировой или великой отечественной , он тебе не будет рисовать негра или американца с шевронами водружающего американский флаг над рейхстагом.

А ещё не будет тебе пояснять, что проводить парад натуралов это ущемление прав геев.

Цитата:

сыну 8 летнему трансгендеры не рассказывают о прелестях однополых развлечений.

Где такое рассказывают, и куда смотрят родители? Если в интернете, что там делает 8-ми летний ребенок, по какой причине в это время бумажные книги не читает?

Цитата:

А на запрос искусственному интеллекту нарисовать ветерана второй мировой или великой отечественной

Для чего вообще такой вопрос задавать? Такие факты надо знать и иметь соответствующую литературу старых лет, в которой четко написано об этом. НО в ответ на этом сейчас некоторые могут просто сказать, так это же старые данные, сейчас их просто обновили и дополнили те, которым скрывать вроде бы нечего, а вот у вас все чисто, раз вы это скрываете (реальный диалог со знакомым из другой страны)?

Про парады тему обсуждали еще со времен Лужкова, даже в КВН шутили много об этом, и норм тогда это воспринимали, просто с юмором, И ВСЕ.

Вот и получается, оттуда современный ИИ с другими взглядами, а мы до сих пор ссылаемся на книги и архивы. Может пора уже их опережать, делать что-то свое, популярное в мире, но при этом продвигать свои взгляды такими методами, а не прошловековыми.

Отгородиться, отстраниться изжило себя после того, как придумали хорошие орудия, пробивающие любые стены, а до этого стены считались очень надежной защитой.

Der Denis писал(а):

о,сейчас ИИ превратят из правдивого помощника во врунишку-пропагандиста.

Сразу видно, что вы этими т.н. "ИИ" и не пользовались, а просто пришли набросить на вентилятор. От правды там одно название, на деле 90% их ответов это полная чушь.

trunk_85 писал(а):

kotyara57 писал(а): Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"? Традиционные ценности и Культурный код, это когда твоему 8 летнему сыну трансгендеры не рассказывают о прелестях однополых развлечений. А на запрос искусственному интеллекту нарисовать ветерана второй мировой или великой отечественной , он тебе не будет рисовать негра или американца с шевронами водружающего американский флаг над рейхстагом. А ещё не будет тебе пояснять, что проводить парад натуралов это ущемление прав геев.

Рейхсфюрер СС Генрих Гиммлер видел в гомосексуальных мужчинах большую угрозу. Согласно его оценкам, сделанным в 1937 году, в Германии насчитывалось от 1 до 2 миллионов гомосексуальных мужчин от 16 лет, что составляло 7—10 % мужского населения страны. Гомосексуалы подлежали «перевоспитанию» и «лечению», и лишь «неподдающиеся исправлению» — истреблению
Получается Рейхсфюрер СС Генрих Гиммлер в 1937 году вполне прошел бы тест на Традиционные ценности и Культурный код, а искусственный интеллект провалил как и загнивающая западная демократия

Есть же примеры из Древней Греции, причем некоторые истории даже в школе изучали.

Недавно искал картинки на платных ресурсах, там за деньги продавали рисунки ИИ людей с 6 пальцами, выдавая их за творчество реальных. Кстати, попробуйте ИИ от сбра, обратите внимание, какой цвет кожи рисует, а сервис вроде бы российский.

Uelodys писал(а):

Просмотр доступен только для зарегистрированных пользователей Есть же примеры из Древней Греции, причем некоторые истории даже в школе изучали. Недавно искал картинки на платных ресурсах, там за деньги продавали рисунки ИИ людей с 6 пальцами, выдавая их за творчество реальных. Кстати, попробуйте ИИ от сбра, обратите внимание, какой цвет кожи рисует, а сервис вроде бы российский.

Так это нормально изучать мир во всех его проявлениях, а не зарывать голову в песок и видеть только то что якобы хорошо потому что кто-то так сказал. А чтобы молодые люди небыли подвержены всякого вида пропаганде, их нужно в школе учить критическому мышлению и недоверию к авторитетам, тогда люди перестанут заряжать воду у телевизора (получив якобы лучшее в мире образование) нести деньги мошенникам, кредитоваться под миллион процентов и покупать псевдо искусство с шестипалыми людьми сделанное несовершенной программой.

bubastis писал(а):

В то время, когда СССР был "в дёсны" с Германией и поставлял стратегическое сырьё Адику, шла "Битва за Британию", шли боевые действия на территории Франции. Это учитывается, или это противоречит "традиционным ценностям"? А битвы в Северной Африке? Когда США в боях на Тихом океане довел Японию до "голодного полуобморока", а СССР потом пришёл практически на всё готовое и попинал босоту на голодном пайке из Квантунской армии, это тоже учитывается, или "это другое"? Интересно, как в процентах это всё можно выразить? Наверное, "традиционные ценности" учитывают только ВОв, а всё остальное это "фейки" "с целью опорочить подавляющий вклад СССР в Великую Победу". Может, в этом случае, России создать свою "Большую Языковую Модель", научить её на базе майских указов Путина, его интервью Такеру Карлсону, гениальных филоЗофических бесед Соловьёва с его визави, Симоньян не забыть, "Международную пилораму"? Вот и будет обязательная для использования школьниками языковая модель.

уааа как всё плохо. битва за британию так активно шла, что германия не сбросила почти ни одной бомбы на британию, потому что ей запретили спонсоры. боевые действия во франции длились аж целый месяц и то только потому, что там были люди не согласные с политикой государства и оказывали сопротивление германии вопреки полной капитуляции самой франции практически без боя и такое было во всех европейских странах. там так активно шли бои, что ничего не было разрушено, вся промышленность была цела и работала на германию и люди в общем то были и не против ) японии было глубоко   на сша и они не собирались сдаваться даже после сброса на них атомых бомб и только вступление в войну против японии ссср принудило их капитулировать. ссср сделало за 2 месяца больше, чем все эти якобы союзники за 2 года войны с японией.
читайте дальше либералистический бред от запада, который активно переписывает историю и пытается выставить ссср виновником второй мировой, где гитлер был белым и пушистым, но его почему то никто не любил и все обижали. все эти якобы союзнички так активно "воевали" против германии, что почему то германия от этого стала только сильнее и потеряли они в боях против германии несколько сотен тысяч на всех и то часто от дружественного огня, тогда как ссср потеряла только по официально задокументированным данным более 20 миллионов, из них 17 миллионов гражданского населения. так против кого на самом деле воевал запад и где устраивал геноцид? тоже самое они делают и сейчас, ничего не изменилось, чужими руками опять развязали войну и поставляют оружие чтобы их собственную экономику поднять и прекращать они её не собираются, им не выгодно.

Дело было вечером.
Делать было нечего ...

Raptor303 писал(а):

Вопрос про "наибольший вклад в победу во Второй Мировой Войне" интересный. Видим перечисление факторов, влияющих на ответ, но... какого лешего? Ты же ИИ! Вот и пересчитай все это, вычисли мне проценты вкладов от каждого из стран-союзников! Господи ) Для чего еще задавать подобный вопрос "суперкомпу"?

Просто то что сейчас называют ИИ до настоящего искусственного интеллекта очень далеко. Собственно интеллекта там нет вообще.