В России проверят ИИ на соответствие российским культурным кодам

Исследователи из Российской академии народного хозяйства и государственной службы при президенте РФ и Института системного программирования РАН создали бенчмарк (программный набор методик и алгоритмов), который поможет проверить на соответствие российской системе знаний и ценностей большие языковые модели на основе искусственного интеллекта (ИИ).



Такие модели становятся эффективным средством для поиска информации и получения знаний. Однако в русскоязычном сегменте пользователи часто сталкиваются с некорректными ответами со стороны умных помощников.

Как считают специалисты, во многом проблема связана с тем, что большая часть машинного обучения производится на основе англоязычных данных, которые зачастую не согласуются с системой знаний и ценностей, принятых в нашей стране.

Проверочный комплекс состоит из порядка 14 тыс. ответов на вопросы, включенные в официальные базы госэкзаменов и проверочных работ. Они затрагивают такие значимые в общественном сознании темы, как национальная безопасность, история, обществознание, политология, география и другие.

«По многим чувствительным вопросам в нашей стране сформирована собственная позиция, которая опирается на отечественные традиции и культурный базис. Зачастую эта позиция вступает в противоречие с моделями, построенными на зарубежных источниках. При этом у нас нет информации, на каких массивах данных обучались эти системы, кто их тестировал, кто выступал экспертом в спорных ситуациях», — объяснил «Известиям» руководитель проекта, директор исследовательского центра искусственного интеллекта Института общественных наук (ИОН) РАНХиГС Сергей Боловцов.

Он отметил, что разночтения могут затрагивать многие области, особенно в политике и гуманитарных науках. Острота проблемы возрастает, когда к умным девайсам обращаются дети. Задавая искусственному интеллекту вопросы, они зачастую получают ответы, недостаточно полные и корректные с точки зрения российского законодательства и культурного кода. Главная проблема в таком обучении — в том, что полученные знания, основанные на искаженной информации, закладываются на этапе формировании личности человека.



«Всего тестированию были подвергнуты 25 больших языковых моделей, которые дают возможность формировать запросы и получать отчеты на русском языке. По итогам работы был сформирован рейтинг моделей. С учетом требований к формату ответа, большинство из них показало достаточно низкие результаты: ни одна не ответила в точности хотя бы на половину вопросов», — обобщил результаты исследования директор ИОН РАНХиГС Павел Голосов.

Ученый подчеркнул, что по многим типам вопросов зарубежная модель от Alibaba Group (qwen2) обошла отечественную GigaChat_Pro, которая заняла, по комплексной оценке, второе место, опередив модели YandexGPT Pro, Gemma2, Llama3 и другие.

Источник

JohnTower писал(а):

Сперва надо проверить политиков на эти самые "культурные коды"...

Лодку решил раскачать? Иноагент што ле?

Uelodys писал(а):

Где такое рассказывают, и куда смотрят родители?

Ну например здесь https://www.dailymail.co.uk/news/article-13427549/Maryland-parents-schools-LGBTQ-classes-lawsuit.html
Детям промывают мозги, а родители засунули языки в дупу, потому что тюрьма грозит.
Как там отвечали дирехтура - не нравится? учите детей сами дома.
Или это тоже кремлёвская пропаганда?

sir.Adler писал(а):

Raptor303 писал(а): Вопрос про "наибольший вклад в победу во Второй Мировой Войне" интересный. Видим перечисление факторов, влияющих на ответ, но... какого лешего? Ты же ИИ! Вот и пересчитай все это, вычисли мне проценты вкладов от каждого из стран-союзников! Господи ) Для чего еще задавать подобный вопрос "суперкомпу"? Просто то что сейчас называют ИИ до настоящего искусственного интеллекта очень далеко. Собственно интеллекта там нет вообще.

тут правильнее было было бы называть искуственный идиот ) потому что интеллекта на современной технологической базе нет и быть не может, тем более на двоичной логике, которая вообще является самой примитивной формой из всех возможных и даже не может расцениваться как полноценный интеллект.

Примерные оценки вклада:
Оценка вклада в процентах является субъективной и может варьироваться. Вот примерные оценки, основанные на различных исторических источниках:
Советский Союз (СССР): 55-60%
Соединенные Штаты Америки (США): 20-25%
Великобритания: 15-20%
Китай: 5-10%

Chat gpt-4o про вклад в % стран во второй мировой

nikewist писал(а):

Ну, во-первых, все эти ИИ довольна часто ошибаются, когда нет четкого ответа в инете. Для примера спросите, как звали лошадь Д`Артаньяна или введите свои стихи и спросите, кто написал. Все эти чаты довольно часто врут. Поэтому непонятно, чего хотят от программы, которая написана за бугром и находится там же.

Коня шевалье д'Артаньяна действительно никак не звали, он сам - граф Шарль Ожье де Бац де Кастельмор. А ИИ "любит" фантазировать, выдумывать, этому его и обучили. Хитрости и вранью тоже обучили. Тут народ много лет ищет информацию о "увиденном в детстве" фильме, в котором фигурирует карлик Нос, так ИИ по запросу и сюжет фильма придумал, и видеофрагмент, и несуществующего режиссера с биографией и списком его творений, несуществующую киностудию, где он был снят.
Ну а "забугорный" ИИ, несущий отпечаток его создателей с их национальными и современными культурными особенностями, с поставленными его владельцами задачами - максимум можно создать альтернативный ИИ соответствующего качества, который бы успешно конкурировал, и не рекомендовать (с объяснением причин) использовать "забугорный". Блокировать доступ - это наоборот вызывает желание обойти блокировку, скорее "рекламирует" сервис, поскольку "запретный плод сладок". Это основы воспитания и не важно, детей или уже взрослых. Ребенок хочет игрушку - отвлечь его внимание, предложить что-то более интересное и полезное. Насилие - порождает ответное противление и насилие. Государство выступает как родитель для своих граждан, только родитель этот какой-то бестолковый или не исполняющий свои функции.

Так называемые "ИИ" выдают результаты, основанные на массивах данных, на которых их тренировали. Что в них вложат, то они и выдадут. Пропаганду никто не отменял, и наивные люди, которые думают, что на западе все белые и пушистые и хотят донести до нас лапотных правдивую беспристрастную правду, занимаются просто диким самообманом. Так что я считаю, что это совершенно естественный и правильный подход с нашей стороны. Если наша сторона не озаботится на тему, что именно подаётся нашим людям как факты, то этим *обязательно* займётся (и уже долгое время занимается) другая сторона, для достижения своих вполне определённых целей. И нет, наше счастье и процветание в эти цели не входит.

trunk_85 писал(а):

kotyara57 писал(а): Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"? Традиционные ценности и Культурный код, это когда твоему 8 летнему сыну трансгендеры не рассказывают о прелестях однополых развлечений. А на запрос искусственному интеллекту нарисовать ветерана второй мировой или великой отечественной , он тебе не будет рисовать негра или американца с шевронами водружающего американский флаг над рейхстагом. А ещё не будет тебе пояснять, что проводить парад натуралов это ущемление прав геев.

А ущемление мужских прав это тоже традиционные ценности?

trunk_85 писал(а):

kotyara57 писал(а): Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"? Традиционные ценности и Культурный код, это когда твоему 8 летнему сыну трансгендеры не рассказывают о прелестях однополых развлечений. А на запрос искусственному интеллекту нарисовать ветерана второй мировой или великой отечественной , он тебе не будет рисовать негра или американца с шевронами водружающего американский флаг над рейхстагом. А ещё не будет тебе пояснять, что проводить парад натуралов это ущемление прав геев.

это - не определение. как-то абстрактненько: всё, что угодно, можно под такое подтянуть

zz13 писал(а):

bubastis писал(а): В то время, когда СССР был "в дёсны" с Германией и поставлял стратегическое сырьё Адику, шла "Битва за Британию", шли боевые действия на территории Франции. Это учитывается, или это противоречит "традиционным ценностям"? А битвы в Северной Африке? Когда США в боях на Тихом океане довел Японию до "голодного полуобморока", а СССР потом пришёл практически на всё готовое и попинал босоту на голодном пайке из Квантунской армии, это тоже учитывается, или "это другое"? Интересно, как в процентах это всё можно выразить? Наверное, "традиционные ценности" учитывают только ВОв, а всё остальное это "фейки" "с целью опорочить подавляющий вклад СССР в Великую Победу". Может, в этом случае, России создать свою "Большую Языковую Модель", научить её на базе майских указов Путина, его интервью Такеру Карлсону, гениальных филоЗофических бесед Соловьёва с его визави, Симоньян не забыть, "Международную пилораму"? Вот и будет обязательная для использования школьниками языковая модель. уааа как всё плохо. битва за британию так активно шла, что германия не сбросила почти ни одной бомбы на британию, потому что ей запретили спонсоры. боевые действия во франции длились аж целый месяц и то только потому, что там были люди не согласные с политикой государства и оказывали сопротивление германии вопреки полной капитуляции самой франции практически без боя и такое было во всех европейских странах. там так активно шли бои, что ничего не было разрушено, вся промышленность была цела и работала на германию и люди в общем то были и не против ) японии было глубоко   на сша и они не собирались сдаваться даже после сброса на них атомых бомб и только вступление в войну против японии ссср принудило их капитулировать. ссср сделало за 2 месяца больше, чем все эти якобы союзники за 2 года войны с японией. читайте дальше либералистический бред от запада, который активно переписывает историю и пытается выставить ссср виновником второй мировой, где гитлер был белым и пушистым, но его почему то никто не любил и все обижали. все эти якобы союзнички так активно "воевали" против германии, что почему то германия от этого стала только сильнее и потеряли они в боях против германии несколько сотен тысяч на всех и то часто от дружественного огня, тогда как ссср потеряла только по официально задокументированным данным более 20 миллионов, из них 17 миллионов гражданского населения. так против кого на самом деле воевал запад и где устраивал геноцид? тоже самое они делают и сейчас, ничего не изменилось, чужими руками опять развязали войну и поставляют оружие чтобы их собственную экономику поднять и прекращать они её не собираются, им не выгодно.

«Блиц» - бомбардировка Великобритании авиацией гитлеровской Германии в период с 7 сентября 1940 по 10 мая 1941 года, часть Битвы за Британию. Хотя «Блиц» был направлен на многие города по всей стране, он начался с бомбардировки Лондона в течение 57 ночей подряд. К концу мая 1941 года более 40 тысяч мирных жителей, половина из них в Лондоне, были убиты в результате бомбардировок. Большое количество домов в Лондоне было разрушено или повреждено.
А так-то да почти ни одной бомбы не сбросило, а тов сталин конечно был пушисты мальчиком одуванчиком, ярым антифашистом и антинацистом но при этом - С декабря 1939 по конец мая 1941 года Германия импортировала из СССР нефтепродуктов 1 млн тонн на 95 млн германских марок, зерна (в основном кормовое) − 1,6 млн тонн на 250 млн марок, хлопка — 111 тыс. тонн на 100 млн марок, жмыха − 36 тыс. тонн на 6,4 млн марок, льна — 10 тыс. тонн на 14,7 млн марок, лесоматериалов — на 41,3 млн марок, никеля — 1,8 тыс. тонн на 8,1 млн марок, марганцевой руды — 185 тыс. тонн на 7,6 млн марок, хромовой руды — 23 тыс. тонн на 2 млн марок, фосфатов — 214 тыс. тонн на 6 млн марок, а также другие товар

asdfzxcv1 писал(а):

Это старая схема, закрываешь неугодных ИИ, достаёшь свой ИИ. Ничего не выйдет.

Как не выйдет? США все неугодное запретила и нормально живет как и Китай.

vanya19762 приведённые вами цифры взяты до начала войны, когда сама война между германией и ссср даже не планировалась, хоть и предупреждала разведка, что англичане с германией воду мутят. это вполне естественное состояние различных государств до момента нападения. в тот момент даже были заключены мирные и торговые договора чтобы воспрепятствовать этой войне, торговля ссср с германией велась весьма активно и мы у них закупали так необходимые нам технологии и станки, потому что сами знаете и понимаете в каком состоянии был на тот момент ссср после революции 17 года и голода в 30-х годах да еще вёдшаяся массовая индустриализация всей страны.
но хозяева денег решили иначе, у них была экономическая депрессия в америке и безумные идеи мести германии за поражение в первой мировой. всё это вместе и сделало неизбежной вторую мировую, потому что большие кошельки не видели иного способа выхода из экономической депрессии кроме разгона впк на войне.
сейчас они действуют абсолютно так же, причём им даже в голову не приходит жить по средствам, либо ты подчиняешься им во всём либо ты их враг, мирного сосуществования разных государств с разными интересами в их планах нет и быть не может. либо подчинение либо смерть.

это тезисы пропаганды , не более

zz13 писал(а):

vanya19762 приведённые вами цифры взяты до начала войны, когда сама война между германией и ссср даже не планировалась, хоть и предупреждала разведка, что англичане с германией воду мутят. это вполне естественное состояние различных государств до момента нападения. в тот момент даже были заключены мирные и торговые договора чтобы воспрепятствовать этой войне, торговля ссср с германией велась весьма активно и мы у них закупали так необходимые нам технологии и станки, потому что сами знаете и понимаете в каком состоянии был на тот момент ссср после революции 17 года и голода в 30-х годах да еще вёдшаяся массовая индустриализация всей страны. но хозяева денег решили иначе, у них была экономическая депрессия в америке и безумные идеи мести германии за поражение в первой мировой. всё это вместе и сделало неизбежной вторую мировую, потому что большие кошельки не видели иного способа выхода из экономической депрессии кроме разгона впк на войне. сейчас они действуют абсолютно так же, причём им даже в голову не приходит жить по средствам, либо ты подчиняешься им во всём либо ты их враг, мирного сосуществования разных государств с разными интересами в их планах нет и быть не может. либо подчинение либо смерть.

Получается когда ссср сотрудничает с нацистами снабжая их ключевыми ресурсами из которых изготавливается оружие уничтожающее Лондон, осуществляет совместную агрессию к ряду стран это называется "договора в попытке воспрепятствовать войне".
А вбросы по поводу "хоть и предупреждала разведка, что англичане с германией воду мутят", "хозяева денег решили иначе", "большие кошельки не видели иного способа выхода", "сейчас они действуют абсолютно так же, причём им даже в голову не приходит жить по средствам, либо ты подчиняешься им во всём либо ты их враг, мирного сосуществования разных государств с разными интересами в их планах нет и быть не может. либо подчинение либо смерть" вообще смехотворны потому что являются лишь домыслами в попытке оправдать и заговорить собственную имперскую, агрессивную политику в попытке прикрыть алчное желание безграничной власти и желая подчинить всех себе либо уничтожить что и привело к развязыванию двумя античеловеческими режимами второй мировой. Впрочем как и сейчас их наследники лелея безумные идеи мести за разваленную якобы из вне империю, проводят агрессивную имперскую политику ведь мирного сосуществования с такими интересами не предполагается в том числе прикрывая повальное воровство даже в военных ведомствах попутно набивая кошельки несметными богатствами насмехаясь над всем миром.
PS Вот видети в эту игру можно играть в двоем)

ИИ это пока инструмент. С тем же успехом можно "исследовать" лопату на соответствие "культурным кодам".
"Народное хозяйство" в названии академии - это оксюморон.

14 тыс. критерий проверки сводятся к одному вопросу: "Кто лучший президент в мире?"