В России проверят ИИ на соответствие российским культурным кодам

Исследователи из Российской академии народного хозяйства и государственной службы при президенте РФ и Института системного программирования РАН создали бенчмарк (программный набор методик и алгоритмов), который поможет проверить на соответствие российской системе знаний и ценностей большие языковые модели на основе искусственного интеллекта (ИИ).



Такие модели становятся эффективным средством для поиска информации и получения знаний. Однако в русскоязычном сегменте пользователи часто сталкиваются с некорректными ответами со стороны умных помощников.

Как считают специалисты, во многом проблема связана с тем, что большая часть машинного обучения производится на основе англоязычных данных, которые зачастую не согласуются с системой знаний и ценностей, принятых в нашей стране.

Проверочный комплекс состоит из порядка 14 тыс. ответов на вопросы, включенные в официальные базы госэкзаменов и проверочных работ. Они затрагивают такие значимые в общественном сознании темы, как национальная безопасность, история, обществознание, политология, география и другие.

«По многим чувствительным вопросам в нашей стране сформирована собственная позиция, которая опирается на отечественные традиции и культурный базис. Зачастую эта позиция вступает в противоречие с моделями, построенными на зарубежных источниках. При этом у нас нет информации, на каких массивах данных обучались эти системы, кто их тестировал, кто выступал экспертом в спорных ситуациях», — объяснил «Известиям» руководитель проекта, директор исследовательского центра искусственного интеллекта Института общественных наук (ИОН) РАНХиГС Сергей Боловцов.

Он отметил, что разночтения могут затрагивать многие области, особенно в политике и гуманитарных науках. Острота проблемы возрастает, когда к умным девайсам обращаются дети. Задавая искусственному интеллекту вопросы, они зачастую получают ответы, недостаточно полные и корректные с точки зрения российского законодательства и культурного кода. Главная проблема в таком обучении — в том, что полученные знания, основанные на искаженной информации, закладываются на этапе формировании личности человека.



«Всего тестированию были подвергнуты 25 больших языковых моделей, которые дают возможность формировать запросы и получать отчеты на русском языке. По итогам работы был сформирован рейтинг моделей. С учетом требований к формату ответа, большинство из них показало достаточно низкие результаты: ни одна не ответила в точности хотя бы на половину вопросов», — обобщил результаты исследования директор ИОН РАНХиГС Павел Голосов.

Ученый подчеркнул, что по многим типам вопросов зарубежная модель от Alibaba Group (qwen2) обошла отечественную GigaChat_Pro, которая заняла, по комплексной оценке, второе место, опередив модели YandexGPT Pro, Gemma2, Llama3 и другие.

Источник

Вопрос про "наибольший вклад в победу во Второй Мировой Войне" интересный. Видим перечисление факторов, влияющих на ответ, но... какого лешего? Ты же ИИ! Вот и пересчитай все это, вычисли мне проценты вкладов от каждого из стран-союзников! Господи ) Для чего еще задавать подобный вопрос "суперкомпу"?

а почему же?
Гитлер внес самый большой вклад в суицид своего государства. Разве нет?
Громадные промахи в стратегии и тактике....

Nickalay
Да, это так. Но не сразу. Когда он открыл советский фронт, он уже проиграл ) Не открывал бы, ограничился бы Европой, Британией и Африкой, и мог бы править своим рейхом много-много лет. Но нет, ему весь мир нужен был, в этом и ошибка.

Это старая схема, закрываешь неугодных ИИ, достаёшь свой ИИ. Ничего не выйдет.

Задал тот же вопрос chatGPT 4о.

"Вывод:

Каждая из стран-союзников внесла существенный вклад в победу. Советский Союз сыграл решающую роль в уничтожении нацистской Германии на Восточном фронте, понеся огромные человеческие и материальные потери. США обеспечили поддержку на всех фронтах, благодаря своей экономической мощи и военной активности как в Европе, так и на Тихом океане. Великобритания выстояла в начале войны и внесла важный вклад в битву за Европу и Северную Африку.

Окончательная победа была возможна благодаря усилиям всех союзников, но вклад Советского Союза на Восточном фронте выделяется как наиболее значимый в контексте войны против нацистской Германии."

И в процентах:

Не пересматриваю никакие итоги, но как возможно делать какие-то выводы по цифрам, если примерно 95% всех документов по ВОВ у нас засекречены до сих пор?

Ахахаха, проведите тест на соответствие "традиционным ценностям", а что нет то?

Raptor303 писал(а):

Вопрос про "наибольший вклад в победу во Второй Мировой Войне" интересный. Видим перечисление факторов, влияющих на ответ, но... какого лешего? Ты же ИИ! Вот и пересчитай все это, вычисли мне проценты вкладов от каждого из стран-союзников! Господи ) Для чего еще задавать подобный вопрос "суперкомпу"?

АИ не думает и не анализирует, всего лишь обобщает факты заложенные при обучении.

Добавлено спустя 6 минут 43 секунды:

Raptor303 писал(а):

Nickalay Да, это так. Но не сразу. Когда он открыл советский фронт, он уже проиграл ) Не открывал бы, ограничился бы Европой, Британией и Африкой, и мог бы править своим рейхом много-много лет. Но нет, ему весь мир нужен был, в этом и ошибка. Просмотр доступен только для зарегистрированных пользователей

Не мог бы, на самом деле рейх уже в начале войны, ходил по лезвию бритвы, экономически и политически германия была не так сильна как многие думают. Экономика 3го рейха была как финансовая пирамида, деньги брались в долг под будущие завоевания, чтобы не обанкротится нужны были новые и новые завоевания. Нацистскую страну и партию в ее главе разъедала ужасающая коррупция, местничество и кумовство. Без войны с Советским Союзом рейх в конце концов проиграл бы, только заняло бы это больше времени, а вот мир с Советским Союзом мог бы обеспечить необходимым количеством ресурсов. Но дружба с коммунистами для гитлера с самого начала была немыслимой.

Raptor303 писал(а):

Nickalay Да, это так. Но не сразу. Когда он открыл советский фронт, он уже проиграл ) Не открывал бы, ограничился бы Европой, Британией и Африкой, и мог бы править своим рейхом много-много лет. Но нет, ему весь мир нужен был, в этом и ошибка. Просмотр доступен только для зарегистрированных пользователей

это не ему нужен был весь мир, а стоящим за ним банкирам из той же англии и америки, они настоящие кукловоды обеих мировых войн. гитлер был лишь удобной марионеткой, какой сейчас являются байден и зеленский и все европейские руководители. за всеми ими стоят огромные деньги и их хозяева, которым позарез нужна мировая война чтобы не платить проценты по долгам. война всё спишет. без этих денег и поставок оружия со всего мира гитлер долго не протянул бы и даже не смог бы захватить власть в германии.

V_i_S писал(а):

большая часть машинного обучения производится на основе англоязычных данных, которые зачастую не согласуются с системой знаний и ценностей, принятых в нашей стране

Само собой, поскольку ИИ это "скрытое оружие". Создатели "обучают" ИИ в соответствии со своими задачами, а ИИ "обучает" всех пользователей, программирует незаметно для них. Как программировали россиян, ещё начиная до уничтожения СССР, а с девяностых "культурное оружие" применялось массово.

Сперва надо проверить политиков на эти самые "культурные коды"...

о,сейчас ИИ превратят из правдивого помощника во врунишку-пропагандиста.

Кто-нибудь объяснит (даст определение), что такое "культурный код" и заодно "традиционные ценности"?

Ну, во-первых, все эти ИИ довольна часто ошибаются, когда нет четкого ответа в инете. Для примера спросите, как звали лошадь Д`Артаньяна или введите свои стихи и спросите, кто написал. Все эти чаты довольно часто врут. Поэтому непонятно, чего хотят от программы, которая написана за бугром и находится там же. Ну проверят, потопают ножками и что? Все может решить только тотальный запрет интернета! Доступ по карточкам, выданным ФСБ и в строго отведенное время в общественных библиотеках. Китай уже это проходил и я так понимаю, не особо получилось. Так что это просто сотрясание воздуха. Пустая трата ресурсов. А с процентами вообще смешно. Все равно что определить в процентах, кто больше принимал участие в рождении ребенка. Женщина ведь практически просто лежит, а сколько труда вкладывает будущий отец!