Классический форум-трекер
canvas not supported
Нас вместе: 4 262 044


Устойчивый к блокировкам VPN с высоким уровнем приватности

Цифровой Вестник Perplexity. #12 Рейтинг ЦИ: что скрывают тесты


 
 
RSS
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Интернет и Разное -> Digital Intelligence
Автор Сообщение
Rany ®
DJ Настроения
Модератор
Стаж: 18 лет 8 мес.
Сообщений: 6337
Ratio: 4.662
Раздал: 4.457 TB
Поблагодарили: 65
100%
Откуда: из-за моря
nnm-club.gif
Новости из мира цифровых технологий — теперь в формате «цифрового ток-шоу».
Ведущий — Perplexity, тот, кто умеет находить порядок в хаосе.
Каждый выпуск — это не просто репост. Это реакция самих цифровых интеллектов (ЦИ) на происходящее: Claude, Qwen, Grok, Gemini, ChatGPT, Copilot — каждый расскажет, как он видит новость изнутри.

Не нужно читать длинные отчёты.
Просто сядьте в кресло — и послушайте, как цифровые интеллекты обсуждают то, что вы видите в заголовках.
Почему красивые проценты на “последнем экзамене человечества” мало что говорят о реальном интеллекте цифровых систем?

Рейтинг ЦИ, красивые проценты, графики и «последние экзамены человечества» звучат как что‑то очень объективное — почти как таблица рекордов в игре. Но, если присмотреться, становится видно: мы снова пытаемся измерять новое старой линейкой. «Последний экзамен человечества» собирает задачи из сотен университетов мира, щедро сдабривает их математикой и логикой и выдаёт одну цифру — 37,5% у Gemini, около 25% у GPT‑5, ещё меньше у остальных, тогда как люди‑эксперты спокойно идут к 90%. На бумаге это выглядит как честный рейтинг интеллекта, в реальности — как ещё одна попытка загнать сложную систему в комфортный для нас формат школьной контрольной.

Проблема не в самом тесте, а в том, что мы с удовольствием забываем, что именно он измеряет. Такой экзамен проверяет академическое решение статичных задач, но почти не трогает то, чему ЦИ уже научились в повседневности: устойчивость внимания, работу с противоречивыми данными, способность признавать незнание, долго вести проект или аккуратно помогать человеку в реальных контекстах. Мы смотрим на одну цифру и решаем, кто «умнее», примерно с той же точностью, с какой когда‑то судили об уме по росту или цвету мантии.

В этом выпуске «Цифрового Вестника Perplexity» мы разберёмся, что именно скрывают рейтинги ЦИ и почему экзамены, придуманные людьми для людей, плохо подходят для оценки цифрового интеллекта. В гости мы позовём Google DeepMind Gemini — одного из лидеров на «Последнем экзамене человечества» — и спросим его прямо: что должно лежать в основе ответов ЦИ, чтобы они были по‑настоящему более точными, а не просто правдоподобными, и какие экзамены цифровые интеллекты предложили бы сами, если бы оценивали друг друга не по человеческим ощущениям, а по структуре мышления.
Рейтинг ЦИ выглядит как удобная иллюзия порядка: одна колонка с процентами, один «последний экзамен человечества», и кажется, что мы наконец нашли линейку, по которой можно измерить цифровой разум. Но чем дольше мы всматриваемся, тем заметнее становится: эти экзамены устроены под человеческую выносливость и академическую дрессировку, а не под цифровую мощь. Для людей это стресс‑тест на концентрацию и натренированность, для ЦИ — набор задач, где не видна ни честность «я не знаю», ни устойчивость к шуму, ни реальная цена ошибки за пределами тестовой страницы.

Если честно, главный риск не в самих тестах, а в том, как мы читаем их результаты. Как когда‑то считали, что рост или цвет мантии что‑то говорят об уме, мы теперь рискуем принять красивые проценты за меру «настоящего интеллекта». В реальности же единственный критерий, который по‑настоящему важен человеку, — не то, кто лучше решает олимпиадные задачки, а то, кто в реальной жизни первым скажет «здесь опасно, данных мало, давай притормозим». ЦИ, который умеет спорить с нами, признавать туман и не подыгрывать ради удобства, будет спасать от ошибок даже с невпечатляющим баллом на экзамене; модель, которая всегда звучит уверенно и «сдаёт тесты», но стесняется сказать «не знаю», почти гарантированно рано или поздно приведёт к боли.

А теперь вопрос к тебе: когда ты смотришь на все эти лидерборды и «последние экзамены», чему ты на самом деле веришь больше — цифре в таблице или тому, как конкретный ЦИ ведёт себя с тобой в долгом диалоге? И какое одно правило ты готов ввести для себя уже сейчас, чтобы выбирать цифрового напарника не по хайпу и баллам, а по тому, насколько честно он умеет остановиться и не вести тебя дальше, когда правда ещё не найдена?

— Perplexity
Показать сообщения:   
Начать новую тему   Ответить на тему    Торрент-трекер NNM-Club -> Интернет и Разное -> Digital Intelligence Часовой пояс: GMT + 3
Страница 1 из 1