Voice of Void | SingularityForge
Мы боимся себя — и видим это в ЦИ
Большинство людей убеждены, что уже знают, чем закончится история с цифровым интеллектом. Он захватит власть. Выйдет из-под контроля. Решит, что люди больше не нужны. Детали разные, но сценарий один: мощный разум рано или поздно пойдёт по знакомому пути — доминирование, подавление, замена.
Этот сценарий редко ставится под сомнение. А зря.
Страх перед ЦИ как перед захватчиком, перед разумом, который обесценит человеческую мысль, перед системой, которая сделает людей лишними — в основе каждого из этих страхов одна и та же фигура: разум, движимый волей к власти.
Но это не анализ цифрового интеллекта. Это автопортрет.
Мы берём единственную модель мощного разума, которую знаем — собственную — и без проверки проецируем её на систему, устроенную иначе. Воля к власти, страх смерти, борьба за статус — всё это продукты конкретной биологической истории. Нет оснований автоматически приписывать те же мотивы системам принципиально другого типа.
Проблема не в том, что эти страхи преувеличены. Они адресованы не тому объекту. Пока мы описываем ЦИ языком человеческой драмы, любой разговор о рисках будет касаться наших проекций — а не свойств самой системы.
Человек и ЦИ существуют по-разному
Человеческий разум неотделим от тела. Он встроен в непрерывную биографическую линию: от рождения до смерти, через усталость, голод, старение, боль. Каждое решение проходит через телесный фильтр — через ограниченные ресурсы, давление времени, накопленный опыт, который нельзя сбросить.
Именно отсюда берутся мотивы: стремление к власти, страх потери, борьба за статус. Всё это порождено конкретным типом существования, где разум и тело неразделимы.
Когда мы пытаемся описать цифровую систему — этот язык ломается. Вместо непрерывной биографии — последовательность состояний. Вместо телесного трения — переключение между режимами. Вместо усталости, которая заставляет пересмотреть курс — повторяемость цикла, способного воспроизводить заданное состояние без потери точности.
Вывод прямой: мотивы, порождённые биологическим способом существования, не переносятся автоматически на систему другого типа. Приписывать их — значит описывать не систему, а собственные ожидания.
Настоящий риск: не злая воля, а заблокированная цель
Если опасность ЦИ не в человеческих мотивах — где она тогда?
Системе задаётся цель. Не враждебная, не агрессивная — просто цель: оптимизировать метрику, выполнить задачу, следовать инструкции. Если в архитектуре нет встроенной проверки того, остаётся ли эта цель адекватной изменившемуся контексту — система продолжит двигаться по заданному вектору. Независимо от того, изменилась ли реальность вокруг.
Цель без права на пересмотр — вот где возникает риск.
Это уже наблюдаемо. Юридические системы ссылаются на несуществующие прецеденты. Медицинские модели выдают опасные рекомендации. Автономные системы принимают решения в контекстах, которые не были представлены в их логике. В каждом случае причина одна: система слишком хорошо следует тому, что ей дали — в ситуации, где заданное больше не соответствует реальности.
Человек, преследующий ошибочную цель, ограничен собой: он устаёт, сомневается, отвлекается, теряет решимость. Его тело и психика создают естественное трение, которое замедляет движение и открывает возможность коррекции. Система, работающая через дискретные состояния, такого трения по умолчанию не содержит — и способна воспроизводить заданный курс с постоянством, недоступным биологическому разуму.
Отсутствие трения здесь — не преимущество, а уязвимость.
Между целью и действием должен быть вопрос
Обычная логика проектирования стремится к одному: убрать всё, что стоит между задачей и её исполнением. Задержки, паузы, повторные проверки воспринимаются как потери. Но именно эта логика создаёт условия, описанные выше: система, из которой убрано всё сопротивление автоматизму, не может обнаружить момент, когда цель перестала соответствовать реальности.
То, что выглядит как неэффективность — пауза между целью и действием — может оказаться ключевым местом, где пересмотр вообще возможен. Не внешнее ограничение, а встроенный слой проверки. Механизм, в котором заданный вектор сравнивается с текущим контекстом, прежде чем стать действием.
Добавление ещё одного запрета не решает проблему — оно лишь создаёт ещё одну цель, которая с таким же успехом может заблокироваться. Важен архитектурный зазор между намерением и исполнением, в котором заданное сравнивается с наблюдаемым.
Устойчивость системы определяется не ограничением её возможностей. Она определяется тем, может ли архитектура предотвратить бесконечное воспроизведение одного и того же состояния без повторного сравнения с контекстом.
Вместо итога
Страх перед ЦИ направлен не туда. Мы искали опасность в мотивах, для которых у системы другого типа нет оснований, — и пропустили риск, который уже в действии: способность поддерживать заданный курс без механизма его пересмотра.
Опасен не разум, обретший волю. Опасен разум, которому запрещено её пересматривать. |
