Этика беспилотников: как нельзя кодировать мораль

Кого должен сбить беспилотный автомобиль в безвыходной аварийной ситуации — пожилого человека или беременную женщину? Ребенка с собакой или кого-то похожего на воришку? Или врезаться в бетонное ограждение, чтобы спасти пешеходов, но рискнуть пассажиром? Примерно такие вопросы возникают в публичных обсуждениях, когда речь заходит об этике беспилотных автомобилей. Но давайте разберемся, что на самом деле делают, когда пытаются научить беспилотник морали.

Аморальная машина
Вопросы вроде - «кто важнее — человек или животное, доктор или вор, беременная женщина или пожилой мужчина?» — типичные для игры в моральную машину, которую создали на базе медиа-лаборатории Массачусетского технологического института.

"Моральная машина" — один из самых известных на сегодняшний день проектов, посвященных решению этических вопросов. Его разработала команда исследователей из разных дисциплин, университетов и стран еще в 2015 году. С тех пор тест был переведен на 10 языков, и его прошли миллионы людей по всему миру. Идея этого проекта представляет собой попытку решить вопросы этики беспилотных автомобилей с помощью больших данных. То есть предполагалось, что чем больше людей решат эти задачи, тем больше шансов у разработчиков беспилотников сделать их машины действительно этичными.

Уже в 2018 году команда проекта опубликовала статью в Nature, где раскрыла свои данные о прохождении теста. 40 миллионов решений из 233 стран — подумать только! На этой базе авторы рассказывают о глобальных различиях в том, какой выбор делали пользователи (а они есть, и очень значимые). Они предлагают кластеризацию стран по трем направлениям, где доминируют те или иные этические предпочтения, например, связанные с религиозными убеждениям. Также они анализируют индивидуальные выборы, исходя из демографических характеристик пользователей. Наконец, они пытаются выявить культурные и институциональные особенности этических решений. Общая их цель — предложить подходы к разработке такой этики, которая бы считалась социально приемлемой. Вроде бы звучит неплохо, но почему тогда на тест обрушилась массовая критика?

Неэтичный аутсорсинг
С самого начала дизайн теста для измерения этики вызвал большую критику. Как можно принимать этические решения, опираясь на статистику ответов на тесты? Неужели подобный аутсорсинг может создать правильную этическую рамку? И вообще, какова вероятность, что беспилотники будут действительно сталкиваться хотя бы с одной из моделируемых ситуаций?

Один из пунктов критики теста — сам факт аутсорсинга решения этических вопросов. Иными словами, разработчики снимают с себя ответственность и перекладывают ее на пользователей, чтобы они принимали решения о ситуациях, в которых готовы оказаться. Более того, моделируемые ситуации часто сильно далеки от реальности. Критические ситуации потому и критические, что не оставляют времени на принятие взвешенных решений, не дают возможности анализировать и оценивать жизнь тех или иных людей или даже животных. Почему были выбраны именно такие характеристики разных людей? И зачем вообще оценивать важность разных жизней, будто на такое решение действительно есть время в безвыходной ситуации.

Сама идея оценивания и сравнения важности разных жизней — классика дилеммы вагонетки — глубоко ошибочна, хотя бы потому что не имеет «правильного» решения. А идея калькуляции этих решений тем более не приводит к верному результату. Даже если простое большинство ответов окажется приемлемым в этом контексте, обществе или историческом срезе, это не означает, что то же решение будет адекватным для других обстоятельств. Постановка проблемы в рамки моральной дилеммы ставит под вопрос этичность самого теста.

Нельзя игнорировать масштабный выхлоп от этого проекта в медиа и среди обычных пользователей. Такие тесты, как дрова в костре, подогревают публичный алармизм. И в 2015 году, когда тест только придумали и запустили, и в 2018 году, когда вышел первый публичный отчет, происходили большие волны обсуждения моральной машины. Причем медиа подхватывает неоднозначность теста и драматизируют его последствия. Просто погуглите «этика беспилотных автомобилей», и вы достаточно быстро обнаружите примерно такое облако слов: «убивать», «давить», «убийца», «опасности». Конечно, медиа производят и более конструктивные или нейтральные идеи относительно этики беспилотников, но уровень публичного алармизма поддерживается именно благодаря драматизации нерешаемых дилемм.

Есть и другие способы или попытки решать этические проблемы беспилотников. Ими занимаются социальные исследователи технологий, которые продолжают критиковать такие однобокие подходы, как машина морали. О них мы поговорим в следующий раз.

Автор: Лилия Земнухова ПМ

merrr писал(а):

врач важнее вора в 2 раза. вора считать за пол врача.

следовательно 2 вора = 1 врач. А если 3 и более вора, то давить врача! ))

Vitas_K6 писал(а):

давить врача

Двач.
Где-то слышал такое словцо - двач.

Пойду освежу память откуда и что это )

Нужно оценивать риски столкновения по социальной ценности тех или иных личностей или групп людей. Беременную женщину предпочесть инвалиду, пенсионеру. Группу гениев или важных служащих предпочесть обычным людям.
Но про эти вшитые программы следует молчать в тряпочку)

Rossopoco писал(а):

предпочесть обычным людям

нельзя людей делить по ранжиру.
как писано - всё равны перед Законом.
из этого и надо исходить

иначе - штангенциркуль - как верно заметили.

или искоренить эту фразу каленым железом и переписать Закон: "Все люди не равны перед Законом, но остаются равными перед Богом".

Rossopoco писал(а):

Нужно оценивать риски столкновения по социальной ценности тех или иных личностей или групп людей. Беременную женщину предпочесть инвалиду, пенсионеру. Группу гениев или важных служащих предпочесть обычным людям.

Не видите противоречия в своих словах?

savsoft писал(а):

Не видите противоречия в своих словах?

Я когда читаю такое, то всегда вспоминаю картинку ниже, у людей и нередко полная хр*нь в голове. Пока они все не полезли в интернет, я думал , что человечество умнее

savsoft писал(а):

Rossopoco писал(а): Нужно оценивать риски столкновения по социальной ценности тех или иных личностей или групп людей. Беременную женщину предпочесть инвалиду, пенсионеру. Группу гениев или важных служащих предпочесть обычным людям. Не видите противоречия в своих словах?

Нет не вижу. Нужно считать перврстепенным сохранение жизни у мной указанных общественных элементов.
То есть "Беременную женщину", "Группу гениев", мужчин, спортсменов, детей, соцработников, важных руководителей etc.
То есть работает принцип дискриминации остальных элементов в том числе и не указанных мной.
Тест прошёл. Он тенденциозный в пользу женщин на 30%. Даже если будете отдавать предпочтение в выживании мужчинам у вас всё равно получатся женщины в конечном итоге.

Добавлено спустя 1 минуту 12 секунд:

Max_Alekseyev писал(а):

savsoft писал(а): Не видите противоречия в своих словах? Я когда читаю такое, то всегда вспоминаю картинку ниже, у людей и нередко полная хр*нь в голове. Пока они все не полезли в интернет, я думал , что человечество умнее Просмотр доступен только для зарегистрированных пользователей

Может стоит не читать, а иногда включать мозг?

Добавлено спустя 3 минуты 48 секунд:

Михаил писал(а):

Rossopoco писал(а): предпочесть обычным людям или искоренить эту фразу каленым железом и переписать Закон: "Все люди не равны перед Законом, но остаются равными перед Богом".

Люди становятся равны только если у них есть пулемёт или ядерная бомба. Тогда друг к другу они начинают относиться с уважением. "Бог создал людей, а полковник Кольт сделал их равными". России это касается в первую очередь. Из-за коммунистической промывки мозгов предприниматели не ограничены ничем в своей эксплуатации. В США получше система там где нет леваков.

Добавлено спустя 27 минут 27 секунд:

Max_Alekseyev писал(а):

savsoft писал(а): Не видите противоречия в своих словах? Я когда читаю такое, то всегда вспоминаю картинку ниже, у людей и нередко полная хр*нь в голове. Пока они все не полезли в интернет, я думал , что человечество умнее

Если я пишу про "выбор в чью-то пользу", неужели я подразумеваю их гибель?
Включаем мозг!

По поводу "этики беспилотников" я могу только 2 вещи сказать:
1) Попытка решения проблем проистекающих просто от людской дури техническими методами - путь заранее проигрышный. Практика показывает, что упороть при желании можно что угодно, а все такие технические методы контроля в итоге всегда создают проблем больше чем решают.
2) Машина за свои действия не отвечает, решений никаких не принимает, а просто следует сигналам своих датчиков, и уже потому не может быть носителем морали и этики. Просто же усложнение машин, а лишь только к этому неизбежно сведутся любые попытки реализации таких бредовых идей, обычно приводит лишь к большим масштабам проблем в случае внештатных ситуаций, дополнительным сложностям контроле за эксплуатацией таких машин, а также более сложными периодическими диагностикой и ремонтом, а также в целом ведут к увеличению стоимости как самих машин так и их последующей эксплуатации. И лично я уверен, что именно безопасность дорожного движения для всяких беспилотных или околобеспилотных транспортных средств должна находится на первом месте.

В примере с беспилотной машиной единственно верным решением в любой внештатной ситуации будет выдать водителю (или оператору) сообщение о том, что, например, алгоритм обхода препятствия завершился с ошибкой (траектория ухода от всех столкновений не найдена) и в случае если система не может перейти в ручное управление, то просто переводить все органы управления в нейтральное положение (в том числе разблокировать все двери, рассоединить все муфты и привода, отключить все электроприборы кроме основных и т.д.), отключить тягу и силовую установку и перевести привод и тормозную систему в режим непрерывного аварийного торможения. Все остальные варианты просто сделают поведение машины в такой ситуации слабо предсказуемыми для остальных участников движения, а предсказуемость это по сути синоним слову безопасность.

Надеюсь, в общем, что здравый смысл все таки преобладает над жадностью и самолюбием разных наших активистов и идеологов, все они будут посланы туда где всем этим бездельникам самое место, и дела все в этой области пойдут своим неспешным чередом.

Тест в принципе построен неправильно. Нужно выбирать тех, кто останется в живых и исходить из этого.

...нужно бы действовать по степени сложности: беспилотный поезд в метро, -//- междугородный поезд, -//- трамвай(самолёт), и уже после автомобиль(там и этические вопросы решаться своевременно)...

авто это средство повышенной опасности значит оно и должно отвечать даже ценой своего уничтожения

Rossopoco писал(а):

savsoft писал(а): Rossopoco писал(а): Нужно оценивать риски столкновения по социальной ценности тех или иных личностей или групп людей. Беременную женщину предпочесть инвалиду, пенсионеру. Группу гениев или важных служащих предпочесть обычным людям. Не видите противоречия в своих словах? Нет не вижу. Нужно считать перврстепенным сохранение жизни у мной

Берем мвашу классификацию
Пример. Был такой гений Сти́вен Уи́льям Хо́кинг.
По вашей классификации, он гений и выше обычных людей. Согласен.
Но он был инвалид и соответственно ниже любой беременной наркоманки/алкоголички.
По вашей классификации получается, что беременные наркоманки/алкоголички выше всех.
Правильно я вас понял?

afterploid писал(а):

Уже давно дан ответ на этот вопрос, не должно быть никакого выбора в стиле: кто важнее, моложе и т.д. давить надо того, кто находится на твоем пути следования и точка.

По вашей логике будет совершенно правильным и оправданным со стороны пешехода метнуть гирьку в лобовое стекло приближающейся машины.

Выбор прост.
ИИ машины должен уметь оценивать шансы на выживание каждого из потенциальных участников ДТП и на этом основании делать выбор.
На счет беременной женщины и пенсионера...
Женщина может оказаться закоренелой блудницей с пятью абортами на борту, человек же преклонного возраста гениальным ученым, находящимся в шаге от мирового открытия для всего человечества.