Этика беспилотного автомобиля и возможное решение проблемы вагонетки
Классический мысленный эксперимент, известный как «проблема вагонетки», ставит вопрос: должны ли вы переключить стрелку, чтобы отклонить несущуюся вагонетку, чтобы она убила одного человека, а не пятерых? В качестве альтернативы: что, если вам придется столкнуть кого-то на рельсы, чтобы остановить вагонетку? Какой выбор сделать в такой ситуации? (Проблема вагонетки сформулирована впервые в 1967 году английским философом Филиппой Фут. Примечание переводчика)
Десятилетиями философы спорили о том, следует ли нам предпочесть утилитарное решение (то, что лучше для общества, то есть меньше смертей) или решение, которое ценит права личности (например, право не подвергаться преднамеренной опасности).
В последние годы разработчики автономных автомобилей также размышляли о том, как беспилотники могли бы решать аналогичные дилеммы, когда столкнутся с непредвиденными дорожными ситуациями. Например, что должен сделать беспилотный автомобиль, если на его полосу внезапно выезжает велосипедист? Свернуть на полосу встречного движения или столкнуться с велосипедистом?
Крис Гердес, заслуженный профессор инженерных наук и содиректор Центра автомобильных исследований в Стэнфорде (Center for Automotive Research at Stanford, CARS), считает, что решение находится прямо перед нами. Оно встроено в общественный договор, который у нас уже есть с другими водителями и сформулированный в наших правилах дорожного движения и их толковании судами. Профессор Гердес совместно с сотрудниками Ford Motor недавно опубликовал решение «проблемы вагонетки» в контексте беспилотных автомобилей. В нашей статье Гердес рассказывает об этой работе и предполагает, что она вызовет большее доверие к беспилотному транспорту.
Как наши правила дорожного движения могут помочь в определении этического поведения для автономных автомобилей?
Корпоративная политика Ford гласит: «Всегда соблюдайте закон». Наш проект вырос из нескольких простых вопросов: применима ли эта политика к беспилотному вождению? И когда, если вообще когда-либо, для автономного автомобиля этично нарушать ПДД?
Когда мы исследовали эти вопросы, мы поняли, что в дополнение к правилам дорожного движения существуют апелляционные решения и судебные инструкции, которые помогают конкретизировать общественный договор, сложившийся за те сто с лишним лет, что мы водим автомобили. И ядро этого общественного договора заключается в выполнения обязанности соблюдать интересы других участников дорожного движения, следуя ПДД, за исключением случаев, когда нарушение ПДД необходимо для предотвращения столкновения. Другими словами, в тех же ситуациях, когда кажется разумным нарушить закон с этической точки зрения, также разумно нарушить ПДД на законных основаниях.
С точки зрения человеко-ориентированного искусственного интеллекта, это важный момент: мы хотим, чтобы системы автономного вождения в конечном итоге были подотчетны людям. И уже имеющийся у нас механизм для привлечения их к ответственности перед людьми заключается в том, чтобы заставить их соблюдать ПДД. Тем не менее, этот основополагающий принцип — что беспилотные автомобили должны следовать закону — не полностью принят в нашей отрасли. Некоторые люди говорят о «натуралистичном» вождении, имея в виду, что если водители вокруг ускоряются, то и беспилотный автомобиль должен ускориться. Но нет никаких правовых оснований для этого — ни для автономного транспортного средства, ни для компании, которая заявляет, что соблюдает закон.
Так что, на самом деле, единственным основанием для нарушения закона беспилотным автомобилем должна быть только необходимость избежать столкновения. И оказывается, что закон в значительной степени с этим согласен. Например, если встречного движения нет, и беспилотный автомобиль пересекает двойную сплошную, чтобы избежать столкновения с велосипедистом, возможно, он нарушил правила дорожного движения. Но он не нарушил закон, потому что сделал все необходимое, чтобы избежать столкновения, сохраняя при этом свою обязанность соблюдать интересы других участников дорожного движения.
Какие этические проблемы должны решить разработчики автономных автомобилей?
Этические дилеммы, с которыми сталкиваются программисты автономных автомобилей, в первую очередь связаны с исключительными дорожными ситуациями — теми случаями, когда автомобиль не может одновременно выполнять свои обязательства перед всеми участниками дорожного движения и своими пассажирами.
До сих пор было много дискуссий вокруг утилитарного подхода, при котором производители автономных автомобилей должны решать, кому жить, а кому умирать в ситуациях моральной дилеммы — например, велосипедисту, пересекшему дорогу перед беспилотником, или людям, движущемся во встречном потоке. Но я считаю глубоко ошибочным сам постулат о том, что машина должна решать, чья жизнь дороже. В конечном счете, производители автономных автомобилей отказались от утилитарного решения. Они ссылаются на то, что на самом деле они не решают «проблему вагонетки», а программируют безопасный беспилотный автомобиль. Так были разработаны различные методологии, в том числе система RSS (Responsibility-Sensitive Safety, безопасность с учетом ответственности) — попытка создать набор правил для поддержания определенной дистанции вокруг автономного автомобиля таким образом, что, если бы все следовали этим правилам, столкновения бы не происходили.
Проблема вот в чем: даже если система RSS не решает напрямую ситуации этической дилеммы, связанные с неизбежным столкновением, автономный автомобиль должен будет все равно как-то отреагировать и что-то сделать — независимо от того, сознательно ли это поведение спроектировано или просто вытекает из запрограммированных правил. И хотя я думаю, что со стороны отрасли справедливо говорить, что мы на самом деле не решаем «проблему вагонетки», справедливо будет все же задаться вопросом: «Как поступит автономный автомобиль в таких ситуациях?»
Так как же запрограммировать автономный автомобиль для обработки ситуаций с неминуемым столкновением?
Если беспилотный автомобиль можно запрограммировать соблюдать законную обязанность учитывать интересы всех участников дорожного движения, то столкновения будут происходить только в том случае, когда кто-то другой нарушает свою обязанность по отношению к автономному автомобилю, либо в результате механической поломки, упавшего на дорогу дерева, внезапного дорожного провала. Но предположим, что другой участник дорожного движения нарушает свою обязанность учитывать интересы нашего беспилотника и проезжает на красный свет или подрезает его. В таком случае принципы, которые мы сформулировали, говорят, что беспилотник, тем не менее, обязан соблюсти интересы этого нарушителя и должен сделать все возможное — в рамках физических ограничений транспортного средства — чтобы избежать столкновения, не втягивая в него кого-либо еще.
В этом смысле у нас есть решение «проблемы вагонетки» для автономных автомобилей. Мы не оцениваем вероятность, получит ли травму один человек или несколько людей. Вместо этого мы говорим, что нам не разрешено выбирать действия, которые нарушают нашу обязанность соблюдать интересы других людей. Таким образом мы пытаемся разрешить конфликт напрямую с человеком, который его создал — человеком, который нарушил свою обязанность соблюдать наши интересы, — не вовлекая в этот конфликт других людей.
И я бы сказал, что это решение соответствует существующему общественному договору. Водители ожидают, что, если они будут соблюдать ПДД и выполнять все свои обязанности по отношению к другим, они смогут безопасно передвигаться по дороге.
Почему вдруг считать нормальным решение автономного автомобиля избежать столкновения с велосипедистом, если при этом он должен резко вывернуть на встречку и врезаться в другой автомобиль, движущийся в рамках закона? Зачем принимать решение, которое вредит постороннему человеку, не являющемуся участником этой дилеммы? Должны ли мы предполагать, что при этом нанесенный вред может быть меньше, чем вред велосипедисту? Я думаю, это трудно оправдать не только морально, но и практически.
В любом дорожно-транспортном происшествии есть много неизвестных факторов. Вы не знаете, каковы будут действия различных участников дорожного движения, и вы не знаете, к какому результату приведет отдельное действие. Разработка системы, которая утверждает, что способна мгновенно выполнять эти утилитарные вычисления, не только сомнительна с этической точки зрения, но и практически невозможна. И если бы автопроизводитель действительно разработал автономный автомобиль, который отнял бы одну жизнь, чтобы спасти пять, этот автопроизводитель, вероятно, столкнулся бы с серьезной ответственностью за это, потому что в нашем общественном договоре нет ничего, что оправдывало бы такое утилитарное мышление.
Поможет ли ваше решение «проблемы вагонетки» представителям общественности поверить в безопасность беспилотных автомобилей?
Если вы читали некоторые исследования, вы можете подумать, что автономные автомобили используют этический краудсорсинг и обучаются принимать решения, основанные на ценности человека для общества. Я могу представить, что люди очень обеспокоены этим. Люди также выражают некоторую озабоченность по поводу автомобилей, которые могут пожертвовать своими пассажирами, если решат, что это спасет большее количество жизней. Это тоже звучит нелицеприятно.
Мы же полагаем, что наш подход хорошо структурирует ситуацию. Если автомобили запрограммированы так, чтобы всегда соблюдать свои обязанности по отношению к другим участникам дорожного движения, представители общественности могут прийти к пониманию, что, если они сами следуют правилам, то им нечего бояться беспилотных автомобилей. Кроме того, даже если люди нарушат свой долг соблюдать интересы беспилотника, он будет запрограммирован на использование всех своих возможностей, чтобы избежать столкновения. Я думаю, это должно успокоить людей, потому что ясно дает понять, что автономные автомобили не будут взвешивать их жизни в рамках какого-то запрограммированного утилитарного расчета.
Как ваше решение «проблемы вагонетки» может повлиять на дальнейшее развитие автономного транспорта?
Я думаю, что наши обсуждения с философами, юристами и инженерами достигли той точки, когда мы можем наконец провести четкую параллель между тем, что требует закон, как наш общественный договор реализует наши этические обязанности и реальными техническими требованиями, которые мы можем написать.
Таким образом, теперь мы можем передать список этих технических требований человеку, который программирует автономный автомобиль, для воплощения нашего общественного договора в компьютерном коде. И оказывается, что, когда вы разбираете основные аспекты ответственности автомобиля за соблюдение интересов других участников дорожного движения, все сводится к нескольким простым правилам: таким как соблюдение безопасного расстояния и вождение с разумной и уместной скоростью. В этом смысле, решение начинает немного походить на RSS, потому что мы можем принципиально задавать различные пределы безопасности для автомобиля.
В настоящее время мы применяем это решение в Ford для разработки некоторых требований к автоматизированным транспортным средствам. И мы публикуем нашу статью в открытом доступе, чтобы поделиться с остальными участниками отрасли в надежде, что, если другие сочтут наши доводы убедительными, они могут быть включены в лучшие практики.
**********
Полную публикацию научной статьи можно найти здесь:
A. D’Amato, S. Dancel, J. Pilutti, L. Tellis, E. Frascaroli & J. C. Gerdes, Exceptional Driving Principles for Autonomous Vehicles, 2022 J. L. & MOB.
Available at: https://repository.law.umich.edu/jlm/vol2022/iss1/2
Перевод с английского предоставлен инженерной компанией АКТИАС ТЕК. Этичность — одна из ключевых ценностей компании в работе со своими клиентами, сотрудниками, партнерами.