live13 (live13) wrote,
live13
live13

Categories:

Про этику роботов

Вчера на geektimes увидел заинтересовавший меня материал. Посвящен он обсуждения анкеты, выложенной разработчиками исскуственного интеллекта для разрабатываемых беспилотных КАМАЗ-ов. http://www.cognitive.ru/survey/

Можете зайти и посмотреть. Я же могу сразу сказать что то как сформулированы вопросы мне категорически не нравится. И сейчас я попробую объяснить почему. И с удовольствием выслушаю ваши соображения после того как вы прочтете мои доводы.

Для начала определимся с понятиями. Будем считать что в роботизированном автомобиле находятся люди.

Далее у современных автомобилей благодаря стараниям Volvo и последователей есть условно говоря два режима работы - безопасный для пассажиров (скорость ниже 60 км/ч) и небезопасный (больше 60 км/ч). В безопасном режиме исправный автомобиль наверняка успеет либо затормозить перед препятствием, либо в случае столкновения защитит пассажиров от смерти и особо тяжких увечий. Не зря в анкете упоминается именно 80 км/я. На такой скорости уже нельзя говорить что здоровье и жизнь пассажиров гарантированно защищены средствами безопасности автомобиля. При лобовом столкновении с другим автомобилем скорости принято складывать для оценки опасности. Даже если оба автомобиля сталкиваются на скоростях чуть ниже 60 км/ч - это уже совсем не безопасно.



Идем дальше. Предусмотреть все варианты в любом случае невозможно. Мне очень горько наблюдать за тем что разработчики такого важного исскуственного интеллекта совершенно не упоминают об основном принципе построения кибернетических систем. В недетерминированной среде система не должна строиться из набора жестких правил. Настоящая кибернетическая система должна иметь цель и при любом отклонении от стабильного состояния стремиться в него вернуться. Что у нас является целью автомобиля-робота? Минимизация ущерба здоровью живых существ. Сначала людей, потом животных и потом имущества (а может и сначала имущества, а потом животных). Причем критерий тоже может быть сложным. Представьте себе ситуацию.

Робот-грузовк попадает в чрезвычайную ситуацию. Перед ним внезапно оказывается младенец на дороге. Вокруг нет машин, в которых находятся люди. В самом роботе тоже нет водителя. Ответ очевиден - нужно жертвовать грузовиком. Уверены? Сейчас есть много планов о внедрении интерфейсов для общения между машинами. И представьте себе в нашем роботе-грузовкие или другом грузовике, в который ему придется врезаться находятся токсичные материалы ... нет пусть биологическое оружие! Грузовик едет по пригороду города-миллионника. Может все-таки давить младенца? Возможно ли на каждый такой случай написать свое особое правило? Не уверен. Кстати я уверен что для инкассаторов существуют предписания как действовать в подобных случаях. Если они развозят пенсию бабушкам, возможно никаких особых правил и не нужно. А что если они перевозят нечто, что стоит мильйон? Долларов! А пусть даже 100 мильйонов! Если они будут избегать угрозу для своего груза и собьют меня или вас - я не уверен что их признают виновными.

Однако на наше счастье среда у нас не такая уж и недетерминированная. У нас есть правила дорожного движения. И разработчики исскуственного интеллекта забыли упомянуть о том, что чем больше будет роботов-автомобилей, тем больше будет порядка на дорогах. Тем опаснее будут для окружающих оставшиеся непредсказуемые водители-люди. А если так, то почему роботам-автомобилям не вести себя строго по правилам? Они будут ездить исключительно по дорогам для автомобилей и исключительно соблюдая правила. Таким образом все другие участники движения (в том числе и пешеходы) всегда будут знать чего ожидать. И если переходить дорогу в положенном месте - ничего с тобой гарантированно не случится. Роботы-автомобили будут уступать дорогу пешеходам культурнее, чем самые культурные водители в культурных-прекультурных Европах и где угодно еще. Немного сбавить скорость ради безопасности перед пешеходным переходом не стак страшно, если это увеличивает вероятность сохранения жизней. В больших городах роботу даже не нужно будет самому проверять безопасность проезда черех переходный переход. Мониторить переход будет установленное там оборудование и оно само будет рассылать всем приближающимся автомобилям информацию о ситуации на переходе.



В результате получается что для того чтобы стать жертвой робота-водителя нужно совершить действие сравнимое по благоразумности с купанием внутри будки с надписью "Не влезай -убьет".

Таким образом мы плавно переходим к следующей важной теме. Мне, также как и вам и как любому другому водителю не очень то приятно думать о том, что в каких-то ситуациях автомобиль может пожертвовать моей жизнью. Но у пассажира внутри управляемого роботом авто есть презумция невиновности. Не пассажир управляет автомобилем. А если он не управляет, то и не может отвечать за последствия принятых решений. С другой стороны создающий аварийную ситуацию человек обязан нести ответственность за свои решения. Да, на дороге глупость может совершить другой человек-водитель, пешеход (в том числе выбежавший на дорогу ребенок) или животное. С животными все печально и на самом деле понятно. Если нельзя безопасно сманеврировать не создавая угрозу другим участникам движения (т.е. оставаясь в своей полосе и не нарушая скоростной режим) - уклониться. Во всех других ситуациях - давить. Если конечно зверь мелкий. Лося или корову придется воспринимать также как упавшее дерево или любое другое крупногабаритное препятствие. Но если в неположенном месте перед роботом оказался человек (даже несмышленый младенец) - это последствие неверного решения, принятого человеком. Взрослым или родителями ребенка. Находящиеся внутри робота пассажиры не могут нести за это ответственность.



А теперь еще подробнее рассмотрим эту ситуацию. Как я сказал с самого начала автомобиль по сути работает в двух режимах - безопасном и опасном. Если автомобиль движется со скоростью до 60 км/ч, он может нырнуть неа обочину, переломать руки, ноги, ребра и носы пассажирам, но сохранить жизнь младенцу на дороге или поставившему других уроду-алкашу, выползшему на проезжую часть. При этом автомобиль и пассажиры пострадают, на скорее всего пассажиры не погибнут. В опасном режиме автомобиль не может гарантировать сохранение жизни пассажирам. Поэтому алкашу или родителям младенца придется отвечать за последствия своих решений, а робот обязан сохранить жизни своих пассажиров.

Если в ближайшее время не случится таки третья мировая война, я уверен нас скоро ждет всемирный референдум по одному очень важному вопросу:

- Если в неположенном месте на дороге перед роботом автомобилем оказывается человек (или группа людей), а робот-автомобиль движется с безопасной скоростью, должен ли робот-автомобиль ради спасения пешехода пожертвовать здоровьем и имуществом пассажиров ради спасения пешехода?

Вместо всех гипотетических вопросов из анкеты подумайте лучше вот над этим конкретным вопросом. Я могу сказать что не знаю ответ и готов согласиться с мнением большинства. Одно могу сказать точно. Такое решение будет принято раз и навсегда для всех производителей авто сразу. Потому что если Лехус никогда не будет травмировать своих пассажиров, а Тойота будет, то естественно никто покупать Тойоту не будет.

И как следствие в автомобилях будущего возможно будет два режима езды - безопасный и опасный. В безопасном режиме автомобиль никогда не будет превышать безопасную скорость и в любой ситуации сможет сохранить жизнь пассажиров. Это идеальный вариант для того чтобы отвозить детей в школу. Ну а для торопыг или безлюдных грузовиков есть опасный режим. Да, владелец не отвечает за решения робота. Но большая скорость все равно опасна. А в случае грузовиков опасный режим с одной стороны означает быстрейшему доставку груза, а с другой стороны риск что в случае ДТП робот-грузовик пожертвует собой и грузом ради спасения жизней. Грузовики с особо опасными грузами насколько я знаю и сейчас обязаны ездить только на безопасной скорости.

Здесь еще много нюансов, но сейчас я не хочу акцентироваться на мелочах.

Давайте поговорим еще про правовой аспект. Так как челвоек не может отвечать за решения, принятые роботом (за робота отвечают его разработчики), нам крайне важно знать в кокой момент времени решения применяет человек, а в какой робот. Это значит что каждый автомобиль-робот должен быть оснащен поверенным самописцем, логирующим весь процесс вождения. И человек ни в коем случае не может пытаться переложить на робота ответственность. Например разогнаться с горки до 120 км/ч, подъехать к толпе и нажать кнопку включения робота. Пусть принимает решения, а я не виноват! Так не пойдет! Создатели робота могут отвечать за него только в ситуации, когда он был активирован в безопасной ситуации. При этом он по прежнему будет стараться сохранить человеческие жизни, но уже в пределах сложившейся ситуации, а отвечать за последствия все равно будет человек. Естественно это приведет к появлению пограничных ситуаций. Например, по незнанию человек включает робота непосредственно перед возникновением опасной ситуации. Приведет это только к тому что в будущем все больше больше людей будут отказываться от вождения. Будет как in Soviet Russia car drives you!



Естественно за те полчаса, пока я писал этот пост, я не смог вспомнить всех спорных моментов. Возможно я еще вернусь к этой теме. Ведь она с каждым годом будет все более и более актуальна.

Но все-таки нераскрытые аспекты наверняка еще остались. И не нужно напоминать мне про Азимова. Я помню.

А пока подумайте над вот такой задачкой

Куда должен ехать автомобиль на скорости 80 км/ч?



Вы знаете ответ? Я нет. И робот-автомобиль наверняка тоже. Может в такой ситуации ему стоить вызвать функцию rand()? На мой взгляд в данной ситуации с управлением справится только Иисус, но никак не робот или человек.


P.S. Бонусная задачка. На мост въезжает инкассатор, везущий картину Мона Лиза Джаконда. И вдруг на дороге куча младенцев. Что должен делать инккасатор? Ехать по младенцам или съехать с моста в воду и уничтожить Мону Лизу?
Tags: programming, авто, наука
Subscribe

  • С днем победы!

    Сегодня праздник, когда мы выражаем благодарность тем кто сделал все чтобы мы могли жить мирной жизнью. Лишь бы не было войны. Для тех кто помнил…

  • Вмерла

    Пожалуй что 2-го мая в Одессе и вмерла. Воняет конечно уже 9 лет. Но забывать такое не стоит. Печально только что столько людей уже погибло и еще…

  • Барбарелла - сила любви

    Посмотрел за последний месяц два старых фильма, которые никогда не смотрел и о которых хочется рассказать. Первый Девчата, второй Барбарелла…

promo live13 may 11, 2014 17:58 46
Buy for 50 tokens
Примерно неделю назад я писал, что заинтересовался этой online-книжкой http://gameprogrammingpatterns.com/ и решил сделать ее перевод. Сам я мог бы ограничиться и английским вариантом, но думаю многим перевод пригодится. В прошлом я уже занимался переводом книг. Не как основной работой. Так,…
  • Post a new comment

    Error

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 13 comments

  • С днем победы!

    Сегодня праздник, когда мы выражаем благодарность тем кто сделал все чтобы мы могли жить мирной жизнью. Лишь бы не было войны. Для тех кто помнил…

  • Вмерла

    Пожалуй что 2-го мая в Одессе и вмерла. Воняет конечно уже 9 лет. Но забывать такое не стоит. Печально только что столько людей уже погибло и еще…

  • Барбарелла - сила любви

    Посмотрел за последний месяц два старых фильма, которые никогда не смотрел и о которых хочется рассказать. Первый Девчата, второй Барбарелла…