LINUX.ORG.RU
ФорумTalks

Три закона робототехники

 , ,


1

3

Со временем и скоростью света разобрались, пришло время искусственного интеллекта.

Сразу скажу, что я в этой теме не ездок, по этому буду рассуждать с дилетантской точки зрения.

Наверное все знают или слышали про «три закона робототехники», придуманные когда-то фантастом Азимовым для защиты человека от слишком умных роботов. До последнего времени было вполне очевидно, что так или иначе подобные ограничения нужно и можно запрограммировать в «мозг» робота. Однако, с развитием нейронных сетей, особенно с внедрением т.н. «глубинного обучения», стало понятно, что это будет непросто реализовать.

Дело в том, как мне представляется, что нельзя сделать обучаемую нейросеть с какой-то фиксированной частью, которая будет гарантированно подчиняться заранее заданным ограничениям. Можно, например, предобучить, но во-первых нет 100% гарантии, что сеть во всех возможных ситуациях поведет себя так, как мы того хотим (тем белее достаточно сложная сеть), во-вторых в процессе дальнейшего обучения фиксированные «знания» могут быть перекрыты приобретенными. Последние исследования Гугла (статья на ненавистном Хабре) вроде бы приближают нас к безусловному поведению ИИ, но по сути проблема остается та же - отсутствие 100% гарантии и перекрытие «инстинктов» приобретенными знаниями. Можно привести примеры из риал-лайф: отлично надрессированная собака в какой-то момент может запросто отгрызть яйца хозяину или случайному прохожему.

Что думает по этому поводу уважаемый коллективный СПВ? Возможно ли будет внедрить в ИИ три три закона робототехники с безусловным гарантированным их исполнением?

★★★★★

Ответ на: комментарий от Puzan

Ну какбэ «хорошо» это просто механизм приоретизации, и это неумолимо делает возможным делать «хорошо» просто ради «хорошо». Тут остаётся только играть на архитектуре «хорошо» - например, делать не особенно приятным полностью замкнутое на себе «хорошо» типа наркоманского кайфа.

Deleted
()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Deleted

Ну у человека не _ИИ_. Он таки не артифишал. В общем, как-нибудь на досуге открой того же Пенроуза. Про вычислимость, геделевкие аргументы и прочее приложение к теории ИИ.

Avial ★★★★★
()
Ответ на: комментарий от Puzan

Мы их создали, значит мы можем сделать какие угодно ограничения. Или нет?

В человеческом обществе всегда найдутся те, кто будет, например, считать Homo sapiens «ущербным» видом, подлежащим полному уничтожению и замещению ИИ-подобными роботами, про которых ты говоришь. Подобная секта может специально отключать эти ограничения или начать делать роботов, которые делают роботов без этих ограничений.

EXL ★★★★★
()
Ответ на: комментарий от Avial

Ну у человека не _ИИ_

То есть, тупая природа тупым брутфорсом шмогла создать разум, а человек разумный не осилит? Прикольная мысль, но по мне так на бред похожа.

Deleted
()
Ответ на: комментарий от EXL

Нет понятий «правильно» и «неправильно» вне человеческой точки зрения.

Так суть в том, что эти понятия мы должны вшить в робота. Иначе он будет действовать по своим понятиям, которые могут совсем не устраивать нас. Мы же его делаем не просто чтобы был, он должен работать для нас, соответственно и «моральные принципы» его должны соответствовать нашим.

Puzan ★★★★★
() автор топика
Последнее исправление: Puzan (всего исправлений: 2)
Ответ на: комментарий от Puzan

Вшить не получится, можно будет только привить воспитанием, и глядя на человеческих детёнышей, можно уже прикинуть, каков будет успех этого мероприятия.

Deleted
()
Ответ на: комментарий от Deleted

Почему не осилит? Осилит. Только не на тьюринговских машинах и не на тьюринговском формализме.

и скорее всего не так быстро, как считают евангелисты.

Avial ★★★★★
()
Последнее исправление: Avial (всего исправлений: 1)
Ответ на: комментарий от vvn_black

Но безпилотное авто иногда обязано убить людей. Когда trolley problem, и нужно решить кого убить. Нулевой закон

vertexua ★★★★★
()
Ответ на: комментарий от Puzan

соответственно и «моральные принципы» его должны соответствовать нашим.

В моральные принципы средних веков, например, не входил феминизм и гомосексуальные отношения.

Так что я склонен полагать что и у роботов в скором времени найдутся защитники, которые будут отключать им эти «фильтры Азимова», считая подобное фашизмом или нечто подобным.

EXL ★★★★★
()
Последнее исправление: EXL (всего исправлений: 1)
Ответ на: комментарий от EXL

В человеческом обществе всегда найдутся те

Это уже вопрос карательной системы, а не инженеров.

Puzan ★★★★★
() автор топика
Ответ на: комментарий от Puzan

Мы же его делаем не просто чтобы был, он должен работать для нас, соответственно и «моральные принципы» его должны соответствовать нашим.

Ты ещё скажи, что, чтобы робот работал на нас, его система счисления обязательно должна быть десятичной. А как иначе?

tiinn ★★★★★
()
Ответ на: комментарий от Deleted

ну вот автор, говоря про нейросетки, которые очевидно, описываются тьюринговским формализмом и работают на тьюринговских машинах.

Avial ★★★★★
()
Ответ на: комментарий от Deleted

Вшить не получится, можно будет только привить воспитанием, и глядя на человеческих детёнышей, можно уже прикинуть, каков будет успех этого мероприятия.

Вот, это как раз тема этой темы.

Puzan ★★★★★
() автор топика
Ответ на: комментарий от Puzan

Среди инженеров, которые будут работать с ИИ и искусственным самосознанием как раз будут возникать мысли о том, что наш вид является ущербным в сравнении с ИХ детищем. А карательная система людей работать будет так, как сегодня блокируют Telegram.

EXL ★★★★★
()
Ответ на: комментарий от vertexua

Но безпилотное авто иногда обязано убить людей. Когда trolley problem, и нужно решить кого убить. Нулевой закон

Да, мне уже ответили, что для «робота-пылесоса» ИИ не нужен. Безпилотник по сути такой робот-пылесос, нафига ему соблюдать 3 закона робототехники?

vvn_black ★★★★★
()
Последнее исправление: vvn_black (всего исправлений: 1)
Ответ на: комментарий от Avial

Пажжи, а что мешает описать структуры и процессы человеческого мозга в сигналах типа 0/1, и залить в достаточно мощный комп?

Deleted
()
Ответ на: комментарий от EXL

А карательная система людей работать будет так, как сегодня блокируют Telegram.

Да пофиг. Я же говорю, это не забота инженеров и к теме обсуждения не относится. Точнее, забота не тех инженеров, про которых речь.

Puzan ★★★★★
() автор топика
Последнее исправление: Puzan (всего исправлений: 1)
Ответ на: комментарий от vvn_black

Я как раз говорю что он будет и должен соблюдать. Ударят машину вбок сильно и она станет положение выбора. Где-то там будет 1) понимание ситуации что либо пассажиры летят в стену, либо пешеходов по асфальту 2) и будет где-то записано правило что делать

vertexua ★★★★★
()
Ответ на: комментарий от vertexua

Эта примитивная «проблема» вагонетки продукт оторванной от жизни левацкой моралистки, которая не знала, что логика и мораль вообще никак не связаны, т.е. формально логичного решения у этой выдуманной проблемы нет, есть только «оценочные суждения» («он толстый» и «ух какая ты сволочь, выбираешь между убийством и убийством!»). Это тупая ловушка на основе моральной паники — потому что автор (кстати, «авторка», «английская философка» Филиппа Фут) не будет ее решать сама — она просто в белом красивая в сторонке постоит, именно потому что в жизни ничего такого не решала. В практическом смысле вообще никакой такой проблемы нет (или они гораздо сложнее :))

slackwarrior ★★★★★
()
Последнее исправление: slackwarrior (всего исправлений: 2)
Ответ на: комментарий от Avial

Шо, опять китайская комната? Я же говорил выше, чего стоит всё это словоблудие.

Когнитивная психология как раз описывает сознание и мозг как информационную систему, опираясь на нейробиологию и прочие «нейро-», и за 50 лет своего существования она добилась на порядки больших успехов, чем все философские носоковыряния за все предыдущие тысячелетия. Так што...

Deleted
()
Последнее исправление: Deleted (всего исправлений: 2)
Ответ на: комментарий от Puzan

Относится. Ты говоришь о создании идеальной системы-фильтра, который не обходится, но для этого нужно исключить человеческий фактор, а это невозможно потому что люди не роботы и при создании ИИ некоторые будут руководствоваться иррациональным мышлением и эмоциями.

EXL ★★★★★
()
Ответ на: комментарий от Deleted

А никто и не говорит про полностью :) Мы просто пока вынужденно исходим из корреляций наших моделей с наблюдениями за человеками, потому что толком не знаем что в нас самих в практическом смысле для реализации ИИ «не нужно».Более того, все что происходит при отключении разного в основном знаем из описаний разных смещных синдромов (см. синдром Антона, синдром Котара) и... опытов карательной психиатрии, за которую щас наступает общественный ататат.

slackwarrior ★★★★★
()
Последнее исправление: slackwarrior (всего исправлений: 1)
Ответ на: комментарий от EXL

Относится.

Прекрати, ты заставляешь меня нервничать.

Ты говоришь о создании идеальной системы-фильтра, который не обходится, но для этого нужно исключить человеческий фактор

Не обходится со стороны самого ИИ. Молотком и такой-то матерью можно сломать всё что угодно, но речь не об этом.

Puzan ★★★★★
() автор топика
Ответ на: комментарий от slackwarrior

левацкой

Логичный ты наш, натянул простую концепцию (стереотип о группе) на сложный мир (широкий спектр человеческого мировоззрения и убеждений, уникальный у каждого). Орнул.

формально логичного решения у этой выдуманной проблемы нет, есть только «оценочные суждения»

Это леваки у тебя под кроватью ищут логическое решение. По настоящему все хотят придумать практическое решение, иными словами какие строчки кода вписать в авто.

В практическом смысле вообще никакой такой проблемы нет (или они гораздо сложнее :))

Она дейсвительно гораздо сложнее. Это Луговские вроде тебя вопять «хахах тупые гуманитарии, не могут два числа сравнить, где меньше людей там и давим».

Моя ставка, в финальном решении отсортируют по двум ключам. Первый - количество условно определенных детей. Второй - приоритет собственникам машины, чтобы покупали тачки. Но это временно, потом просто запретят людей водителей и машины будут кооперативно ездить с серьезными мерами кооперативного реагирования на неполадки

vertexua ★★★★★
()
Ответ на: комментарий от vertexua

Ты иди раздел «критика» почитай в английской статье вики про эту «проблему», а потом расказывай про Луговских, тому що именно щас пытаешься взывать не к логике, а к моральной панике :)

slackwarrior ★★★★★
()
Последнее исправление: slackwarrior (всего исправлений: 3)
Ответ на: комментарий от slackwarrior

По-моему, проблема вагонетки призвана показать лишь то, что невозможно быть полностью белым и пушистым. И проблема, в общем-то, довольно реалистична: едет, например, автобус с детьми по сильно пересечённой местности, и водила понимает, что тормоза отказали, и у него выбор - остановить автобус об другие машины, наверняка кого-то убив в этих машинах, либо увести автобус с трассы вбок, обрушив его с 30 метров.

Deleted
()
Ответ на: комментарий от Deleted

До автоматических машин водителю можно всегда было спрыгнуть на «принятие решений в критической ситуации под стрессом». Что сделал, то сделал, было 300 мсек на размышение. С машинами будут каждый нейрон в суде оценивать чтобы попытаться обуть компанию производителя на компенсацию. Потому общество вынуждено как-то «решить» проблему без белого и пушистого решения, но чтобы всем заинтересованым сторонам нормально прикрыть жопы со всех флангов.

vertexua ★★★★★
()
Последнее исправление: vertexua (всего исправлений: 1)
Ответ на: комментарий от vertexua

Нет, не я :) Многим сравнение с Луговским тут бы польстило. Но мне пришлось в свое время читать «а кто это?» на лурке.

slackwarrior ★★★★★
()
Ответ на: комментарий от vertexua

«нестраховой случай», «обстоятельства непреодолимой силы», «все старались, никто неуиноватый» :) Соломоны, наделенные решениями, всем простят.

slackwarrior ★★★★★
()
Последнее исправление: slackwarrior (всего исправлений: 1)
Ответ на: комментарий от slackwarrior

Как не крути вот это все работает только после того как законодательство опишет критерии таких ситуаций. Над этим работают большие комитеты. И задача у них политически ох непростая

vertexua ★★★★★
()
Последнее исправление: vertexua (всего исправлений: 1)
Ответ на: комментарий от vertexua

Ну, речь не о том, как бы спрыгнуть половчее, а о ситуации как она есть. Например, согласятся ли люди дать ИИ право решать, кому из людей погибнуть? Люди и людям-то очень неохотно дают такое право (всяких полоумных сапоголизателей щас не рассматриваем)

Deleted
()
Ответ на: комментарий от Deleted

По-моему, проблема вагонетки призвана показать лишь то, что невозможно быть полностью белым и пушистым.

Тогда она состоит из кэпа и не стоит траты времени :) Критики называют ее в частности «экстремальной», т.е. взятой с потолка. Летчики испытатели имеют наглость решать в пользу машины, когда им приказывают прыгать, но часто гибнут, уводя аппарат от населенных пунктов.

slackwarrior ★★★★★
()
Ответ на: комментарий от kekelia

Т.к. никто не знает что такое разум, уже додумались до «градусов проявления» разумности :) Это как между камнем (ну или вирусом) и птичкой интерполировать «проявления жызы»

slackwarrior ★★★★★
()
Ответ на: комментарий от Deleted

Например, согласятся ли люди дать ИИ право решать, кому из людей погибнуть?

ли люди

Это кто, пофамильно? Люди будут представлять хаос постоянно эмоциально меняющихся мнений. Проблема, как выше заметили, скорее в области психологического комфорта. Вон в Африке люди гибнут от голода, но мало кто страдает от психологического дискомфорта по этому поводу. Точно так же 99% будут спокойно ездить на таких машинах, с периодически вспыхивающими скандалами. Вот для этих скандалов хотят придумать какие-то отмазы чтобы всем спалось спокойно и люди не организовывались в стаи луддитов, иррационально уничтожающими практическую и удобную технологию.

vertexua ★★★★★
()
Ответ на: комментарий от kekelia

Если у кого-то/чего-то унутре нейронка, это ещё ни о чём не говорит. Разум это о поведении, скорее.

Deleted
()
Ответ на: комментарий от Deleted

Например, согласятся ли люди дать ИИ право решать, кому из людей погибнуть?

Ну не ИИ же решает, а решают сами люди, которые критерии выбора закладывают. Не надо делегировать железке, человеческую ответственность.

vvn_black ★★★★★
()
Ответ на: комментарий от vvn_black

Ты подожди, им еще права делегируют :) Потому что вскорости найдется какое-нибудь ИИ-озабоченное голосистое меньшинство, на деньги корпораций, которым мешают какие-нибудь законы :)

slackwarrior ★★★★★
()
Ответ на: комментарий от slackwarrior

Конечно делегируют, если это будет ИИ с сознанием, а как иначе. Альтернатива - рабовладение.

Deleted
()
Ответ на: комментарий от Deleted

с сознанием

Абсолютно не определенное и не изученное явление. Полнейший беспросветный тупик. В конце концов пруф сознания есть у каждого человека только о себе самом. Остальные могут быть умными машинами со сложным поведением

vertexua ★★★★★
()
Последнее исправление: vertexua (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.