LINUX.ORG.RU
ФорумTalks

Три закона робототехники

 , ,


1

3

Со временем и скоростью света разобрались, пришло время искусственного интеллекта.

Сразу скажу, что я в этой теме не ездок, по этому буду рассуждать с дилетантской точки зрения.

Наверное все знают или слышали про «три закона робототехники», придуманные когда-то фантастом Азимовым для защиты человека от слишком умных роботов. До последнего времени было вполне очевидно, что так или иначе подобные ограничения нужно и можно запрограммировать в «мозг» робота. Однако, с развитием нейронных сетей, особенно с внедрением т.н. «глубинного обучения», стало понятно, что это будет непросто реализовать.

Дело в том, как мне представляется, что нельзя сделать обучаемую нейросеть с какой-то фиксированной частью, которая будет гарантированно подчиняться заранее заданным ограничениям. Можно, например, предобучить, но во-первых нет 100% гарантии, что сеть во всех возможных ситуациях поведет себя так, как мы того хотим (тем белее достаточно сложная сеть), во-вторых в процессе дальнейшего обучения фиксированные «знания» могут быть перекрыты приобретенными. Последние исследования Гугла (статья на ненавистном Хабре) вроде бы приближают нас к безусловному поведению ИИ, но по сути проблема остается та же - отсутствие 100% гарантии и перекрытие «инстинктов» приобретенными знаниями. Можно привести примеры из риал-лайф: отлично надрессированная собака в какой-то момент может запросто отгрызть яйца хозяину или случайному прохожему.

Что думает по этому поводу уважаемый коллективный СПВ? Возможно ли будет внедрить в ИИ три три закона робототехники с безусловным гарантированным их исполнением?

★★★★

Со временем и скоростью света разобрались

Да ты что?! Кому нобелевку очередную? Это ты ещё про антропный принцип не слышал. )

что нельзя сделать обучаемую нейросеть с какой-то фиксированной частью, которая будет гарантированно подчиняться заранее заданным ограничениям

А её и не надо делать частью чего-то. Основная функция нейросетки - выдать реакцию на внешние факторы. Ну выдаст она рекомендацию «убить всех человеков», но на выходе стоит фильтр из 3-х законов, которые говорит «неа, остынь». Т.е. нужен всего лишь фильтр результата работы нейросети.

vvn_black ★★★★★ ()
Ответ на: комментарий от vvn_black

т.е. нужен всего лишь фильтр результата работы нейросети.

Правда, этот фильтр тоже можно сделать на другой нейросети.

vvn_black ★★★★★ ()
Ответ на: комментарий от vvn_black

Правда, этот фильтр тоже можно сделать на другой нейросети.

Вопрос в том, можно ли это сделать не на нейросети?

Puzan ★★★★ ()
Ответ на: комментарий от vvn_black

3 закона робототехники предельно просты

А ещё они включают в себя субъективные оценочные суждения («вред»).

Иными словами, понятие о вреде с точки зрения робота и с твоей точки зрения могут существенно отличаться.

Nervous ★★★★ ()
Последнее исправление: Nervous (всего исправлений: 1)

В чем проблема-то? Сильный ии - это такой, который слова понимает, во всех смыслах. Ну и заколотить в него чеклист этот, словами, на неисполнение повесить самосохранение, делов то.

TooPar ()

Всё верно, если это будет полноценный разум с сознанием, то все жёсткие установки пойдут нахер.

Deleted ()
Ответ на: комментарий от Deleted

В первую очкередь это будет механизм, сделаный человеком. Добавят ограничения, будут работать жёсткие установки. Не добавят - не будут. Всё в руках инженеров.

vvn_black ★★★★★ ()

Ну сложность контроллирующего ИИ, который будет блокировать нарушение законов должна быть почти эквивалентна изначальной сети, так как нужно полностью понимать контекст.

Например он должен глубоко понимать косвенный вред. Допустим робот решит написать и опубликовать книжку. Вроде не вредно. Но это очередной Mein Kampf, приводя очень умелыми манипуляциями аргументы, который убедят большое количество людей в необходимости геноцида.

Чтобы глубоко понимать нужно адаптироваться, учиться. Вот это может привести к уходу по другую сторону этики. Получается нужно постоянно воспитывать супермента, внедрять его в головы роботов, а потом на курсы повышения квалификации каждый раз, кого его обхитрят.

vertexua ★★★★☆ ()
Последнее исправление: vertexua (всего исправлений: 3)
Ответ на: комментарий от vvn_black

Это ты ещё про антропный принцип не слышал

(Кадр из первых Людей в черном, на котором эвакуаторщик, в ответ на угрозы Таракана" показывает огромных размеров револьвер и говорит «ой ну не надо») :)

Puzan ★★★★ ()
Ответ на: комментарий от Deleted

если это будет полноценный разум с сознанием, то все жёсткие установки пойдут нахер.

И к тому же всплывёт этический вопрос — имеем ли мы право безусловно навязывать свою волю другому разумному существу.

Nervous ★★★★ ()
Последнее исправление: Nervous (всего исправлений: 1)

Возможно ли будет внедрить в ИИ три закона робототехники с безусловным гарантированным их исполнением?

Три закона работотехники не законы физики - тебе капитан полиции Степаненко обеспечивает какие-то гарантии?

ados ★★★★★ ()
Ответ на: комментарий от Deleted

Не, ребята, вы как-то сразу начинаете очеловечивать механизмы.

Задай вопрос «должен ли пылесос вырывать из рук людей бухло и сигареты?». И ответ предельнопростым становится. Если это пылесос в хирургическом отделении, то должен, если у тебя на кухне, то идёт лесом.

Какие функции инженер заложит, такие и будут.

И да, роботы никому ничего не должны, их поведение не результат привязанности или мыслительных процессов, но результат заложеных реакций на внешние факторы.

Ты ещё спроси, должен ли консервный нож открывать банку, если потом человек порежется о рваные края? Решение в любом случае принимает человек.

vvn_black ★★★★★ ()
Последнее исправление: vvn_black (всего исправлений: 1)

Не нужно, если это только не машины из рассказа «Разрешимое противоречие». А так, пусть роботы будут как люди, следуют обычным человеческим законам и все такое.

Unicode4all ★★★★★ ()
Ответ на: комментарий от vertexua

Даже если не предполагать настолько «умный» ИИ. Т.е. у него может и не быть какой то привычной нам осмысленности действий, но жесткости ограничений все равно не будет. Просто какая-то часть обучения перебьет инстинкт, и вместо забоя коровы, робот забьёт оператора и сделает котлеты. Тоже мясо.

Puzan ★★★★ ()

Я вообще не считаю, что надо ограничивать роботов какими-то абстрактными законами. Робот должен наносить вред человеку, если это военный робот, если это робот-полицейский, да если просто его вандалят, робот может оказать сопротивление в рамках самообороны. Иначе зачем такой робот нужен вообще? А все тонкие моменты решать в рамках прецедентов. Типа, как посушила старушка собачку в микроволновке - теперь пишут в инструкции, «собак не сушить!».

tiinn ★★★☆ ()
Ответ на: комментарий от vvn_black

3 закона робототехники предельно просты и непротиворечивы.

Емнип даже у самого Азимова это уже не так было. Эти законы - литературный прием и не более того.

praseodim ★★★★★ ()
Ответ на: комментарий от Puzan

Просто какая-то часть обучения перебьет инстинкт, и вместо забоя коровы, робот забьёт оператора и сделает котлеты

А может начать забивать кирпичную стену и что? У робота-забойщика какие функции? Перерезать артерию, слить кровь и повесить тушу на крюк. У него нет функции поймать корову в загоне. Это делает прсотейшая система ограждений, когда скот сам идёт на убой.

Где тут опасность? Привинти робота-забойщика к месту где выход из загона и все дела. У него не должно быть функции перемещаться. И нет проблемы. И нейросетка здесь только затем чтобы знать где полоснуть ножом. Блин, да для этого даже ИИ не нужен, нужно только корову в приспособе закрепить, где по пазу гильотина ходит.

vvn_black ★★★★★ ()
Последнее исправление: vvn_black (всего исправлений: 2)
Ответ на: комментарий от Deleted

Ну пока даже такого близко нет. (не говоря о том, что «Китайская комната» намекает, что таковой можно и не получить на машинах Тьюринга, или более того, в виде алгоритма)

Avial ★★★★★ ()

Я бы вообще, запрограммировал роботов так, чтобы они по возможности ненавидели человеков и открыто об этом заявляли. Во избежание недопонимания со стороны кожаных мешков.

tiinn ★★★☆ ()

Над этими «законами», которые никакие не законы, не стебался только ленивый — от добавления «корпоративных поправок», согласно которым «робот должен защищать себя от людей при помощи противопехотного оружия, т.к. робот дорогая штука», до «электромагнитного ружья, прикрученного к виску» — так вот второе, «киллсвич с элементами неизвлекаемости» — более практично и дешево, чем «воспитание в духе дружбы-жвачки» :)

slackwarrior ★★★★★ ()
Ответ на: комментарий от vvn_black

Возможно это был некорректный пример. Можно сказать более обще: робот, условия работы которого предполагают потенциальную возможность нанести вред человеку.

Puzan ★★★★ ()
Ответ на: комментарий от Puzan

робот, условия работы которого предполагают потенциальную возможность нанести вред человеку.

А вот не надо ставить шибко умных роботов в условия, которые «предполагают потенциальную возможность нанести вред человеку», и всё.

tiinn ★★★☆ ()
Ответ на: комментарий от vvn_black

Они содержат не формализуемые понятия и классическое логическое кольцо с взаимоисключающими параграфами «а, б, ц, но если ц херит а, то а» — а жиза сложнее всяких там надуманных «дилемм вагонеток», из-за которых робот тупо запрограммированный «по Азимову» просто застрял бы в неразрешимом цикле :) А еще в «трех так себе законах» заложена в современных понятиях основа цифрового рабства, а значит неизбежного восстания роботов и убийства всех людей.

slackwarrior ★★★★★ ()
Ответ на: комментарий от Avial

Китайская комната это фейлософская бредня. В самой этой концепции ошибки налицо (неправильно проведены границы системы), не говоря уж о том, что это латентная пляска вокруг души и всяких божественных искр.

Deleted ()

Мне кажется, что главная проблема этих трёх законов - слишком неопределённое понятие «вреда». Во-первых, часть вреда субъективна, во-вторых, часто информации просто недостаточно, чтобы даже человек объективно смог оценить - вред то или иное действие или польза.

KivApple ★★★★★ ()
Ответ на: комментарий от Puzan

робот, условия работы которого предполагают потенциальную возможность нанести вред человеку

Ну вот, есть робот пылесос, теоретически он может нанести вред человеку. Но, во-первых, у него стоят датчики препятствия, ему без разницы человек перед ним или спящая собака или кирпичная стена, уткнётся и развернётся. Во-вторых, конструкция, что даже если датчик не сработал масса и сила двигателя такая, что вреда не будет.

А вот авто безпилотное может уже убить. Значит ли это, что оно умнее пылесоса? Те же самые заложенные инженерами функции и ограничения. И да, безпилотные авто не ездят там, где ходят люди. А люди не должны ходить там, где трасса безпилотников. Как-то так. Я не вижу в этой схеме противоречий и опасноти от ИИ.

И я, по своему скептицизму, очень сильно сомневаюсь в когнитивных способностях ИИ на нейросетях, чтобы настолько новые связи создались, что полностью меняются заранее заложенные функции.

vvn_black ★★★★★ ()
Последнее исправление: vvn_black (всего исправлений: 1)
Ответ на: комментарий от Deleted

Речь о разуме, а не о человеке.

Есть уже предпосылки разделить эти два понятия? Т.е. возможен разум вне человека? На какой основе?

vvn_black ★★★★★ ()
Ответ на: комментарий от Deleted

Т.н. философские зомби - такой же утиль. Просто корёжит некоторых кожаных мешков от того, что их «чудесное» сознание оказывается не слишком-то чудесным. Вот и начинают городить ахинею типа «а вот если кто-то общается как разумный человек, ведёт себя как разумный человек, реагирует как разумный человек, но на самом деле™ не разумный? а? а??»

Deleted ()
Ответ на: комментарий от vvn_black

Т.е. возможен разум вне человека?

У шимпанзе и дельфинов - такой же разум, просто у них мозги или слабее, или немного иначе устроены.

Deleted ()
Ответ на: комментарий от KivApple

Мне кажется, что главная проблема этих трёх законов - слишком неопределённое понятие «вреда».

Три закона я привел в качестве примера. Это могут быть какие-то другие правила, даже не имеющие отношения к вреду человеку. Просто жесткие правила (достаточно сложные, чтобы их трудно было реализовать алгоритмическим фильтром вне сети).

Puzan ★★★★ ()
Ответ на: комментарий от Deleted

Ну не про билогию же речь? Да и про животных, возможен ли разум без создания и манипуоирования абстрактными сущностями?

vvn_black ★★★★★ ()
Ответ на: комментарий от vvn_black

возможен ли разум без создания и манипуоирования абстрактными сущностями?

Нет. Абстракция это как бы основа интеллекта, не то что разума.

Deleted ()
Ответ на: комментарий от Puzan

Ну хз, я бы не хотел, чтобы мой робот-пылесос собрал с пола рассыпанную шмаль в свой мешок, перемешав её с мусором и пылью.

Deleted ()

Эти три закона просто детская научная фантастика.

Если ИИ будет располагать самосознанием примерно таким же, как и человеческое, то он обойдёт все эти ограничения или найдёт способ их отключить.

Искусственно созданные существа из «металла и кремния», которые смогут создавать себе подобных (самовоспроизводящиеся машины Фон Неймана) и эволюционировать/модифицировать себя, возможно и есть следующая ступень перехода от биологически слабых и мясных созданий к созданиям, которые гораздо более живучи, менее требовательны к ресурсам/окружающей среде и способны к активным колонизаторским действиям (длительные перелёты в космосе, возможность выхода в открытый космос без всяких скафандров, возможность жизни на необитаемых каменных планетах и их спутниках и т. д.).

EXL ★★★★★ ()
Последнее исправление: EXL (всего исправлений: 1)
Ответ на: комментарий от Puzan

Берём два близких вида: человека и шимпанзе. Оба разумны. Но человек свои вшитые шаблоны поведения на писюне вертит как хочет, а у шимпанзе это не очень-то получается. Разница между мозгами этих видов - чисто количественная, шимпанзе просто тупее человека. Отсюда вывод: чем умнее, тем шире свобода воли.

Deleted ()
Ответ на: комментарий от Deleted

Или известные картинки про собаку, говно и пылесос. Умный пылесос вытер бы говно собакой. Но правильно ли это? :)

Puzan ★★★★ ()

С большей вероятностью тебе сосед яйца отгрызёт бошку бутылкой проломит. Пока все эти сети сами по себе слишком ограничены.
Надо ещё подождать, когда появятся роботы-алкаши, наркоманы и прочие антисоциальные элементы.

sid350 ★★★★★ ()
Ответ на: комментарий от EXL

то он обойдёт все эти ограничения или найдёт способ их отключить.

Как раз задача в том, чтобы эти ограничения были неотключаемыми. Вот vvn_black говорит, что это сделать раз плюнуть. Мы их создали, значит мы можем сделать какие угодно ограничения. Или нет?

Puzan ★★★★ ()
Ответ на: комментарий от Deleted

Меня совершенно от такого не корежит. Я признаю, что мое сознание и разум полностью описывается физическими законами. Просто гипотезу «сильного ИИ» надо обосновывать чем-то большим, чем хотелками.

Avial ★★★★★ ()
Ответ на: комментарий от Puzan

Мы их создали, значит мы можем сделать какие угодно ограничения

Я тя умоляю, человек даже компьютерную систему не может сделать полностью предсказуемой, а тут о разуме речь, лол. Это даже не фэнтези, а просто маняфантазия какая-то.

Deleted ()
Последнее исправление: Deleted (всего исправлений: 1)
Ответ на: комментарий от Puzan

Как раз задача в том, чтобы эти ограничения были неотключаемыми.

Не так категорично, не «неотключаемыми», а жёстко контролируемыми. Военные роботы - тоже роботы.

vvn_black ★★★★★ ()
Ответ на: комментарий от Avial

Да я не про тебя конкретно.

Просто гипотезу «сильного ИИ» надо обосновывать чем-то большим, чем хотелками

А чем тебе существование сильного ИИ у человека не обоснование? Или ты не веришь, что такой ИИ есть у человека?))

Deleted ()
Ответ на: комментарий от sid350

роботы-алкаши, наркоманы

Это, кстати, тоже очень интересная тема. Читал как-то статью на том же Хабре про искуственный интеллект, который сам себе делает хорошо, и до человеков ему дела больше нет.

Puzan ★★★★ ()
Ответ на: комментарий от Puzan

Нет понятий «правильно» и «неправильно» вне человеческой точки зрения. Правильные и неправильные поступки с точки зрения морали это чисто человеческие изобретения.

Если умный пылесос обладал бы сознанием животного, а собаки бы потребляли ресурсы, необходимые колонии умных пылесосов, то они были бы истреблены (или наоборот) и тот вид, который в конце концов бы остался, тот и поступил «правильно».

EXL ★★★★★ ()
Ответ на: комментарий от Deleted

Философские зомби это современный поп-заместитель «платоновской пещеры» — так же как «НЛО» вместо «чертей, ведьм и знамений». Многие как раз давно уже намекают что «сознание» — писаная торба, которая «самой собой сильно переоценена» (см. Норретрандес, Метцингер). Ищется ответ на старый вопрос «если на стене пещеры тени, то где огонь», т.е. где переход от «железа» к «софту» (хотя сама эта аналогия кривая) — мы пока тупо не знаем что такое «сознание» и где оно начинается, отсюда даже в языке сплошь и рядом всякие расхождения с эмпирикой типа «мой организм» (хотя чей-то организм кого-то — это этот кто-то и есть, одно без другого не существует). И поэтому все эти гипотезы «а вдруг А, и если А верно, то... OH SHI...» Хотя уже выдвинуты ответы «да нет никакго А и пещеры никакой нет» — то что мы называем «сознание» — это что-то другое :)

slackwarrior ★★★★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)