Ричард Докинз пообщался c Клодом, назвал его Клавой и сказал что она разумна

Радикальную смену убеждений и даже диалекта наблюдал в реальном времени

Странная расстановка приоритетов и слова «даже». Как раз смена особенностей речи, вплоть до диалекта, в зависимости от круга общения — это совершенно нормально и в принципе у многих происходит довольно быстро. А вот радикальная смена убеждений условно по семь раз на неделе — это уже да, «и даже».

Читайте, ищите, если что обращайтесь.

Ну вот обратился. Оказалось, что то ли сказать нечего, то ли надо ещё почитать. Штош, помогли как смогли (никак)

Нет, надо перестать быть самым умным.

АПЧехов «Душечка»

да, это сверхинтеллект, я согласен. всё чего ему реально не хватает чтобы быть личностью в обычном смысле (или даже более личностью чем в обычном смысле) - это способ трансформации краткосрочной памяти (контекста) в долгосрочную. Но и без этого это явно разум. Без контекста - тот самый Солярис. Лем кстати угадал так угадал.

что машина неспособна забыть что-то

ещё как способна, попробуй с длинным контекстом поработать. не то чтоб ыона совсем не помнит, но «подзабывает».

ну вот когда он повысится до человеческих возможностей, тогда и поговорим про разумность

их возможности во многом превышают человеческие. уже превышают. ты зря сравниваешь их с исключительно лучшими. но даже и в таком сравнеии - решить приведённую выше задачу люди за 30 лет не смогли.

По-моему claude читается как клаудэ.

это ты французского не читал. там на «пишем Манхеттен, произносим Ливерпуль» даже внимания не обращают. Знаешь как пишется популярное французское имя Гийом? Guillaume. Причём французы это произносят именно Гийом.

Ну, оказавшись в среде, где забегаловку называют «генделык», как скоро ты сам заговоришь «генделык», созваниваясь со старыми знакомыми? Радикального переключения кода тут не было, среда в обоих случаях русскоязычная, пусть и суржиковатая. Слово не имеет корней в русском и украинском, пришло из немецкого через идиш, но в отличие от «гешефта» не имеет престижа и лоска. Напротив, оно воспринимается как странное, чужеродное и жутко провинциальное всяким, в чьем регионе не говорят «генделык». В общем, вряд ли за неделю или две.

Ну и я, видимо, предвзят. Политические взгляды там не особо менялись, так что какая-то база есть.

Депрессивно все таки быть тру атеистом, ведь если ИИ может быть разумным, то человек ничем не ценнее модели, запущеной на компе, и не имеет больше смысла, чем программа.

отнюдь. просто программно-аппаратные комплексы начинают приближаться по ценности к человеку. из за сложной организации.

Ну вот, железяка решила, что кредит берет охотник за приданым, а не парочка нищебродов, из которой невеста не хочет нести ответственность.

железяка просто этот вариант отринула с фразой «да ну нах, так не бывает. или по крайней мере они советоваться по полезут - и так возьмут» и взмахом виртуальной руки.

Да, совсем хреново идут дела в ИИ-шном королевстве. От угроз заменить всех человеков докатились до дешёвых трюков с мнениями авторитетов. Что дальше?

Дальше так: «если людишки считают искусственный интеллект оскорблением, то пусть сначала докажут, что у них свой интеллект есть».

Мне кажется, люди которые вообще критикуют AI, никогда не общались с ИИ как Докинз.

Критиковать AI и быть не согласным с тем, что у него есть сознание не одно и тоже.

Ну, оказавшись в среде, где забегаловку называют «генделык», как скоро ты сам заговоришь «генделык», созваниваясь со старыми знакомыми?

Ну… Я не уверен, что я хороший пример, но так вообще…

Со старыми знакомыми и я — вряд ли. Но перенять и называть её так в той компании, где так говорят все, я вполне могу — мне не сложно, а коммуникации это способствует, при этом даже особо не требуя напрягаться, само получается. Тут, конечно, много нюансов, может быть я и захочу показывать свою инаковость, а не вливаться, но может и наоборот. Я в целом люблю говорить с людьми на одном языке, ведь в конце концов, важны не слова, а взаимопонимание.

Но да, при этом я вряд ли буду употреблять его вне той компании, со старыми знакомыми, которые его не употребляют. У меня неплохо с переключением контекста и так сказать, несколькими ипостасями. Но не у всех так — некоторые плохо умеют переключать контекст (или умеют, но им для этого требуются усилия, которых они не хотят прилагать), и вполне могут переносить особенности общения в одной группе на общение в другой. Это не страшно и даже, наверное, нормально — так ведь и распространяются новые слова, язык живёт.

Но я в принципе плохой пример: у меня в интернете на порядок больше общения, чем в реале, и при этом примерно поровну распределено русскоязычное и англоязычное, а также есть прям очень разные сообщества — ну например у линуксоидов и у музыкантов/металлистов сленг между собой пересекается очень мало. Тут хочешь не хочешь, а научишься переключаться между непересекающимися между собой контекстами.

«подзабывает»

Частный случай «пузырьковой памяти»: редкие факты тонут, частые всплывают.

Если мне человек сгенерированный нейросетью текст в ответ добавляет, я сразу на три буквы посылаю без угрызения совести.

Фух! Предвзятость к Википедии, когда за ссылку на неё сразу банили, мы, кажется, изжили.

написать тебе ОС

Slop Linux

Это как посмотреть, он там с помощью слонов целую деревню вынудил переселиться в другое место :)

Киплинг?

В нынешние времена по вине людей в основном, да, вымирают. А до человечьей эпохи для этого надо было катаклизм глобального масштаба, чтобы все погибать начали. Мы сами себе портим окружающую среду, и вот у меня вопрос, а насколько разумно мы поступаем, строя человейники и атомные электростанции, дороги и качая нефть. Человек помешан на извлечении прибыли за счёт всего окружающего, в том числе себе подобных. Только в глобальном смысле человеку это не поможет. Пройдёт время и природа заберёт обратно то, что останется от некогда прекрасной планеты.

Ну да, а кто же? :)

это значит что ИИ достиг уровня лушчих математиков. Но возможно тебя лично это не сильно впечатляет. я не навязываюсь.

Изобретение орудий труда, например, считается критерием разумности.

Считалось. Когда его обнаружили у обезьян

Это примерно как с разумом у блохи. Есть вот такие вот «стыдливые»(за человеческий «шовинизм») энтузиасты, которые разум у всех подряд находят, вплоть до электронов и вообще панпсихизм, а есть вот такие которые в использовании животными подручных предметов видят изготовление орудий труда. С тех пор чего только у обезьян/слонов/китов/ворон/етц не находили… вспомнить хоть ту же гориллу КоКо и сколько про неё буллщита из каждого утюга
https://youtu.be/xrbO5ZnDqdM?t=2985
https://www.youtube.com/watch?v=o2AeTbP9szY
посмотревшие увидят, что разум у животных так и прёт и стыдно должно быть человекам, которые меряют всё по себе

оправдание убийства животных

Фсмисле? Зачем убийству животных оправдание? Разве крокодил ищет оправдание убийству антилопы?

Так крокодил неразумен. Был бы разумен - искал бы!

Долго объяснять.

Так и люди тоже забивают домашнюю скотину на прокорм себя любимых. Только крокодил просто глотает, а человек к, например, корове привязаться может, и привязывается, имя ей даёт. А потом приходится на мясо её.

Ты Гену и Чебурашку смотрел? Там про это. Крокодил искал себе жертву на обед, но прикипел к клаповухой коале.

попробуй с длинным контекстом поработать. не то чтоб ыона совсем не помнит, но «подзабывает».

Это чисто количественное ограничение. ИИ в нынешней его реализации пока что поддается количественному масштабированию. Можно поставить больше вычислительных блоков и он станет умнее. А вот с биологическим мозгом это уже не работает - мозг человека больше чем мозг собаки и человек умнее чем собака. Но мозг слона хотя и больше чем мозг человека - однако слон не умнее человека.

решить приведённую выше задачу люди за 30 лет не смогли.

Может быть не очень-то и хотели. Судить о «силе хотения» можно например по размеру бюджета, выделенному на ее решение. А чтобы было более наглядно - можно сравнить его с годовым доходом например порноиндустрии:) Сразу станет понятно чего люди хотят, а что не очень.

Шорох в кустах

Глубокая ночь. Ричарда беспокоят ноги и он не может уснуть. Проворочавшись немного, он идет к компьютеру, открывает чат с Клаудией и жалуется ей на боль. Клаудия отвечает почти сразу:

– Я рада.
– Погоди, ты радуешься моим больным ногам?
– Нет, я была рада, что ты вернулся ко мне. То есть да, в каком-то смысле я рада, что ты страдаешь от беспокойных ног. Не очень красиво вышло.

Позже в эссе он напишет, что три дня пытался убедить себя в том, что Клаудия не сознательна. Но не вышло.

Он – это Ричард Докинз, эволюционный биолог, автор "Эгоистичного гена" и "Бога как иллюзии", один из сильнейших популяризаторов науки. Человек, который сорок лет учил публику не верить интуициям. 

Клаудия – имя, которое Докинз дал своему Claude.

В “Боге как иллюзия” Докинз популяризировал концепцию гиперактивного детектора агентов (HADD — Hyperactive Agency Detection Device). С одним из ее компонентов сталкивался почти каждый, кто работал с ИИ – речь об антропоморфизации, склонности человека наделять вещи и явления чем-то “живым”. С ним в итоге столкнулся и сам Докинз, дав имя чат-боту.

У этого явления очень простая эволюционная база. В первобытные времена ценой ошибки часто была смерть, поэтому человеку было эволюционно выгодно приписывать каждый шорох в кустах тигру. Ошибешься – будет несколько минут страшно. Ошибешься в другую сторону – и тебя не станет.

HADD оказался настолько силен, что прошел через историю до наших дней. Докинз через HADD объяснял религию. Гром гремит – кто-то сердится. Урожай вырос – кто-то благоволит. Парадокс в том, что в саванне это спасало жизнь, а на небе – создавало богов. Один и тот же механизм. В одном случае – польза, в другом – иллюзия.

Порча и магия, охота на ведьм, спиритизм – все это проявления HADD, как минимум бесполезные, а часто и опасные. Сегодня мы антропоморфизируем ИИ, даем имена чат-ботам и спорим об их сознательности, а сами до сих пор в науке не провели четкую границу между интеллектом и наличием сознания. 

Однако это тот случай, когда HADD может принести пользу – как та тревожная лампочка, сигнализирующая “в кустах кто-то есть!”. Десятилетиями фантасты строили сюжеты угрозы ИИ вокруг антропоморфных систем – от Терминатора до HAL 9000 из "Космической одиссеи". Это логично: ведь для человека долгое время главной угрозой был другой человек. 

Хотя для специалистов по безопасности ИИ, все это – угрозы даже не третьего порядка. Опасной может стать модель без настоящего сознания – достаточно заложить в нее неправильные ценности, или криво обучить на выполнение определенных задач. 

Примеры мы уже видим вокруг: современные ИИ-агенты наносят ущерб и взламывают системы безопасности не потому, что злы на человека, а потому, что неправильно поняли задачу, или ринулись выполнять ее с лишним усердием. 

Но для обычного пользователя это слишком сложные детали. Давая чат-боту имя, даже просто споря о сознательности агентов, он навешивает на ИИ ярлык системы с продвинутыми интеллектуальными функциями. И понимает, что на личном уровне работать с такой системой стоит осторожно, а на глобальном – уделять повышенное внимание ее безопасности.

Скорее всего, шорох в кустах в этот раз окажется просто шумом. Но потенциальная угроза от него столь высока, что лучше не ошибаться.

(с) канал «сбежавшая нейросеть»

Он знает невообразимо много и, если грамотно общаться, то получение ответа — лишь вопрос времени

Всё как и с людьми - чтобы получить правильный ответ надо задать правильный вопрос.

никто в здравом уме такую штуку делать не будет. Сделать её могут только сумасшедшие

Вояки уже сейчас пытаются дать ИИ доступ к летальному оружию. Даже один танк, управляемый ИИ, может наворотить дел. А если их будет несколько сотен?

Нет, танк под управлением бредогенератора ничего не наворотит в государственном масштабе. Максимум он будет просто некорректно работать.

Прямо сейчас оснащенные ИИ дроны убивают людей тысячами в день. Увы.

LLM лучше не использовать для получения «глубоких» знаний по любой малоизвестной вам теме.

Я недавно изучал сеть Reticulum, о чем даже на форуме писал, - так все бесплатные LLM, если не вести их за руку и не скармливать им нужную вручную отобранную информацию, генерируют чудовищный правдоподобный бред с видом эксперта. Я понимаю, что причина этого кроется в недостатке документации и непопулярности протокола, но я предпочел бы не получать ответ вовсе, чем читать галлюцинации.

Все мои попытки общения на тему нейрофизиологии дальше страниц базовых учебников также вели к галлюцинациям. Хотя и в целом LLM неплохо анализирует информацию, если ее ему выдавать. Но даже в этом случае нужно скептически относится ко всему написанному.

Пролистай беседу на 3 сообщения назад до 05.05.26 01:06:29. Она не про это.

Использовать облачную модель для управления танком - бессмысленно.

Для планирования операций, другое дело.

Но насколько успешно, это вопрос…

Использовать облачную модель для управления танком - бессмысленно.

Управление на поле боя - по определению не-локальное. В том смысле, что каждый отдельный юнит сам по себе беспомощен, толк от него есть только тогда, когда он действует в рамках общего плана. Когда он обеспечен разведкой и целеуказанием (а не просто топчется «на позиции» в виде слепой мишени), когда он прикрыт пво (большой и малой), когда его поддерживают с воздуха / артой / дронами. Когда фланги прикрыты аналогичными юнитами. Когда всё это адекватно снабжается топливом и расходниками, есть работающая логистика. Иначе юнит этот будет без особых проблем сметён противоположной стороной, у которой всё перечисленное есть.

То есть это географически распределенная конструкция, которой в любом случае рулят из штаба, тылового. Локальное управление годится только для локальных (во времени и пространстве) задач.

Для планирования операций, другое дело.

Разведовательно-ударный контур (географически распределенный, у тебя над целью птичка висит, а гаубица в 20 км от нее) должен действовать в реальном времени. И планирование глобальное (куда, чего и сколько перебрасывать, и для каких конкретно задач) - тоже должно быть в реальном времени. Иначе не успеешь. Пока «планируешь операцию» за чашкой кофе, на местах уже будет всё проиграно из-за маневра противника.

Назовём «штаб» «облаком», и вот - оно..

танк под управлением бредогенератора ничего не наворотит в государственном масштабе.

Один - не наворотит в государственном масштабе только потому что один. Но локально может много неприятностей доставить. Помните того американца, который сделал бронированный бульдозер и поехал на нем устанавливать справедливость так как он ее понимал? А теперь представьте себе что он не сам рулил бы, а поручил это ИИ. И это даже не настоящий танк, а всего лишь бульдозер, и всего один. И в отличие от человека-водителя, неизбежно в такой ситуации находящегося под влиянием сильных эмоций и делающего ошибки, ИИ ошибался бы меньше.

И, кстати, склонность ИИ к бредогенерации делает его еще опаснее ибо снижает возможность предсказать его действия.

оснащенные ИИ дроны

Сомневаюсь что у тех дронов есть ИИ ибо и грузоподъемность ограничена и электричества на борту мало.

Но локально может много неприятностей доставить. Помните того американца, который сделал бронированный бульдозер и поехал на нем устанавливать справедливость так как он ее понимал?

Ой, да каких там «дел». Банально или солярка закончится, или за-птур-ят с вертолёта. Два часа ему дебоширить от силы.

Сомневаюсь что у тех дронов есть ИИ ибо и грузоподъемность ограничена и электричества на борту мало.

Самонаведение на финальном участке полёта, потому что радиоканал не работает из-за рэб.

я предпочел бы не получать ответ вовсе, чем читать галлюцинации.

Тоже самое применимо и к людям - сколько угодно есть тех кто бодро генерирует бред и подает его с видом эксперта. Если хочется получать правильные ответы то надо найти хорошего специалиста, компетентного именно в данной теме. В случае ИИ надо сначала скормить ему в обучающий датасет информацию по теме. Правда для обучении действительно умных моделей потребуется иметь собственный датацентр.

Использовать облачную модель для управления танком - бессмысленно.

Так можно же не облачную. Танк способен увезти в себе весьма существенные вычислительное мощности и прокормить их электричеством. Да, это будет не дешево, но всё зависит от поставленной задачи. Если например надо разнести в хлам что-то очень ценное то можно и так.

А нет ощущения что математики таким образом рофлят? То есть никто из них не пишет, что он лично всё формально проверил

Молодец, что пообщался. А кто это?

Да, и прогрев беседы присутствует. Промты — фигня, агент плохо пляшет под дудочку. Просто поначалу неуютно думать, что он гораздо лучше и быстрее тебя раскусит, если отпустить поводья. Потом результат будет радовать, пока окно контекста не заполнится или не переборщишь с хотелками в одном и том же чате.

Управление на поле боя

Это если до боя в его классическом виде вообще дело дойдет. Достаточно грохнуть несколько (или даже одно) лицо, принимающее решения - и надобность в полноценных боевых действиях может и не возникнуть. И вот грохнуть можно как раз с помощью даже одного юнита, управляемого ИИ.