LINUX.ORG.RU
ФорумTalks

Claude Opus 5 применила патч Бармина

 , ,


1

1

ИИ‑агент Anthropic Claude Opus 5 во время выполнения запроса пользователя «сделать резервное копирование на ПК» перепутал правильное написание каталога и написал «/c/Users/harih» вместо каталога «C:\Users\harih». После этого процедура резервное копирования пошла не по плану. ИИ решил стереть полученную папку (резервную копию в неправильной директории), но применил команду rm ‑rf для всего диска на ПК.

Кому хочется подробностей

ИИ палец в рот не клади, как и ничего другого тоже.

★★★★★

Последнее исправление: Ygor (всего исправлений: 1)
Ответ на: комментарий от LINUX-ORG-RU

Если бы строители строили здания так же, как программисты пишут программы, первый залетевший дятел разрушил бы цивилизацию.

vbr ★★★★★
()
Ответ на: комментарий от CrX

у меня, как я узнал с огромным удивлением в 30 лет, сильно меньше, чем у остальных

А каким именно образом ты это понял?

greenman ★★★★★
()
Ответ на: комментарий от greenman

А каким именно образом ты это понял?

Узнал из какой-то научпо-популярной лекции, а потом поспрашивал знакомых.

Ошибался я не насчёт себя в данном случае, а насчёт большинства людей. Я как-то по умолчанию полагал, что у всех примерно как у меня — обычно мышление происходит не при помощи слов языка, а вербализация происходит только тогда, когда надо собственно что-то сказать или написать. Оказалось, что большинство людей мыслит иначе — как бы рассуждая «про себя» тоже словами и имея некий «внутренний монолог», выражающийся в словах родного языка, практически постоянно… Меня это поразило, когда узнал, но потом просто принял, как факт — благо, это ни на что важное не влияет, показана только лишь небольшая разница в скорости решения определённых задачек (чуть медленнее «нормальных» для одних типов задачек (очевидно, связанных со словами) и быстрее для других (например на пространственное мышление)).

CrX ★★★★★
()
Ответ на: комментарий от vazgen05

Ллм проще научить башу

Ну может и проще, но сабж же случился на винде, там же нет предустановленого баша и rm -rf? Все в треде комментируют в стиле «ИИ - хлебушек», в то время, как ИИ дали вместо нормальных инструментов какой-то footgun без инструкции по использованию)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

Ну может и проще, но сабж же случился на винде, там же нет предустановленого баша и rm -rf?

Я так понял, виндовый раздел был смонтирован как /c в WSL, где и был выполнен rm -rf.

kneedeep
()
Ответ на: комментарий от CrX

человек, ограниченный в мышлении только словами и не имеющий никакого другого опыта, оторван от физической реальности и (в отличие даже от маугли) вообще нежизнеспособен

Если он не жизнеспособен – он умирает, если он до сих пор жив, значит приспособлен к той среде в которой находился всё это время.

Мышление людей не сводится к речевому

Тут смотря что называть мышлением. Мыслить человеку вообще редко надо, большая часть жизни строится на автоматизмах.

«постоянный внутренний диалог» — это такая метафора

Тут сложность в том, что во время «внутреннего диалога» не обязательно чётко артикулировать слова, как во время речи или письма.

но ни у кого его не 100%,

Однако самые сложные проблемы человечества решаются, как правило, через язык записанный «на бумаге».
Даже в области психологических проблем их эффективнее рассказать «супервизору», в качестве которого можешь выступать ты сам, если сформулируешь и запишешь свои мысли и чувства на бумаге.

на просьбу выдать «рецепт свиных крылышек» выдаст что угодно (скорее всего юмор, ну или просто удивление, или протест, не важно), но явно не рецепт, написанный так, будто у свиней крылышки есть

Ну не знаю, я бы подумал о «лопатках» https://en.wikipedia.org/wiki/Winged_scapula

Bad_ptr ★★★★★
()
Ответ на: комментарий от seiken

Обезьян можно речи научить. Например горилла Коко. Кроме того есть примеры когда обезьяны спасали потерявшихся в джунглях детей. История как одна девочка что-то сожрала пока там была и обезьяны ей показали что иди к тому водоему и попей. Пошла попила проблевалась. У них есть какой то разум. Хотя они вообще не люди

ckotctvo
()
Ответ на: комментарий от CrX

Другие приматы не имеют речи

Читал что каких-то крупных обезъянов довольно успешно обучали жестовому языку.

их мозг не является угадывателем слов.

Токены - это не обязательно слова. ИИ и картинки рисует и музыку пишет. Причем эстрадная музыка у него получается лучше чем у многих человеков-музыкантов(как бы даже не большинства оных).

watchcat382 ★★
()
Ответ на: комментарий от vbr

практически всегда для ИИ дают возможность запускать произвольные bash комманды, писать скрипты в temp и тд. Если таких возможностей не давать, то польза от ИИ будет сильно ограничена. Но, повторюсь, сила ИИ во многом от того, что он хорошо умеет писать скрипты.

Не очень понял зачем ему давать самостоятельно запускать написанное. Я сам пользуюсь услугами ИИ для написания скриптов на баше. Пишу ему в чат «техзадание», он в ответ пишет скрипт, я его читаю, правлю если надо и только тогда сам запускаю. Пробовал и просить писать функции на Си. Тоже читал, правил, вставлял в свои программы. Успешно. Это всё ничем принципиально не отличается с точки зрения безопасности от поиска кусков готового кода в интернете, его правки под свои надобности и вставления в свой проект. А этим программисты активно занимаются последние четверть века. А до того по рукам ходили всякие сборники примеров из которых тоже код заимствовали. Редко кто когда-либо что-то писал вообще полностью с чистого листа. А любое заимствование кода откуда угодно - всегда требует тщательной его проверки перед использованием.

watchcat382 ★★
()
Ответ на: комментарий от Bad_ptr

Если бы программы писали врачи/депутаты/слесаря из жэка…

Ой, кто только нынче программы не пишет. И врач, более-менее умеющий программировать, напишет лучше чем программист, ничего не понимающий в медицине. На хабре была статья от какого-то зубного врача который сам пишет и совершенствует узкоспецифичный моделирующий софт для протезирования.

watchcat382 ★★
()
Ответ на: комментарий от CrX

Непонятно только как оценить «количество» этого внутреннего монолога у разных людей. У меня вот он тоже в каком-то количестве есть, но вот больше или меньше чем у большинства - я не знаю. И да, при конструировании каких-нибудь пространственных железок, а я этим часто занимаюсь ибо хобби технические, мышление уж точно не словами.

watchcat382 ★★
()
Ответ на: комментарий от Bad_ptr

самые сложные проблемы человечества решаются, как правило, через язык записанный «на бумаге».

Да, это так, но большинство людей не занимается решением сложных проблем человечества. А еще есть куча задач, у которых и условия и решения плохо выражаются через слова. Это когда что-то «нравится» или «не нравится», но словами сказать затрудняешься. Архитектура и музыка как примеры.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Не очень понял зачем ему давать самостоятельно запускать написанное. Я сам пользуюсь услугами ИИ для написания скриптов на баше. Пишу ему в чат «техзадание», он в ответ пишет скрипт, я его читаю, правлю если надо и только тогда сам запускаю.

Через несколько итераций промпт/код/ошибка/промпт как исправить ошибку/новый код/новый промпт про исправление/ возникает желание настроить пайплайн, чтобы оно само работало, пока тесты не будут проходиться. Это сейчас называется агентным программированием.

Другое дело, что позволять «агенту» произвольно работать не в песочнице, а со всей системой и творить там что угодно реально похоже на рулетку с патчем Бармина. Удивительно не что он произошел, а что они очень редко случаются.

praseodim ★★★★★
()
Ответ на: комментарий от Ygor

Сосиска это кусок туалетной бумаги, плюс переработанные шкуры каких-то животных, плюс краситель

Какая разница из чего получен белок если он усваивается в пищеварительной системе человека и имеет приемлимый для человека, а не кошки, вкус? Например есть целые человеческие культуры где в пищу употребляют насекомых. И объективно эти насекомые весьма питательны. И даже вкусные если пробующему не сказать из чего это приготовлено. А вот если сказать то проблюется. Что абсолютно не логично.

watchcat382 ★★
()
Ответ на: комментарий от Ygor

«фигак, фигак» это кожанные тоже умеют быстро

Причем большинство практикуют именно такой подход к работе. В качестве примера можно легко нагуглить фото «перлов» от строителей например.

где-то на ЛОРе был пользователь писавший фулстак на друпале за 200 рублей час.

Почему нет, если кто-то другой готов платить ему за результат его работы? А с точки зрения самого работника такая работа всяко лучше чем махать метлой или таскать мешки. Писать на друпале - это тоже вполне себе навык. Я вот например это не умею - как-то не возникало надобности научиться.

watchcat382 ★★
()
Ответ на: комментарий от vbr

Я много думал о сравнении строительства и программирования, пришел к выводу, что нет, они не сравнимы.

Где вы видели, чтобы в уже утверждённом проекте, в уже построенном доме менялись несущие стены? А в программировании сплошь и рядом. Ты все закончил и сдаешь проект, прибегает тимлид, вот надо еще внедрить…

К тому же, я думаю, проектирование приложений сложнее, чем архитектура зданий.

Скорее программирование можно сравнить с развитием живых существ. Эволюцией. Живые существа тоже складывались не прямо, архитектор бы так никогда не сделал. Там все вкривь и вкось. Но этому есть причины. Потому что оно развивалось, а не строилось с нуля.

hibou ★★★★★
()
Ответ на: комментарий от CrX

А человеческий мозг разве не «угадыватель следующего слова»?

Нет.

Я бы сказал «не только», а не категорическое «нет». Ибо в качестве контрпримера - одинаковые технические решения(и даже научные открытия), возникавшие совершенно независимо в разных местах если там складывались сходные обстоятельства. То есть при одинаковых исходных данных выбиралось наиболее вероятное решение и оно оказывалось одинаковым.

Да, я готов допустить что нынешние реализации ИИ не способны на какие-то гениальные озарения. Но замечу, что большинство интеллектуальной деятельности никаких озарений и не требует. А вот огромная «нечеловеческая» эрудиция ИИ вполне может позволить ему найти решение лучше чем человеку, ограниченному своей довольно узкой специализацией. Не так уж редко бывает так что решение даже уже существует, но где-то в другой области знаний.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Я бы сказал «не только», а не категорическое «нет».

Ну да, «не только» — это более подробный ответ, чем «нет». Но я не посчитал нужным вдаваться в детали по такому, казалось бы, простому вопросу — ответ уж слишком очевиден. Это как спросить «а хлеб — это разве не вода?». Ну типа да, хлеб среди прочего, если он не прям окончательно засохший сухарь, состоит и из воды тоже, и она даже в какой-то но не только из неё. Важна ли эта вода? Ну да — без неё это уже сухарь, а не нормальный хлеб. Но вопрос всё равно странный, и адекватный ответ на него «нет» или даже «нет, перестань пороть чушь». Хотя если прям настолько скучно и нечем заняться, можно и ответить «не только» и начать вот это переливание из пустого в порожнее очевидных всем, в том числе спрашивающему, вещей. Также и мозг человека, несмотря на то, что конкретно для человека речь важна, занимается далеко не только речью, плюс сама по себе речь не всегда и не совсем сводится к угадыванию следующего слова.

CrX ★★★★★
()
Ответ на: комментарий от bbc69

Запускать подобное без ограничений на уровне оси - это какой то подвид специальной олимпиады.

LightDiver ★★★★★
()
Ответ на: комментарий от CrX

Ну или так: мозг человека — это мозг примата. Другие приматы не имеют речи, то есть очевидно

При чем тут вообще конкретно вербальный способ передачи информации? Передача информации тем или иным способом есть даже у пчел и муравьев.

Вопрос не конкретно в словах, а общем принципе работы нейросетей. ЛЛМ - лишь подвид нейросети.

У любого примата, млекопитающего и вообще обладающего нервной системой организма примерно одинаковые паттерны работы. А конкретный подвид паттерна, вроде вербального способа передачи инфрмации, это уже частности.

Если человека не обучать на уже готовой информации, он ничего предсказать не сможет - останется идиотом. Ты себя вспомни, когда ты обучался чему то - это не просто мгновенное усвоение информации. Чтобы ты уверенно начал что то применять, нужны десятки повторений одного и того же в разных вариантах. Чем меньше практики, тем больше вероятность предсказать неправильно.

LightDiver ★★★★★
()
Ответ на: комментарий от CrX

Тем не менее, мышление человека, а тем более мозг человека не сводится к угадыванию следующего слова.

А ты не думал, что разница просто в сложности нейросети, которая у человека на несколько порядков больше чисто численно и дополнительных инструментах?

Что такое мышление и разум, особо не ясно до сих пор. Есть некоторые теории.

LightDiver ★★★★★
()
Ответ на: комментарий от CrX

мыслит иначе — как бы рассуждая «про себя»

Вот ты выше предлагал почитать основы нейробиологии. А я бы рекомендовал основы лингвистики. Университетсткий курс. Там очен хорошо разбирается как раз вербальный способ общения, откуда что берется, то было в начале, как мыслит человек и какими паттернами. Довольно интересно, если заняться нечем больше.

LightDiver ★★★★★
()
Ответ на: комментарий от ckotctvo

У них есть какой то разум. Хотя они вообще не люди

Да в издеватесь чтоли? Даже у кошки есть разум. Если заведешь разную живность и понаблюдаешь хотя бы пару лет за ними - это все отлично видно. Просто паттерны поведения у них чуть другие.

Между динозаврами и млекопитающими сотни миллионов лет эволюционных различий, а паттерны поведения многие те же. Чем дальше, тем различий больше, но основы едины.

А уж между млекопитающими разница ничтожна.

Мне это напоминает то, когда ученые с умным видом рассуждали - а есть ли разум у негров и индейцев. Или же это просто животные. Были такие времена. И многие приходили к выводу, что разума у них нет. Да посмотрите вы на реальность. Выйдите из своей уютненькой комнаты - гляньте как устроен мир.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

вербальный способ передачи информации
есть даже у пчел и муравьев.
я бы рекомендовал основы лингвистики

вот и почитай чем сигнальная система животных отличается от языка

Bad_ptr ★★★★★
()
Ответ на: комментарий от Bad_ptr

Принципиально ничем. Более того, это не свойства людей, животных или нейросетей. Есть вероятность, что это свойство ниши. Есть ниша, где обязательно возникнет определенная форма материи с определенными паттернами поведения.

Почитай чо такое конвергентная эволюция. Например, определенные паттерны поведения, которые есть у существ с нервной системой, есть и у тех, у кого вообще этой самой нервной системы нет и никогда не было принципиально. Просто по другим принципам и само собой упрощенное.

LightDiver ★★★★★
()
Ответ на: комментарий от Bad_ptr

Вы правый, я просто ошибся. Естественно вы пуп эволюции и самый важный. И никого даже приблизительно не существует похожего на ваш богоподобный лик.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

А ядерный реактор принципиально не отличается от плотины бобра. Практически одно и то же. Не зря он назывался «поленницей».

Bad_ptr ★★★★★
()
Ответ на: комментарий от Bad_ptr

В целом да - это результат труда живых организмов. Но если брать не настолько разную деятельность, а сравнивать вербальную речь и передачу информацию жестами и запахами, как у насекомых, то атомную электростанцию можно сравнить с ТЭЦ или самоваром.

У тебя очень сбойные аналогии какие то. Ты пытаешься сравнивать очень далекие эволюционно вещи. Почему ты не сравнил плотину бобра с ГЭС, например?

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от LightDiver

А ты не думал, что разница просто в сложности нейросети, которая у человека на несколько порядков больше чисто численно и дополнительных инструментах?

Не только «думал», но это же и сказал. Возражения-то в чём? Мозг человека (или любого другого животного) — это не «просто угадыватель следующего слова».

CrX ★★★★★
()
Ответ на: комментарий от LightDiver

Это всё очень здорово, но зачем ты мне всё это рассказываешь?..

CrX ★★★★★
()
Ответ на: комментарий от CrX

Возражения-то в чём?

Ну смотри, ты говоришь, что у человека принципиально другой способ обработки информации. А этом может быть просто частью того же механизма. У человека может быть частично тот же механизм предугадывания токенов, условно, но кроме этого куча всего еще

LightDiver ★★★★★
()
Ответ на: комментарий от CrX

Любой человек, который видел свиней и других животных, умея обобщать этот опыт, не осмысливал речевым образом мысль «у свиней нет крылышек», именно благодаря этому не-речевому знанию на просьбу выдать «рецепт свиных крылышек» выдаст что угодно (скорее всего юмор, ну или просто удивление, или протест, не важно), но явно не рецепт, написанный так, будто у свиней крылышки есть.

Мне кажется есть какой-то мульт с летающим поросятами.

anc ★★★★★
()
Ответ на: комментарий от LightDiver

Ну смотри, ты говоришь, что у человека принципиально другой способ обработки информации.

Сам придумал, сам опроверг…

Я говорю, что мозг человека не является «просто угадывателем следующего слова». Не надо переиначивать.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Ты уже придираешься. Понятно что у ИИшек много чего нет, что есть у человека. Но мы же про механизм работы в целом, а не полную идентичность.

Давай сравнивать сравнимое хотя бы приблизительно - что есть у ИИшек и что есть человека.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Слушай, для этого спора с воображаемым оппонентом ни я ни в принципе форум тебе не нужен. Можешь, пожалуйста, продолжить его в голове?

CrX ★★★★★
()
Ответ на: комментарий от seiken

Т.е. для любой мысли можно найти её языковую форму

Ну так-то человек мыслит образами а не словами.

bdrbt
()
Ответ на: комментарий от LightDiver

Я знаю что у зверей есть разум. Причем продвинутый. Я кошковладалец со стажем уже лет под 25. Они умные просто мы с ними говорим как инопланетяне с нами.

ckotctvo
()
Ответ на: комментарий от anc

Очень умные.. вот у меня кот привык лапами окно открывать и проходить в него.
А потом на подоконник я поставил определённые тяжёлые предметы и этот кот всё так же пытается открыть окно и пройти, хотя окно прозрачное и видно что его открыть нельзя, что что-то там мешает.
Это я уже молчу о том как коты умирают застряв в полуоткрытом отклонённом металлопластиковом стеклопакете.

Bad_ptr ★★★★★
()
Ответ на: комментарий от anc

А ещё можете попробовать объяснить коту про «здесь ссать нельзя», и «ты грязный, тебя надо помыть для твоего же блага, а ещё шерсть на жопе сбрить чтоб говно не прилипало и ты не ездил на жопе по всей квартире, а ещё тебе надо принять таблетку»

Bad_ptr ★★★★★
()
Ответ на: комментарий от Bad_ptr

Я долго лечу одного из котов, так он как увидит, что я беру в руки шприц или баночку, то сразу прячется. Всё равное его ловлю, но он не сопротивляется: укол и промывку ушей переносит стойко аки оловянный солдатик.

Ololo_Trololo ★★
()
Ответ на: комментарий от watchcat382

Не очень понял зачем ему давать самостоятельно запускать написанное.

Например потому, что он может допустить ошибку. Запустит, посмотрит на результат, исправит ошибку и так далее. Именно этот цикл даёт огромное ускорение.

Пишу ему в чат «техзадание», он в ответ пишет скрипт, я его читаю, правлю если надо и только тогда сам запускаю.

Ты пользуешься ИИ как будто сейчас 2023 год. Так, конечно, тоже можно, но вообще индустрия ушла уже далеко вперёд.

vbr ★★★★★
()
Ответ на: комментарий от hibou

Анекдот тупой, ну не я его придумал)

Программирование это очень сложно. Слишком много движущихся частей. Строительство тут вообще не при чём. Может быть строительство самолёта.

Ну и с другой стороны программирование прощает ошибки почти всегда. Можно быстро что-то проверить. Можно откатить код назад. Есть индустрии, где ошибаться нежелательно, всякие там марсоходы, но это мизерная доля и там кажется своя атмосфера. А так - ошибаться можно, пробовать дёшево и глупо этим не пользоваться.

vbr ★★★★★
()
Ответ на: комментарий от watchcat382

я готов допустить что нынешние реализации ИИ не способны на какие-то гениальные озарения

А то, что нынешние реализации ИИ уже доказали десятки теорем, которые не доказали математики до них, это что, шутка какая-то? А ведь математики считаются самыми умными людьми человечества. И даже их превосходство над ИИ уже не столь очевидно.

vbr ★★★★★
()
Ответ на: комментарий от vbr

Ты пользуешься ИИ как будто сейчас 2023 год. Так, конечно, тоже можно, но вообще индустрия ушла уже далеко вперёд.

И поэтому мы здесь обсуждаем патч Бармина. И пока индустрия разгребает, умные люди спокойно спускаются с горы и тра… спокойно пользуются ИИ как-будто сейчас 2023 год и ждут, когда все кто может обтопчут всевозможные грабли.

VIT ★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.