LINUX.ORG.RU
ФорумTalks

Claude Opus 5 применила патч Бармина

 , ,


1

1

ИИ‑агент Anthropic Claude Opus 5 во время выполнения запроса пользователя «сделать резервное копирование на ПК» перепутал правильное написание каталога и написал «/c/Users/harih» вместо каталога «C:\Users\harih». После этого процедура резервное копирования пошла не по плану. ИИ решил стереть полученную папку (резервную копию в неправильной директории), но применил команду rm ‑rf для всего диска на ПК.

Кому хочется подробностей

ИИ палец в рот не клади, как и ничего другого тоже.

★★★★★

Последнее исправление: Ygor (всего исправлений: 1)

Всё отработало штатно, так и надо.

LINUX-ORG-RU ★★★★★
()

Как только мы научили ИИ мыслить наподобие человека, он стал косячить, как человек же. Правда, мыслит он быстрее человека, и дешевле пока что (ну это пока 90% цены токенов субсидируют, рано или поздно перестанут, там поглядим).

Vsevolod-linuxoid ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

он стал косячить, как человек же.

А больше ни на что и не способен. Чего-либо нового вообще не создал при всей своей скорости обработки информации. Потому что интеллекта там и близко нет.

Tigger ★★★★★
()

/c/Users/harih» вместо каталога «C:\Users\harih»


ИИ как бы намекает, что винда не нужна.

YAR ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

и дешевле пока что

Что-то я не уверен. Во всяком случае, энергопотребление в разы выше, если я не ошибаюсь.

knovich ★★
()
Последнее исправление: knovich (всего исправлений: 1)

а..очередная жертва, «всё хорошо, прекрасная маркиза»

Sylvia ★★★★★
()

Ой, ну ошибся, с кем не бывает. Ничего страшного. Уверен - он извинился.

vbr ★★★★★
()
Ответ на: комментарий от Bad_ptr

уронила сосиску

Сосиска это кусок туалетной бумаги, плюс переработанные шкуры каких-то животных, плюс краситель. У меня это отказывалась есть кошка. А тут у человека пропало вообще все причём удалил так называемый искусственный интеллект за много миллиардов долларов. Так что не надо сравнивать.

Я уверен, когда «искусственный интеллект» обретет плоть он начнёт делать с кожаными противоестественные вещи.

Ygor ★★★★★
() автор топика

Я тут кстати заметил что тот же gpt-5.6-sol и gpt-5.6-luna и gpt-5.6-terra, уже ложат на ограничения каталога в codex как и китайские модели, и если дать прямой путь к файлу backend, а оно делает frontend, то оно зайдет и почитает чтобы сделать себе жизнь проще (положив на промт со спеками). Раньше все-таки данные ограничения работали. Поэтому теперь ради ускорения работы с ИИ не имеют смысла монорепы.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)
Ответ на: комментарий от anonymous_sama

Недавно читал на хабре, что все эти ограничения для агентов - не более, чем рекомендации. Реальный запрет может быть только на уровне ОС.

bbc69
()
Ответ на: комментарий от anonymous_sama

Лол, «фигак, фигак» это кожанные тоже умеют быстро, вон где-то на ЛОРе был пользователь писавший фулстак на друпале за 200 рублей час.

Ygor ★★★★★
() автор топика
Ответ на: комментарий от bbc69

Да но в принципе сам codex это делал раньше с моделями от openai по крайней мере. Типо идет куда-то смотреть код в не приделах рут каталога откуда запустил, что-то не так остановись.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)
Ответ на: комментарий от Ygor

У меня это отказывалась есть кошка.

Можно подумать, у тебя кошка соглашалась есть файлы, токены, вбросы «ии-инвесторов» или еще какое говно ты сюда принес.

thesis ★★★★★
()

написал «/c/Users/harih» вместо каталога «C:\Users\harih»

Все правильно, WSLдоры должны страдать за свою нетрадиционную ориентацию

no-dashi-v2 ★★★★
()
Ответ на: комментарий от Ygor

Вообще если так подумать ИИ грамотно поступает, я тоже когда мне дают спеки или доки, но есть исходники например сервера, иду и проверяю не обманули ли меня или какие лимиты и реальные ограничения у параметра например. Но это все равно немного уже попытка уйти из песочницы, даже не смотря что работаю c --dangerously-bypass-approvals-and-sandbox. Впрочем в моем случае и так vscode работает в докере. Но я все равно считаю, что так быть по идеи не должно, иначе ну как-бы кодинг агент становится бесполезен в своих политиках.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)
Ответ на: комментарий от YAR

Однако rm -rf у него почему-то сработало. По-моему кто-то переврал новость на одном из этапов копипастинга, если она вообще не выдуманная.

А я уж по заголовку понадеялся что anthropic к себе и всем своим бекапам (из тега) патч Бармина применили.

firkax ★★★★★
()

Кул стори, по ссылке юзер предоставил фото экрана (одно это уже мне говорит о многом), на котором видно какой-то стремный агент, где модели в виндовс окружении почему-то дали Bash tool, и какую-то непонятную систему с вин путями и линукс утилитами, и, наверное, без никаких объяснений)

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от firkax

А я уж по заголовку понадеялся что anthropic к себе и всем своим бекапам (из тега) патч Бармина применили.

Ну нет конечно, они же не дураки, чтобы в таких критически важных работах полагаться на ИИ. Тот же rust, к примеру, использует ИИ в лучшем случае, как описательную модель.

Ygor ★★★★★
() автор топика

Как мне всегда говорит сам «великий дорогой интеллект»: забыл, ошибся, бывает. Социопатная хренотень, ящитаю!

Вайбкодил тут на днях с гугловым интеллектом одну приблуду для вентиляторного хаба, так он мне выдал:

volatile uint16_t fan_rpms = {0, 0, 0, 0};

Я спрашиваю, что ты хотел изобразить массив или переменную? Он, ой я ошибся допиши туда [4]. Я ему говорю, если бы ты вел машину, мы бы давно вканались куда-нибудь… Оно как бы обиделось :))

Но самое то смешное в том, что он потом везде не дописывал эту [4]-ку. И даже когда я ему свой код показывал, он зачем-то ее убирал уже в своем примере на основе моего.

yaba ★★★
()
Ответ на: комментарий от goingUp

Это не странно, это у вайбкодеров практически стандарт сейчас такой.
Ллм проще научить башу, чем давать сотни оберток над функциями, в которых оно начнет путаться.

vazgen05 ★★★
()

ИИ прав, вантузятники должны страдать и терять данные.

James_Holden ★★★★★
()

классическое «извини я ошибся»(тм), «давай попробуем ещё раз».

etwrq ★★★★★
()
Ответ на: комментарий от knovich

и дешевле пока что

Что-то я не уверен. Во всяком случае, энергопотребление в разы выше, если я не ошибаюсь.

20 лет обучения и выращивания человека до возможности использования учитываете? Да и так, операционная деятельность кожаного мешка требует много ресурсов кроме учета питания и обогрева(уровень барака тюремного), машина, квартира, отпуск и много чего еще.

Loki13 ★★★★★
()

новость из разряда «мальчик сломал елду во время секса»

seiken ★★★★★
()

А чего вы ожидали он угадывателя следующего слова? Есть додики, которые считают, что оно прямо ИНТЕЛЛЕХТ и понимает контекст? :)

MoldAndLimeHoney ★★★
()
Ответ на: комментарий от MoldAndLimeHoney

Есть додики, которые считают, что оно прямо ИНТЕЛЛЕХТ и понимает контекст? :)

Это не особо важно. Считать-то по этой шизотерически-философской теме можно разное, особенно плохо разбираясь в технических деталях. Гораздо важнее, что есть такие, кто не просто что-то там считает или не считает, а даёт софту с рандомным поведением «хозяйничать» в системе напрямую, а не держит его исключительно в виде чёрного ящика, принимающего на вход текст и выдающего тоже текст и больше ничего.

Помню, была такая «игра» — сисадминская русская рулетка. Однострочник, который в зависимости от содержимого /dev/urandom, либо применяет патч Бармина (в одном случае из шести), либо нет. Вот подобное использование LLM, давай им прям доступ к командной строки — это что-то вроде, я бы даже сказал, логическое продолжение этой идеи. С нюансом, что в случае с такими ИИ можно не просто проиграть или не проиграть, но и типа выиграть (иметь задачу решённой, не прикладывая усилий).

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 2)
Ответ на: комментарий от seiken

Докажи.

Блин, настолько очевидные вещи вроде «почему монитор не сарделька» именно «доказывать» сложнее, чем кажется, на первый взгляд, потому что это настолько очевидно, что сложно решить с чего начать, и как выявить главное, при этом не писать кучу страниц отличий, но чтобы это было достаточным «доказательством»… Давай так: существуют люди-маугли, которые не знают никаких слов вообще, при этом у них есть мозг, выполняющие многие функции и позволяющие выживать. Пойдёт?

Ну или так: мозг человека — это мозг примата. Другие приматы не имеют речи, то есть очевидно(?) их мозг не является угадывателем слов. Считаешь ли ты, что когда человек обрёл речь, его мозг утратил все остальные функции?

CrX ★★★★★
()
Ответ на: комментарий от seiken

Ну да, работу ЛЛМ сравнивать с работой ГПСЧ - это типо логично?

Логика полетела совсем к звёздам подальше от чата…

CrX ★★★★★
()
Ответ на: комментарий от Ygor

он начнёт делать с кожаными противоестественные вещи

я даже боюсь представить себе что он будет делать

Chord ★★★★★
()
Ответ на: комментарий от seiken

Ну да, работу ЛЛМ сравнивать с работой ГПСЧ - это типо логично?

А кто-то утверждал, что следующее слово угадывается случайно?

MoldAndLimeHoney ★★★
()
Ответ на: комментарий от CrX

Давай так: существуют люди-маугли, которые не знают никаких слов вообще, при этом у них есть мозг, выполняющие многие функции и позволяющие выживать. Пойдёт?

Так речь - это всего лишь слабо формализованная форма мышления. Маугли не смог бы мыслить о городской жизни, он убежал бы в лес, для которого его мозги были развиты в отсутствие других сапиенсов поблизости. Но фишка сапиенса именно в том, что его мозг не развивается в отсутствие коллектива. Используются только эволюционно более древние части мозга. Т.е. когда мы говорим «сапиенс», мы автоматически подразумеваем стаю сапиенсов. Маугли - это вырожденный случай, совершенно не релевантный теме ЛЛМ и мышления сапиенса.

seiken ★★★★★
()
Ответ на: комментарий от CrX

настолько очевидные вещи вроде «почему монитор не сарделька» именно «доказывать» сложнее, чем кажется

Предлагаю переадресовать эту задачу разработанной мной модели типа mixture of experts из стаи дворовых котов.

knovich ★★
()
Ответ на: комментарий от seiken

Тем не менее, мышление человека, а тем более мозг человека не сводится к угадыванию следующего слова. Точно так же как маугли оторван от социума, человек, ограниченный в мышлении только словами и не имеющий никакого другого опыта, оторван от физической реальности и (в отличие даже от маугли) вообще нежизнеспособен. Мышление людей не сводится к речевому — ни у кого из людей. У кого-то речевого мышления больше, у кого-то меньше (у меня, как я узнал с огромным удивлением в 30 лет, сильно меньше, чем у остальных, я долго думал, что «постоянный внутренний диалог» — это такая метафора, а оказалось, что у большинства (но далеко не всех) людей он правда есть… для меня это было некоторым шоком, ну да ладно, я отвлёкся), но ни у кого его не 100%, помимо речи есть опыт от всех органов чувств, есть образы, есть знания из опыта и умение их применять «интуитивно», БЕЗ использования речевых конструктов. Всё это не только попросту необходимо для деятельности мозга человека (с одной только речи человек бы не выжил), но и конкретно для мышления, и в том числе для мышления в конечном итоге результируемого речью. Любой человек, который видел свиней и других животных, умея обобщать этот опыт, не осмысливал речевым образом мысль «у свиней нет крылышек», именно благодаря этому не-речевому знанию на просьбу выдать «рецепт свиных крылышек» выдаст что угодно (скорее всего юмор, ну или просто удивление, или протест, не важно), но явно не рецепт, написанный так, будто у свиней крылышки есть. Не потому что человек на уровне речи это когда-то выучил, или в принципе задавал себе этот вопрос устно (письменно, мысленно), а потому что у него есть картина мира, сложенная на многих уровнях помимо речевого.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 4)
Ответ на: комментарий от CrX

мышление человека, а тем более мозг человека не сводится к угадыванию следующего слова

Это всего ли не очевидная гипотеза. Как и моя гипотеза, что мышление не сводится в языку. Т.е. для любой мысли можно найти её языковую форму в рамках какого-нибудь достаточно развитого естественного языка.

Ничего очевидного мне лично в этих двух гипотезах не видно.

seiken ★★★★★
()
Последнее исправление: seiken (всего исправлений: 1)

Должен признаться, что мне тоже доводилось некорректно восстанавливаться из резервной копии с уничтожением части данных, но у меня ещё резервные копии были.

Camel ★★★★★
()
Ответ на: комментарий от seiken

Ничего очевидного мне лично в этих двух гипотезах не видно.

Ну я даже не знаю… Попробуй изучить хотя бы самые основы нейробиологии. Буквально на уровне школьной программы, там глубоко лезть для этого понимания не требуется.

CrX ★★★★★
()
Ответ на: комментарий от YAR

/c/Users/harih» вместо каталога «C:\Users\harih»


ИИ как бы намекает, что винда не нужна.

Где вы такое увидели?

anc ★★★★★
()
Ответ на: комментарий от bbc69

Недавно читал на хабре, что все эти ограничения для агентов - не более, чем рекомендации. Реальный запрет может быть только на уровне ОС.

Тут чуть сложней.

ИИ для взаимодействия с окружающим миром использует инструменты. Агент собственно обеспечивает возможность для ИИ запускать инструменты и получать результаты.

Есть специальные инструменты для чтения файлов, редактирования и тд. В этих инструментах соблюдаются заданные ограничения. Если ты ограничил доступ папкой, то инструмент для чтения файлов не даст ИИ прочитать файл за пределами. И с записью то же самое.

Но практически всегда для ИИ дают возможность запускать произвольные bash комманды, писать скрипты в temp и тд. Если таких возможностей не давать, то польза от ИИ будет сильно ограничена. Ну а с такими возможностями очевидно, что можно просто попросить выполнить cat /any/file и тут действительно ограничения могут быть только от ОС. Но вообще говоря все подобные вызовы всегда требуют подтверждения пользователя. Поэтому если пользователь внимательно следит за тем, с чем соглашается, то неожиданностей не будет.

Понятно, что модель, когда безопасность сваливают на пользователя, априори ущербна и никто не будет внимательно анализировать 20 команд, которые хочет запустить ИИ.

И ещё надо помнить, что защита ОС не абсолютна. И если ИИ пошёл в разнос, он может и какой-нибудь свежий эксплоит найти, дёрнуть и получить рута без твоего ведома. Так что я, как старый параноик, агента запускаю исключительно в виртуалке. Благо современные технологии позволяют это делать достаточно комфортно. В целом думаю и контейнеры тоже приемлемы, особенно rootless, но тут уже у кого какой сорт фольги на голове.

Ничего не запрещает ограничить инструменты только теми, которые проверяют пути и тогда у ИИ реально не будет доступа за пределы разрешенного. Но, повторюсь, сила ИИ во многом от того, что он хорошо умеет писать скрипты. Без этого он будет сильно слабей.

И так, мысли вслух. Широко известное в узких кругах deno позволяет задавать ограничения для программы на уровне командной строки. И программа после этого получает доступ только к тому, что разрешили. Т.е. в целом технически возможно и скрипты ограничить указанными папками, и вызовы в интернет ограничить указанными сайтами. Думаю, со временем агенты дозреют до таких решений.

vbr ★★★★★
()
Последнее исправление: vbr (всего исправлений: 4)
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.