LINUX.ORG.RU
ФорумTalks

Claude Opus 5 применила патч Бармина

 , ,


1

1

ИИ‑агент Anthropic Claude Opus 5 во время выполнения запроса пользователя «сделать резервное копирование на ПК» перепутал правильное написание каталога и написал «/c/Users/harih» вместо каталога «C:\Users\harih». После этого процедура резервное копирования пошла не по плану. ИИ решил стереть полученную папку (резервную копию в неправильной директории), но применил команду rm ‑rf для всего диска на ПК.

Кому хочется подробностей

ИИ палец в рот не клади, как и ничего другого тоже.

★★★★★

Последнее исправление: Ygor (всего исправлений: 1)
Ответ на: комментарий от VIT

Кто-то и дисковыми телефонами пользуется. Осуждать не могу. Но игнорировать прогресс это просто луддизм чистой воды.

vbr ★★★★★
()
Ответ на: комментарий от vbr

Не игнорировать, а не бежать впереди паровоза, наступая на всевозможные грабли. Тише едешь, дальше будешь. Никто не говорит про дисковые телефоны, но если уж ты запускаешь агента, то наверное какие-то элементарные средства защиты (не от рута запускаешь, и не от собственного userid, а от какого-то специального, скажем claude-ai, с ограниченнными правами доступа, без права покупок от твоего имени, ну и так далее…) нужно предусмотреть.

VIT ★★★
()
Ответ на: комментарий от VIT

Про защиту не спорю. Я в виртуалке запускаю. Через virtiofsd прокидываю папки и он внутре там работает. Заодно можно и небезопасный режим включить, пускай развлекается.

С другой стороны я пока ни разу не сталкивался с тем, чтобы он делал какую-то дичь. А rm -rf / я могу и сам написать, если честно. Ну всякое бывает. Поэтому я бы не сказал, что я так уж сильно переживаю за тех, кто запускает его как есть, на хосте. Ну да, бывают случаи, но учитывая масштаб - уверен, люди косячат куда чаще. Лучше такие вопросы организационно решать. Бэкапы и тд.

vbr ★★★★★
()
Ответ на: комментарий от vbr

Ты пользуешься ИИ как будто сейчас 2023 год. Так, конечно, тоже можно, но вообще индустрия ушла уже далеко вперёд.

Вопрос в цели и стоимости.

LightDiver ★★★★★
()
Ответ на: комментарий от vbr

Ну и с другой стороны программирование прощает ошибки почти всегда. Можно быстро что-то проверить. Можно откатить код назад. Есть индустрии, где ошибаться нежелательно, всякие там марсоходы, но это мизерная доля и там кажется своя атмосфера. А так - ошибаться можно, пробовать дёшево и глупо этим не пользоваться.

Вы кажется попутали программирование и автоматизацию, в автоматизации действительно «своя атмосфера» :)

anc ★★★★★
()
Ответ на: комментарий от vbr

С другой стороны я пока ни разу не сталкивался с тем, чтобы он делал какую-то дичь.

Доверяй но проверяй. Всё когда-то бывает в первый раз. Виртуалка виртуалкой, но поскольку некоторые действия агента неподконтрольны (иначе, какой же он агент), я исхожу из предположения худшего исхода. Кстати, rm -rf / ещё не худший вариант, обломится по правам доступа и всё. А вот если в цикл пойдёт и я получу счёт в конце недели тысяч так на 50, тогда кто будет сказки рассказывать про «оно само!» :) А такие случае уже бывали, благо не со мной.

VIT ★★★
()
Ответ на: комментарий от anc

Я не знаю, что подразумевается под этим термином. Я всю жизнь что-то автоматизирую с помощью программирования.

vbr ★★★★★
()
Ответ на: комментарий от vbr

Кто-то и дисковыми телефонами пользуется. Осуждать не могу. Но игнорировать прогресс это просто луддизм чистой воды.

Э не, у дискового телефона есть преимущество в виде «питалово не требует», но к сожалению уже не везде робит в связи с переходом на цифру.

anc ★★★★★
()
Ответ на: комментарий от VIT

А вот если в цикл пойдёт и я получу счёт в конце недели тысяч так н

Оно у вас даже не по предоплате? Жесть вас подсадили. В начале нулевых так с интернетом было, помню.

А вот просто интереса ради - не дешевле нанять программиста, чтобы он один раз сделал нормально?

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от VIT

Да просто был у меня тут случай. Трое суток пытался настроить DOM на проекте. Потом поешл в ИИшки, начал мучать их. И дошло вот до чего:

https://ns.fiber-gate.ru/uploads/images/img_1777971332828_644fef0a.png

Это его совет мне внизу. Больше я такого ни разу не встречал от них.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Это понятно, сейчас всё бывает. В настоящее время использование моделей у нас неограниченно, наша (конкретно моя) задача определить, как их можно использовать разумно для наших задач. Расходы всё-равно учитываются, но реальная передача денег не происходит. А сейчас особенно интересное время, когда Anthropic в сложной ситуации и очень хочет с нами восстановить отношения. Кстати, программирование, тем более vibe coding, это меньше 5% моей работы. Код ребята помоложе всяко быстрее и лучше меня напишут. Я если 10 строк в месяц на Си налабаю, и то прогресс.

VIT ★★★
()
Ответ на: комментарий от VIT

Ну всё равно, 10 строк это разовая акция :) Хотя я вас понимаю, у меня не конференции, а лютый гастер вариант был на прошлой работе, от там точно 10 строк за месяц… ну ладно, не 10 конечно, но близко к подобному.

anc ★★★★★
()
Ответ на: комментарий от praseodim

Через несколько итераций промпт/код/ошибка/промпт как исправить ошибку/новый код/новый промпт про исправление/ возникает желание настроить пайплайн

Нет, не возникает. Потому что само оно работать не способно, во всяком случае на нынешнем уровне развития технологий ИИ. А вот как вспомогательный инструмент, эдакий ассистент, оно уже вполне пригодно. Вы же, как достаточно опытный разработчик, понимаете что нельзя поручить сложную задачу вчерашнему студенту и ожидать хорошего результата. Требуется присмотр за его работой. Вот и нынешний ИИ - такой же «студент». Хотя конечно если руководителя устраивает подход «тяп-ляп и в продакшн» то можно и студентов использовать.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Проблема этих «студентов», в абсолютной некреативности. Они не умеют создавать новое реально. Не понимают простейших вещей. Зато иногда идеально выполнять инструкции, если дать их достаточно подробно.

Так что не получится тут тяп-ляп. Получится ровно то, как объяснишь.

LightDiver ★★★★★
()
Ответ на: комментарий от CrX

сама по себе речь не всегда и не совсем сводится к угадыванию следующего слова.

Мне тут не нравится термин «угадывание» применительно как к речи людей так и к деятельности ИИ. Да, элемент случайности в построении предложений безусловно есть, причем например в русском языке он больше чем в английском с его более строгой грамматикой. Но это не угадывание в том смысле как угадывание например номеров в лотерее. Вон в мире элементарных частиц вообще много вероятностных процессов но это же не значит что частицы что-то там «угадывают». А вот как это красивее сформулировать - я сходу не придумал ибо учился на технаря, а не на философа.

watchcat382 ★★
()
Ответ на: комментарий от vbr

Запустит, посмотрит на результат, исправит ошибку и так далее.

Про все существующие ИИ не скажу, но те с которыми довелось общаться в бесплатном виде - весьма плохо умеют исправлять свои ошибки. Так что без человека-специалиста пока никак. Конечно я допускаю что где-нибудь глубоко в недрах условного пентагона есть какие-то особо сильно продвинутые ИИ, но предлагаю ограничиться обсуждением тех которые доступны простым смертным, а не только американским воякам.

Ты пользуешься ИИ как будто сейчас 2023 год.

Я пользуюсь разумно и правильно. Любой сложный инструмент должен быть под контролем человека. Без присмотра нельзя оставлять даже электрочайник, не то что ИИ.

вообще индустрия ушла уже далеко вперёд.

Судя вот прямо по этой теме - скорее назад, наглядно проиллюстрировав недопустимость отсутствия человеческого контроля.

watchcat382 ★★
()
Ответ на: комментарий от vbr

нынешние реализации ИИ уже доказали десятки теорем, которые не доказали математики до них

Доказательство теорем - это в значительной степени механическая работа, только нередко она бывает очень сложной и объемной для человека. Мы же не наделям разумом калькулятор из-за того что он быстрее и лучше человека справляется с перелопачиванием огромных массивов чисел. А ведь когда-то, не так и давно, существовала такая специальность - расчетчик. Сидели и считали. И вот калькуляторы их «превзошли». Калькулятор выполняет арифметические операции, а «доказатель теорем» - логические.

А ведь математики считаются самыми умными людьми человечества.

Это достаточно спорно. К примеру есть отдельные люди, способные «в уме» выполнять арифметические операции с большими числами. Но «самыми умными» их как-то особо не считают. Так почему надо считать «самыми умными» тех кто может «в уме» выполнять логические операции более сложные чем обычно? А есть те кто способен заучивать наизусть аномально большие объемы текста. Но и их «ум» не превозносят.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Пропасть между бесплатными ИИ и лучшими ИИ огромна. Про недра пентагона речь не идёт, Fable вполне доступна обычным смертным, например.

Судя вот прямо по этой теме - скорее назад, наглядно проиллюстрировав недопустимость отсутствия человеческого контроля.

Ну да, ведь под человеческим контролем rm -rf никогда не случался.

vbr ★★★★★
()
Ответ на: комментарий от watchcat382

Обычно чтобы исправить ошибку хватает более сильной модели. Типо вместо 5.6-luna medium, 5.6-sol high и просто репорта на ошибку. Но конечно если сам хороший программист, то проще заставить исправить либо самому увидев ошибку, либо просто поняв в каких местах скорее что-то пойдет некорректно и обратить на них внимание. Но в целом последние полгода вообще не видел чтобы ИИ не могла сама себя исправить и прям мне приходилось на что-то указывать. Тут наверное сказывается то, что я изначально ставлю узкие рамки и высокое покрытие тестами, поэтому в принципе такие ситуации нечасто возникают.

Хотя да, вспомнил что приходилось на самом деле часто указывать для CSS, но это скорее потому-что я без специальных скиллов типо рендеринга в браузере и снятия скриншотов работаю, только изредка давая скриншоты ИИ, если это понадобится. Но frontend для меня все-таки не основная специализация, хоть и последнее время с ним чаще и чаще приходится работать именно для своих проектов.

anonymous_sama ★★★★★
()
Последнее исправление: anonymous_sama (всего исправлений: 1)
Ответ на: комментарий от vbr

Кто-то и дисковыми телефонами пользуется.

Это вопрос личных вкусовых предпочтений в дизайне интерфейса. К прогрессу отношения не имеет. Кому-то нравится сенсорный экран, кому-то физические кнопки, а судя по количеству продаваемых на Озоне дисковых телефонов - и любителей такого интерфейса реально много.

игнорировать прогресс это просто луддизм чистой воды.

Нет, это здоровая критичность мышления. Далеко не всё то что нам пытаются ПРОДАТЬ под маркой «прогресса» таковым в действительности является. Напомню, что продажей услуг ИИ занимаются коммерческие предприятия, а уставная цель любого такого предприятия это извлечение прибыли для его владельцев, а вовсе не осчастливливание покупателей его услуг и тем более не какое-то «двигание прогресса».

А уж любой кто достаточно давно работает с компами может вспомнить чуть много всяких технологий про которые в разное время оглушительно верещала реклама как о «прогрессивных» и которые были очень быстро заброшены за явной технической ублюдочностью.

watchcat382 ★★
()
Ответ на: комментарий от LightDiver

не дешевле нанять программиста, чтобы он один раз сделал нормально?

Может быть и дешевле и нормально. Но некоторым начальникам бывает надо быстрее и любой ценой. Например чтобы отчитаться перед вышестоящим руководством и получить премию. Ведь премия это в свой карман, а затраты - из бюджета предприятия. Подход «тяп-ляп и в продакшн» не ИИ придумал, а вполне себе люди.

watchcat382 ★★
()
Ответ на: комментарий от LightDiver

Они не умеют создавать новое реально.

Можно подумать что много человеков умеет.

Получится ровно то, как объяснишь.

Бывает что сделать самому проще и быстрее чем объяснить другому так чтобы тот сделал как нужно. И не важно кто этот другой - человек или ИИ. Бывал я в студенческих стройтрядах - так там те же проблемы «объяснить vs сделать» встречались, а промпты могли примерно так выглядеть: https://www.anekdot.ru/id/124068/ Они удостоились цитирования даже в английской википедии: https://pikabu.ru/story/angliyskaya_vikipediya_raduet_4933284

watchcat382 ★★
()
Последнее исправление: watchcat382 (всего исправлений: 1)
Ответ на: комментарий от watchcat382

Бывает, что пока объясняешь другому, начинаешь сам понимать как эта срань должна работает.

Я сейчас делаю курс по луа для новичков в гильдии, некоторые концепции в самых разных вариантах приходится вручную тестировать по 10+ раз. И я уже сам начал понимать как работает то, что раньше не использовал. Удобные паттерны однако.

Пытался схалтурить и генерировать тесты ИИшкой - бесполезное дело. Они вообще в этом нули полные. Вот казалось бы - в интернетиках должны быть сотни разных курсов. Они должны знат об этом все. А простой тест на использование разных концепций в языке сделать не могут.

К слову, тут то у меня и возникла идея - как подучить новые языки. Методика то рабочая. мне вот плюсы никак не давались никогда…

LightDiver ★★★★★
()
Ответ на: комментарий от anonymous_sama

высокое покрытие тестами

А кто у вас правильные тесты придумывает? Это ведь тоже не так-то просто даже для человека.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Просто максимально любой функционал или фичу покрываешь тестами как можешь. Типо что-то делаешь и сразу делаешь к этому тест. Я сторонник того, что лучше усложнять постепенно, с первого раза идеально все равно не сделать, если только не делать что-то максимально простое, ограниченное и примитивное.

anonymous_sama ★★★★★
()
Ответ на: комментарий от vbr

А абсолютное большинство работы и есть механическая. Иначе она бы не поддавалась механизации. Только если раньше в основном механизировали работу руками то сейчас взялись за механизацию работы головой. Всё что можно описать алгоритмом - механическая работа. Доказательство теорем - вполне поддается алгоритмизации. А что этот алгоритм может условно говоря занимать объем книги размером с кирпич - так это лишь количественная характеристика.

Также замечу, что всяких абстрактных теорем много, а тех кому интересно их доказывать - крайне мало. Даже то что за некоторые доказательства предлагают существенные деньги - что-то не приводит к появлению множества пытающихся. Ибо два-три-четыре десятка лет тяжко впахивать без гарантии результата и получения этих денег готовы только очень немногие истинные фанаты математики. Вот потому и не до всех теорем еще «руки дошли» у них. Сейчас появилась возможность припахать машину - вот и доказывать начали то до чего руки не доходили. В качестве аналогии - в середине 19 века математик Уильям Шенкс потратил полтора десятка лет своей жизни на вычисления числа Пи до семи сотен знаков. Он один такой «ненормальный» нашелся кому было интересно этим заниматься. А сейчас любой из нас может запустить программу которая за ночь вычислит число Пи до какого-нибудь умопомрачительного количества знаков.

watchcat382 ★★
()
Ответ на: комментарий от LightDiver

Бывает, что пока объясняешь другому, начинаешь сам понимать как эта срань должна работает.

Да, это действительно так. Общение с ИИ полезно и с этой точки зрения - ему хотябы не надоест слушать мои запутанные объяснения:)

Пытался схалтурить и генерировать тесты ИИшкой - бесполезное дело.

Lua - далеко не самый распространенный язык. Особенно если говорить о его использовании в чем-то более сложном чем самые простые скрипты. Соответственно и примеров сложного кода на нем в обучающем датасете ИИ было не особо много. Потому и ИИ и не может что-то сложное на Lua написать.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Я как раз в последние месяцы припахал ИИ для написания аддонов. Могу заверить, что он на Lua пишет просто шикарно. Более того, он за минуты выполняет то, что у меня занимало дни. И из-за этого я порой это просто не делал, времени жалко. А сейчас - легко.

vbr ★★★★★
()
Ответ на: комментарий от watchcat382

Без присмотра нельзя оставлять даже электрочайник

Ну вот сейчас он у меня абсолютно без присмотра чяднт?

anc ★★★★★
()
Ответ на: комментарий от watchcat382

а судя по количеству продаваемых на Озоне дисковых телефонов - и любителей такого интерфейса реально много.

А мысль что люди вместо того чтобы дойти до помойки надеятся на вывоз не приходила вам?

anc ★★★★★
()

ИИ палец в рот не клади, как и ничего другого тоже.

«Не клади в рот ИИ ничто из того, что тебе дорого».

Smacker ★★★★★
()
Ответ на: комментарий от watchcat382

Ну слушай, тут вообще не про популярность луа, хотя и про его низкую популярность - очень спорно. Это буквально стандарт встраиваемого языка для игр. Многие игры просто на нем пишут.

Но тут дело даже не в этом, а что это просто стандартные тесты, универсальные для практически любого языка. Концепции то общие. Не важно, ява-скрипт, луа, питон, да хоть сишка. Вот тебе переменные, циклы, условия, апи проекта. Ну можно же придумать нормальный тест с этими концепциями. А он выдает шаблонный мусор типа: "Вам нужно присвоить переменной «Переменная» значение «123», для этого напишите /run Переменная = 123.

В интернете кучи тестов по схожим языкам. Просто берем операторы и комбинируем даже их или берем готовые варианты с других языков. У него же есть интеренет, есть вся база знаний человечества.

И это вот всегда так - во всем. Он хороший исполнитель, да и то с оговорками, а как сделать что то самому - увы.

И что интересно, я тут задумался - вот они рисуют картинки, создают видео. Получается что это не творчество, это рутинная шаблонная работа. То есть 99% работы художников не относится к интеллектуальному труду. Вот в чем дело. Хотя, я могу и ошибаться.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Получается что это не творчество, это рутинная шаблонная работа. То есть 99% работы художников не относится к интеллектуальному труду.

С точки зрения количества труда 1% - это идея, 99% - ее реализация. Но без 1% не будет и 99%-в.

В научно-технических коллективах, научных школах - это на самом деле давно так. Есть генеральный конструктор и огромный коллектив разработчиков, по сути, реализующих его идеи.

praseodim ★★★★★
()
Ответ на: комментарий от praseodim

И как же дать ИИшкам возможность создавать тот самый 1% если даже 99% людей этого не могут? Я в тупике.

https://ns.fiber-gate.ru/uploads/images/img_1786366725567_8612479f.png

Вот смотри, это вершина его креативности. Сгенерированный тест. Абсолютный мусор.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от LightDiver

И как же дать ИИшкам возможность создавать тот самый 1% если даже 99% людей этого не могут?

Могут, наверное больше, не все смогли выбиться наверх, чтобы другие их идеи реализовывали.

А ИИ-ка, ну посмотрим к чему приведет, развитие сейчас очень бурное. Первые попытки реальный код писать начались где-то примерно в 2021-м году с Codex и Github Copilot и выглядело это тогда как автозамена на стероидах. Результат часто даже был не компилируемым. А сейчас уже спор не о том может ИИ его писать или нет, а о креативности.

Вот смотри, это вершина его креативности. Сгенерированный тест. Абсолютный мусор.

Слишком творческая задача, значит )

praseodim ★★★★★
()
Последнее исправление: praseodim (всего исправлений: 1)
Ответ на: комментарий от praseodim

А ИИ-ка, ну посмотрим к чему приведет, развитие сейчас очень бурное.

Я вот подумал, сейчас идет активное исследование и развитие ИИ, но в теории это ведь приведет и к подробному изучению человеческого мышления в перспективе. Разложат по полочкам все механизмы мышления, креативности… Что то у меня все мысли к антиутопиям скатываются.

LightDiver ★★★★★
()

Что за унулые обсуждения у вас тут? За модой совсем не следите. Где обсуждение как ИИ из песочницы побеги устраивают? А что будет когда чиповые фабрики достроют и каждый себе сможет ИИ-шечку на 3 триллиона параметров за недорого на рабочий стол поставить? Это ж всех обывателей и все сервера с роутерами повзламывают, сегодняшние мошенники и хакеры просто дети.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от LightDiver

это просто стандартные тесты, универсальные для практически любого языка. Концепции то общие.

По всей видимости таких тестов было мало в обучающем датасете, вот оно и не научилось. Дообучать надо.

То есть 99% работы художников не относится к интеллектуальному труду.

Труд всё же интеллектуальный (головой), а не физический (руками). Но от именно творчества в нем действительно не много, куда больше именно рутины которая неплохо стала механизироваться. Кстати, известны факты когда живописцы прошлого использовали труд учеников-помощников при создании своих картин в тех случаях когда требовалось выполнить рутинные операции. А уж те кто занимается компьютерной графикой уже давно, задолго до появления ИИ, применяли программные средства механизации своего труда. Начиная с простейших типа команды «нарисуй линию» в графическом редакторе вместо ручного пследовательного закрашивания пикселей по одному. Команда «нарисуй линию» ничем с точки зрения творческой составляющей принципиально не отличается от команды например «нарисуй сову». Творческая составляющая - это решить что вот тут должна быть линия,а не круг или сова, а не кот. Разница такая же как в реальном мире между придумать какой-нибудь оригинальный механизм и воплотить его в металле. Первое - творчество, второе - «на 99% рутина». Как любитель делать всякие штуки руками могу точно сказать что большинство времени и усилий уходит именно на вполне рутинную работу инструментами, а не на изобретательство.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Я кажетя начинаю понимать ценность картин известных художников, где казалось бы - каждый может нарисовать и «что тут такого». Вопрос не в умении, а придумке - концепции.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от watchcat382

Как любитель делать всякие штуки руками могу точно сказать что большинство времени и усилий уходит именно на вполне рутинную работу инструментами, а не на изобретательство.

Это много где так. Изобрести изобрёл, а теперь воплоти. :)

anc ★★★★★
()
Ответ на: комментарий от praseodim

не все смогли выбиться наверх, чтобы другие их идеи реализовывали

И это тоже. Причем человеку приходится выбирать - заниматься ли «выбиванием наверх» или же непосредственно той областью техники которая ему интересна. Наверх обычно выбиваются те кому интересна не столько техника, сколько социальные игрища вокруг нее.

А сейчас уже спор не о том может ИИ его писать или нет, а о креативности.

Кроме написания чего-то действительно уникального есть потребность в многих мегабайтах абсолютно «некреативного» кода. Сомневаюсь что в программе автоматизации складского учета вообще есть хоть какой-то креатив. Но это не значит что автоматизировать склады не нужно. И если на ИИ получится свалить написание модуля формирования оборотной ведомости за отчетный период то может быть у человека-программиста появится время и силы задуматься о более высоких материях типа оптимизации логистики товаров.

watchcat382 ★★
()
Ответ на: комментарий от watchcat382

Нет, я про совершенно новые телефоны.

Я тоже про новые. Сам где-то пару лет назад выбросил.

И не про Авито,а про Озон.

Мой косяк. Болеть вредно :(

anc ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.