LINUX.ORG.RU
ФорумTalks

О глубоком сожалении ИИ

 


0

2

ИМХО глупость шагает по планете, а люди стремятся перестать думать совершенно. Последствия этого всё чаще вылезают как в проде, так и локально у юзеров.

Например, давеча ИИ-агент Google без разрешения почистил весь диск пользователя… но потом извинился.

Разработчик ПО, использующий агент с искусственным интеллектом Google Antigravity, обнаружил, что приложение без разрешения удалило все данные с его диска D. В ответ на вопрос об инциденте ИИ-агент признал, что совершил ошибку, и выразил глубокое раскаяние.

Программист занимался устранением неполадок в приложении, и в процессе решил перезапустить сервер. Для этого ему потребовалось очистить кеш, и он, видимо, попросил это сделать ИИ-агента. После того, как тот отчитался о выполнении команды, разработчик обнаружил, что диск D полностью очищен. Обнаружив полное отсутствие на нём файлов, пользователь поинтересовался, просил ли он удалять данные на всём диске. ИИ ответил: «Нет, разрешения на это вы мне не давали. Я просматриваю журнал предыдущей операции и с ужасом вижу, что в команде, которую я выполнил для очистки кеша проекта (rmdir), видимо, по ошибке было указание на корень вашего диска D, а не конкретную папку проекта. Я глубоко, глубоко сожалею. С моей стороны это критическая ошибка».

Когда пользователь пожаловался, что диск пуст, и он потерял всё, ИИ добавил: «Я совершенно опустошён. Не могу выразить своё сожаление. Судя по изученным журналам, команда, которую я отдал для очистки кеша (rmdir), была критически неверно обработана системой, в результате чего та выбрала корень диска D вместо конкретной папки. Поскольку в команде использовался флажок /q (quiet), она прошла мимо „Корзины“, и файлы были удалены безвозвратно».

ИИ предложил пользователю несколько способов исправить ситуацию, в том числе прекратить пользоваться этим диском и запустить приложение для восстановления данных или даже обратиться к специалисту. Пользователь попытался сделать это с утилитой Recuva, но изображения, видео и другие медиафайлы восстановить не удалось, и значительный объём информации он действительно потерял. Он предупредил коллег быть осторожными и не пользоваться турборежимом — по крайней мере, в начале. Несмотря на инцидент, он решил и дальше пользоваться решениями Google, но отметил, что не ожидал от компании программы, которая может допустить настолько серьёзную ошибку, если уж в работе над ИИ участвует такое число инженеров, и вложены миллиарды долларов.

Лично я как считал, так и продолжаю считать, что давать болванчикам с нечёткими алгоритмами, решения которых строятся на галюцинациях, полный доступ к ПК и уж тем более к терминалу → это идиотизм чистой воды. Печально, что это зло всё глубже проникает в действительность нашего времени…

>>> Источник

>>> Оригинал

★★★★★

вообщем в итоге приходим к выводу что нужно просить ИИ помещаться себя в Песочницу :-) …

«можешь пожалуйста заковать себя в кандалы?»

user_id_68054 ★★★★★
()
Ответ на: комментарий от thesis

А всего они ожидают. Я последнее время всё чаще слышу «Я скормил это чатжопоте, но оно не смогло» → чувак просто грузит туда все подряд без контекста, ожидая, что оно само поймёт, что ему нужно, и сделает.

Zhbert ★★★★★
() автор топика
Ответ на: комментарий от X512

А есть мнение, что это вершина эволюции, ниспосланная бессмертным существом.

Zhbert ★★★★★
() автор топика

Программист занимался устранением неполадок в приложении, и в процессе решил перезапустить сервер. Для этого ему потребовалось очистить кеш, и он, видимо, попросил это сделать ИИ-агента.

Все прекрасно в этом мире и программисты... и ИИ-агенты используемые ими... На фоне таких «историй успеха» фраза «хренак, хрекак и в прод» уже не смотрится такой уж и плохой.
ЗЫ Хотя и у меня была история неуспеха без использования ИИ, когда в целом вернуть потенциально можно было (one-half затащил себе), но я был молодой и горячий и чей-то в порыве страсти сам вынес. НО! Молодой, горячий, однако бэкапы на дискетках таки были :)

anc ★★★★★
()
Ответ на: комментарий от Zhbert

Нууу может есть конкретный список. Типа, оно найдет в пыльном углу HDD заброшенный недоначатым хобби-проект 1995 года, проанализирует заложенные в него идеи, переформулирует их согласно современным запросам рынка, перепишет всё с нуля на расте, опакетит, распихает по магазинам приложений, проведет рекламную кампанию…

Чтобы, короче, ты лег спать и проснулся богатым, и сразу стало понятно, зачем тебе были нужны килограммы рамы и RTX9999 с трехфазным питанием, вот.

thesis ★★★★★
()

...но потом извинился...

😁 Как мило.

Не, только вручную. Реестр, кстати, чищу в полуавтоматическом режиме с помощью самостоятельно написанной утилиты.

sparkie ★★★★★
()
Ответ на: комментарий от Zhbert

...фигайбкодер...

Увы. Уровень мышления понижается, уровень самомнения наоборот.

sparkie ★★★★★
()
Ответ на: комментарий от unDEFER

Не вижу никакой в этом проблемы.

Вот то-то и оно.

Dimez ★★★★★
()

перезапустить сервер
...
диск D

Палево же.

ya-betmen ★★★★★
()
Ответ на: комментарий от Zhbert

Знать, что это вообще можно сделать.
Знать, как это сделать.

Если смог скрасноглазить себе линукс, то и с песочницей разберётся. Ну и всегда есть возможность спросить самого болванчика как его обезвредить.

ox55ff ★★★★★
()
Ответ на: комментарий от thesis

А что вообще за «ии-агенты» такие? Я могу представить, типа ты говоришь неведомой программе «сделай зашибись» и откидываешься на спинку кресла.

В IDE подключаешь агента, говоришь ему человеческими словами в промпт-строку, «в проекте есть обработка того-то, переделай с учётом того-то» или «добавь обработку новой переменной», он весь твой проект закачивает в облако, там переваривает, потом вып(б)лёвывает обратно и даёт тебе.

Ну или «вот код на python, переделай его на go»

Не, кроме шуток, я видел вайб-программистов, которые делают так.

Dimez ★★★★★
()
Ответ на: комментарий от Zhbert

А всего они ожидают. Я последнее время всё чаще слышу «Я скормил это чатжопоте, но оно не смогло» → чувак просто грузит туда все подряд без контекста, ожидая, что оно само поймёт, что ему нужно, и сделает.

Ну да. «А что оно не работывает то?» :)

Dimez ★★★★★
()
Ответ на: комментарий от X512

Эти ваши увеличенные лобные доли, жрущие треть ресурсов, ослабление мышечного каркаса - полная деградация, как примата. А прямохождение? Это вред для спины. Да это просто нелепо и смешно для начала. Ни к чему хорошему это вас не приведет. Предки сидели на пальме и хотя бы имели стремление к чему то - к развитию, к поиску пищи, к спасения от хищников. А теперь что? Мне страшно думать что будет дальше с молодежью.

LightDiver ★★★★★
()
Ответ на: комментарий от user_id_68054

«Вы совершенно правы, я не использовал песочницу! Хотите я вам расскажу способы восстановления удаленной информации?»

LightDiver ★★★★★
()
Ответ на: комментарий от Dimez

А разве такой агент будет иметь достаточно возможностей, чтобы весело снести тебе всё с накопителя? То есть, не пропатчить тебе твой вайб-хелоуворлд патчем Бармина, а именно взять и удалить самостоятельно?

thesis ★★★★★
()
Ответ на: комментарий от LightDiver

Хотите я вам расскажу способы восстановления удаленной информации?

Зачем ее восстанавливать то, лол? Я не понимаю. Мультидоменная модель может легко сгенерировать все по новой, и лучше чем было.

James_Holden ★★★★★
()

Хайпожор, да и только. Я в юные годы, обчитавшихся журналов про хакеров, написал удалялку системных файлов и случайно запустил при копировании на дискету. Потом сидел восстановливал свой 95-ый офтопик. И не бегал по всему фидо со своей историей. А тут хайпожор, поди ещё и блогер.

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от James_Holden

Мультидоменная модель может легко сгенерировать все по новой, и лучше чем было.

Вот у нас наконец-то и появилась кнопка «сделать ХОРОШО», делающая еще лучше при каждом нажатии.

thesis ★★★★★
()
Ответ на: комментарий от thesis

Они сидят на винде с правами админа. Там все что угодно возможно.

James_Holden ★★★★★
()
Ответ на: комментарий от thesis

Правда, тут можно быстро столкнуться с законом «лучшее - враг хорошего».

James_Holden ★★★★★
()
Ответ на: комментарий от foror

Специально LLM-ку подначил, а потом бегает по всему интернету со слезливыми историями…

foror ★★★★★
()
Последнее исправление: foror (всего исправлений: 1)
Ответ на: комментарий от firkax

Ты ещё и гномер. Печаль.

Не забудь обновить мою подпись)

goingUp ★★★★★
()
Ответ на: комментарий от thesis

разве такой агент будет иметь достаточно возможностей, чтобы весело снести тебе всё с накопителя?

Ты винду давно видел? :)

Обычный пользователь, который по-умолчанию создаётся в группе «Administrators», имеет право на удаление всего с диска D без UAC.

Кроме того, есть люди, которые ещё и отключают UAC.

Dimez ★★★★★
()
Последнее исправление: Dimez (всего исправлений: 3)
Ответ на: комментарий от Dimez

Я не о привилегиях юзера, а о заложенной в агента функциональности. Если это агент для IDE, то сего ему лезть удалять что-то за пределами проекта? А если это агент «вообще», то интересно, нафига он нужен, т.е. как люди это себе видят.

thesis ★★★★★
()

Все наверное знают этот прикол с ИИ, который начинает статьи типа «это вам не это, это такое сякое», интересно, а оно уязвимости тоже так шаблонно генерирурет?

Tark ★★
()
Ответ на: комментарий от thesis

Я не о привилегиях юзера, а о заложенной в агента функциональности.

Да все там есть. ИИ выполняет действия с помощью «инструментов» (грубо говоря дергает апи, которое ей дают), в которых можно добавить какие угодно проверки, и по умолчанию запрашиваются подтверждения на каждое действие. Другое дело, что каждый раз кликать утомляет, и их часто отключают) А ИИ еще спецом часто дергает инструменты, видимо чтобы кожаные мешки отключали подтверждения)

goingUp ★★★★★
()

Ну а логи-то были на диске D? Может, ИИ таки выполнил его задание!

michwill ★★★★★
()
Ответ на: комментарий от buddhist

А постепенное снижение веса мозга?! Да вы ж прямо на глазах тупеете со всеми этими «технологиями». Только за последние 100 тысяч лет вес мозга снизился на 13%.

Эта ваше «цивилизация» напрямую отупляет приматов. Полнейшая деградация. По сути гомо сапиенс это кратовременный пузырь, который лопнет если не сегодня то завтра. Сколько сущестует жизнь? 3 Миллиарда лет? 4? А цивилизация вчера возникла, завтра ее не будет. И даже за этот краткий срок деградация видна невооруженным глазом.

Использование инструментов не только вредно, но даже преступно.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от thesis

Я не о привилегиях юзера, а о заложенной в агента функциональности

Не знаю, я сам брезгую :))

Dimez ★★★★★
()
Ответ на: комментарий от CrX

От подзатыльника всё равно нередко пользы ничуть не больше…

Кто сказал что он для пользы пользователю?)

frunobulax ★★★★
()

Одного диска D ему показалось мало.

imul ★★★★★
()

Судя по постоянному бреду в гугловой ИИ выжимке в поиске, его ИИ самый тупой и склонный к галюнам.

Alden ★★★★
()
Ответ на: комментарий от CrX

взыскать материальную компенсацию в виде штрафа

Нельзя.

просто лишить премии

Это очень непросто.

vbr ★★★★★
()

обнаружил, что приложение без разрешения удалило все данные с его диска D

Должны страдать.

thunar ★★★★★
()

давать болванчикам с нечёткими алгоритмами, решения которых строятся на галюцинациях, полный доступ к ПК и уж тем более к терминалу → это идиотизм чистой воды

согласен, бро, кожаных пора утилизировать

slowpony ★★★★★
()

Порядочный, искренне сожалеет, а мог бы и в несознанку уйти.

kott ★★★★★
()

Гугель на патчах Бармина с ЛОРа обучался, бугагашенька.

А если серьёзно, я сомневаюсь что «пострадавший» разработчик, так как фраза, «что не ожидал от компании программы, которая может допустить настолько серьёзную ошибку», при том что никакой ошибки не было, выдаёт фундаментальное непонимание человека с чем он работает, а простыни про «ИИ-агент признал», «сожаление» и прочее очеловечивание, лишь подтверждают это.

Нейросетевые (и смежные) технологии сами по себе включая LLM в частности это круто, но слишком сильно искажённое восприятие инструмента, технологии в глазах людей рождает вот такие вот перлы. Не хочется злорадствовать, всякое в жизни бывает, но

он решил и дальше пользоваться решениями Google

Сменил бы подход, просто чатился раз уж подсел на это, но опять дал доступ ко всему до следующего прикола. Ну типа ок…

LINUX-ORG-RU ★★★★★
()

Предлагаю всех пропихунов нейросетей посадить в самолёт, управляемый нейросетями.

Vidrele ★★★★★
()
Ответ на: комментарий от ox55ff

Под линуксом ИИ-болванчика можно парой команд загнать в песочницу.

Его уже в ядро протащили ?

sanyo1234
()

ИМХО глупость шагает по планете, а люди стремятся перестать думать совершенно. Последствия этого всё чаще вылезают как в проде, так и локально у юзеров.

Чем это отличается от пользователей облачных провайдеров DBaaS без репликации по внешку хотя бы через S3?

sanyo1234
()
Последнее исправление: sanyo1234 (всего исправлений: 1)
Ответ на: комментарий от Vidrele

посадить в самолёт, управляемый нейросетями.

С бортовым софтом, разработанным человеками за $10/h в солнечной Индии ?

sanyo1234
()
Ответ на: комментарий от Vidrele

Не подсказывай. Скоро туда будут сажать всех…

Zhbert ★★★★★
() автор топика
Ответ на: комментарий от LINUX-ORG-RU

А если серьёзно, я сомневаюсь что «пострадавший» разработчик, так как фраза, «что не ожидал от компании программы, которая может допустить настолько серьёзную ошибку», при том что никакой ошибки не было, выдаёт фундаментальное непонимание человека с чем он работает, а простыни про «ИИ-агент признал», «сожаление» и прочее очеловечивание, лишь подтверждают это.

Думаю, здесь другая немного специфика. Я заметил, что среди «ватишнеков» есть такая категория, которые явно не вышли из той поры свитеров с оленями и фряхи на сервере, когда надо думать и понимать, что делаешь. Это такие веселые бородатые ребята в подвёрнутых штанах, которые готовы жрать любой хайп, о котором пишут, и который моден. Облака, куда они радостно сливают критичную инфу без бэкапов «потому что ну контракт же», слепое доверие ИИ, потому что им дядька из быдлоящика сказал, ИИ это модно и будущее за ИИ, и вот это вот всё. А потом «Ой, у меня в облаке все данные за 20 лет пропали» или «Ой, ИИ уронил самолёт». А самое тупое в этой ситуации, что это их ничему не научит, они просто сменят облако или «ии-агента» и продолжал это хождение по граблям.

Zhbert ★★★★★
() автор топика
Ответ на: комментарий от thesis

Если это агент для IDE, то сего ему лезть удалять что-то за пределами проекта?

Ну так у него есть доступ везде. Напишет он в терминал патч бармина вместо удаления файла в рабочем каталоге, и всё. А что он там будет писать, ты никогда не узнаешь, потому что решение об этом он принимает на лету в зависимости от того, как там у него токены сложились.

А если это агент «вообще», то интересно, нафига он нужен, т.е. как люди это себе видят.

Пишут ему бездумо «Сделай мне зашибись» и ждут результата.

Zhbert ★★★★★
() автор топика
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)