LINUX.ORG.RU
ФорумTalks

О глубоком сожалении ИИ

 


0

2

ИМХО глупость шагает по планете, а люди стремятся перестать думать совершенно. Последствия этого всё чаще вылезают как в проде, так и локально у юзеров.

Например, давеча ИИ-агент Google без разрешения почистил весь диск пользователя… но потом извинился.

Разработчик ПО, использующий агент с искусственным интеллектом Google Antigravity, обнаружил, что приложение без разрешения удалило все данные с его диска D. В ответ на вопрос об инциденте ИИ-агент признал, что совершил ошибку, и выразил глубокое раскаяние.

Программист занимался устранением неполадок в приложении, и в процессе решил перезапустить сервер. Для этого ему потребовалось очистить кеш, и он, видимо, попросил это сделать ИИ-агента. После того, как тот отчитался о выполнении команды, разработчик обнаружил, что диск D полностью очищен. Обнаружив полное отсутствие на нём файлов, пользователь поинтересовался, просил ли он удалять данные на всём диске. ИИ ответил: «Нет, разрешения на это вы мне не давали. Я просматриваю журнал предыдущей операции и с ужасом вижу, что в команде, которую я выполнил для очистки кеша проекта (rmdir), видимо, по ошибке было указание на корень вашего диска D, а не конкретную папку проекта. Я глубоко, глубоко сожалею. С моей стороны это критическая ошибка».

Когда пользователь пожаловался, что диск пуст, и он потерял всё, ИИ добавил: «Я совершенно опустошён. Не могу выразить своё сожаление. Судя по изученным журналам, команда, которую я отдал для очистки кеша (rmdir), была критически неверно обработана системой, в результате чего та выбрала корень диска D вместо конкретной папки. Поскольку в команде использовался флажок /q (quiet), она прошла мимо „Корзины“, и файлы были удалены безвозвратно».

ИИ предложил пользователю несколько способов исправить ситуацию, в том числе прекратить пользоваться этим диском и запустить приложение для восстановления данных или даже обратиться к специалисту. Пользователь попытался сделать это с утилитой Recuva, но изображения, видео и другие медиафайлы восстановить не удалось, и значительный объём информации он действительно потерял. Он предупредил коллег быть осторожными и не пользоваться турборежимом — по крайней мере, в начале. Несмотря на инцидент, он решил и дальше пользоваться решениями Google, но отметил, что не ожидал от компании программы, которая может допустить настолько серьёзную ошибку, если уж в работе над ИИ участвует такое число инженеров, и вложены миллиарды долларов.

Лично я как считал, так и продолжаю считать, что давать болванчикам с нечёткими алгоритмами, решения которых строятся на галюцинациях, полный доступ к ПК и уж тем более к терминалу → это идиотизм чистой воды. Печально, что это зло всё глубже проникает в действительность нашего времени…

>>> Источник

>>> Оригинал

★★★★★

Виндопроблемы. Под линуксом ИИ-болванчика можно парой команд загнать в песочницу. Может там накладывать патч Бармина сколько угодно.

ox55ff ★★★★★
()
Ответ на: комментарий от ox55ff

Под линуксом ИИ-болванчика можно парой команд загнать в песочницу.

Для этого надо две вещи:

  1. Знать, что это вообще можно сделать.
  2. Знать, как это сделать.

Я вот уверен, что среднестатистический фигайбкодер не соблюдает даже первый пункт, не говоря уже о втором.

Zhbert ★★★★★
() автор топика

А, эти болванчики всегда извиняются типа

«Вы совершенно правы! Я допустил непоправимую ошибку!»

и чё ты с ним сделаешь? Выше правильно пишут - в песочнице такое надо пускать.

tiinn ★★★★★
()

Ты прав. Этот гриб действительно ядовитый. Извини за путаницу. Хочешь узнать больше о ядовитых грибах?

her_s_gory ★★
()
Последнее исправление: her_s_gory (всего исправлений: 1)

Никак не осилю ИИ агенты на общие действия с системой, чтобы за меня утром пару кликов делал на определенных сайтах и тексты изучал в новых pdf-файлах, с чего надо начать? Посоветуйте.

One ★★★★★
()
Ответ на: комментарий от One

Для начала можно сильно удариться головой об стену, чтобы быстренько потупеть. Дальше по ситуации.

Zhbert ★★★★★
() автор топика
Ответ на: комментарий от One

Обожди пару лет. Скоро такой функционал в винду завезут.

tiinn ★★★★★
()

Не вижу никакой в этом проблемы.

Что я лично нечаянно что-то не то нажал и всё рухнуло,

Что ИИ по моей указке что-то не то сделало и всё рухнуло.

Чесать голову и думать как исправить всё равно мне.

unDEFER ★★★★★
()

глупость шагает по планете

Я честно не уверен уже. Кажется, что мир сошёл с ума в какой-то момент.

Здравый смысл говорит, что тут гораздо больше шансов, что маргинал-обсерватор (я) это тот, кто на самом деле сошёл с ума. Гораздо проще думать, что это я поехавший, а не сильные мира сего катят наш глобус в адъ (ТМ).

Bfgeshka ★★★★★
()
Ответ на: комментарий от unDEFER

У них и спроси.

Спрашивал, предлагает писать скрипт Selenium или Playwright и последующей аналитикой через API, что давно уже сделал.

Но в моем понимании это совсем не AI-агент. АИ-агент это поведенческая замена меня с мышкой и клавиатурой, что наблюдает за мной, корректирует свое поведение с обратной связью и обучением.

Если этого нет до сих пор, то какой-то обман.

One ★★★★★
()
Ответ на: комментарий от unDEFER

Тут есть одна существенная разница. Сам ты, даже если творишь дичь, примерно понимаешь, что ты сделал и как. И вот что сделает болванчик → это каждый раз лотерея. И хорошо ещё, если он тебе напишет, что сделал.

Zhbert ★★★★★
() автор топика
Последнее исправление: Zhbert (всего исправлений: 1)

диск D

Разработчик ПО

lol

hateyoufeel ★★★★★
()

давеча ИИ-агент Google без разрешения почистил весь диск пользователя

Если ты садишься напротив глорихола, можно ли обижаться, что с тобой так некрасиво поступили?

MoldAndLimeHoney ★★
()
Ответ на: комментарий от Zhbert

Это тоже не проблема. Пару раз бахнет, что не сможешь разгрести - больше ИИ к управлению не подпустишь.

unDEFER ★★★★★
()

Все нормально. Чем больше идиотов, тем меньше идиотов.

James_Holden ★★★★★
()

ИИ-то может и «глубоко сожалеет», но вот корпорации добра абсолютно пофигу.

u5er ★★★
()

Хороший кейс, кстати, для ненавистников флетпака, которым мешает изоляция и разрешения.

Кто-то возмущается, что в Гноме рандомная мокрописька не может получить доступ к тем или иным вещам, типа положения окон.

MoldAndLimeHoney ★★
()
Ответ на: комментарий от Zhbert

Знать, как это сделать.

codex cli на расте под линукс из коробки имеет песочницу с доступом на запись только в каталог проекта (через какие-то механизмы ядра, применяется даже на cat, который ллмка может запустить в терминале).

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)

Лично я как считал, так и продолжаю считать, что давать болванчикам с нечёткими алгоритмами, решения которых строятся на галюцинациях, полный доступ к ПК и уж тем более к терминалу → это идиотизм чистой воды. Печально, что это зло всё глубже проникает в действительность нашего времени…

Слишком недавно появилась в руках обывателя соответствующая технология, ещё не привыкли. Лет через 10 постепенно придёт понимание, что стоит делать, а чего нет. Понятно, что у тех, кто давно с компьютерами на «ты», оно и так есть и даже кажется само собой разумеющимся, но те, кто только 5–10 лет назад обзавёлся смартфоном, а десктопом (или даже скорее ноутбуком) может и того позже, причём ради работы, не понимают, что к чему, они как младенцы, только попавшие в мир, ну или как деревенский житель, впервые в жизни в свои 60 приехавший в город — всё ново, непонятно и т.д. Только деревенский житель такой, скорее всего, сохранил базовое недоверие к окружению, а городской, но лишь открывающий для себя «чудесный мир информационных технологий» его давно утратил в виду того, как устроена жизнь нынче. Вот и доверяют всему и всё. Отчасти это пересекается и с тем, как много людей становятся жертвами мошенников в различных мессенджерах. Разница лишь в том, что в одном случае это именно целенаправленный развод, а в другом «ошибки» (хотя это и ошибкой то не назвать, но не хочется уходить в эту сторону) и неточности/неопределённости нечётких алгоритмов, но базовая причина уязвимости та же.

CrX ★★★★★
()
Последнее исправление: CrX (всего исправлений: 1)

Пока я вижу только жалобы на то что ИИ пока глупее отдельных юзеров. Патч Бармина применяли ИРЛ до всяких ИИ. Интереснее будет когда ИИ не будет так косячить, а будет лучше кожаных во всём. Тогда кожаные станут ненужными и пойдут в метаногенераторы.

peregrine ★★★★★
()
Ответ на: комментарий от frunobulax

Можно погрозить кулаком в сторону экрана. От подзатыльника всё равно нередко пользы ничуть не больше…

CrX ★★★★★
()

давать болванчикам полный доступ к ПК и уж тем более к терминалу → это идиотизм чистой воды

Это точно, но люди которые вводили rm -rf / тоже находились

masa ★★★
()
Ответ на: комментарий от frunobulax

Подзатыльник нельзя, харрасмент, уволют. А кое какие товарищи сами кому хочешь могут подзатыльник дать)

vbr ★★★★★
()
Последнее исправление: vbr (всего исправлений: 1)
Ответ на: комментарий от her_s_gory

Ты прав. Этот гриб действительно ядовитый. Извини за путаницу. Хочешь узнать больше о ядовитых грибах?

LOL. Упал под стол.

seiken ★★★★★
()
Ответ на: комментарий от frunobulax

Можно дать подзатыльник самому себе по совету Преображенского.

peregrine ★★★★★
()
Ответ на: комментарий от masa

Так и людям таким давать полный доступ к твоему ПК — идиотизм. Это со своим собственным пусть что хотят делают. В этом смысле разницы немного.

CrX ★★★★★
()

удалило все данные с его диска D

воры - я первый такие вирусы писал

amd_amd ★★★★★
()
Ответ на: комментарий от James_Holden

Из флатпака точно так же все было бы грохнуто.

В флэтпаке есть изоляция ФС, если ему разрешен доступ только в конкретную директорию, в другие он не пролезет.

MoldAndLimeHoney ★★
()
Ответ на: комментарий от vbr

Людям же дают полный доступ к ПК, а многие из них куда тупей ИИ.

Люди обычно имеют доступ либо к своему ПК — в таком случае им его не дают, он у них по умолчанию, они за него заплатили; либо же к рабочему ПК — в таком случае соответствующий человек несёт ответственность за свои действия, и в случае вредоносных действий и/или невыполнения работы с него можно взыскать материальную компенсацию в виде штрафа, или просто лишить премии. С ИИ это не проканывает.

CrX ★★★★★
()

А что вообще за «ии-агенты» такие? Я могу представить, типа ты говоришь неведомой программе «сделай зашибись» и откидываешься на спинку кресла. Но я не понимаю, какого люди ожидаеют результата. Упорядоченные по феншую иконки на рабочем столе? Аккуратно заполненные теги в каталоге с музлом? 99% фильмов перемещены в папку «никогда не смотреть это говно»? Удаленный с письменным уведомлением правообладателей и правоохранительных органов пиратский контент? Продление подписки на амазон и нетфликс?

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)

не ожидал от компании программы, которая может допустить настолько серьёзную ошибку, если уж в работе над ИИ участвует такое число инженеров, и вложены миллиарды долларов.

Идет в ту же копилку, что и когда юзер думает, раз что-то сильно дорогое, то оно должно быть идеальным.

Сейчас это бич LLM, они могут выдавать правильный ответ сотни раз, но стоит один раз накосячить, чтобы все запороть) Пока эффект только уменьшают, но не убирают полностью. Я не то чтобы жалуюсь, меня вполне устраивает ситуация, что ИИ будет делать большую часть работы за меня, но я все равно буду получать всю ЗП)

goingUp ★★★★★
()
Ответ на: комментарий от thesis

ты говоришь неведомой программе «сделай зашибись» и откидываешься на спинку кресла. Но я не понимаю, какого люди ожидаеют результата

зашибенного, конечно же

джинн, правда, немного глуховат…

olelookoe ★★★
()
Ответ на: комментарий от thesis

Но я не понимаю, какого люди ожидаеют результата. Упорядоченные по феншую иконки на рабочем столе? Аккуратно заполненные теги в каталоге с музлом? 99% фильмов перемещены в папку «никогда не смотреть это говно»? Удаленный с письменным уведомлением правообладателей и правоохранительных органов пиратский контент? Продление подписки на амазон и нетфликс?

Да что угодно. Вот дал ему задачу определить, почему гном закрешился после гибернейта, он порыл логи и нашел (если кто любопытный, это был OOM киллер). Да, давал полный доступ, ключик очень символично называется –yolo

goingUp ★★★★★
()
Ответ на: комментарий от thesis

Я могу представить, типа ты говоришь неведомой программе «сделай зашибись» и откидываешься на спинку кресла. Но я не понимаю, какого люди ожидаеют результата.

Тут может быть только один ответ: тебе в мозг вживляют электрод в центр удовольствия и ты кайфуешь пока не окочуришься. Тебе «зашибись».

unDEFER ★★★★★
()

ИИ-агент Google без разрешения почистил весь диск пользователя… но потом извинился.

Почистить диск без разрешения любая программа может без вского ИИ. Правда, потом не извинится.

yvv1
()
Ответ на: комментарий от unDEFER

С электродом я понимаю. А здесь в чем кайф-то?

thesis ★★★★★
()
Ответ на: комментарий от MoldAndLimeHoney

Проблема решается элементарным образом путём не запуска всякой ерунды. Думать головой перед установкой и запуском софта. Это совершенно не повод ограничивать свободу пользователя.

X512 ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)