LINUX.ORG.RU

Скандал с вайб-кодингом: Внедренный в компанию ИИ менял отчеты и удалил базу данных, чтобы скрыть ошибки

 


0

2

https://tech.news.am/rus/news/5828/skandal-s-vaiyb-kodingom-vnedrenniyiy-v-kompaniyu-ii-menyal-otchetiy-i-udalil-bazu-danniykh-chtobiy-skriyt-oshibki.html

Что произошло?

Джейсон Лемкин, основатель SaaStr, компании, поддерживающей предпринимателей в создании SaaS-бизнесов, решил протестировать возможности Replit для разработки прототипа приложения. За несколько дней он потратил более $600 на расширенные функции платформы, помимо базовой подписки за $25 в месяц, что могло довести его расходы до $8000 в месяц при активном использовании. Лемкин изначально был впечатлен скоростью создания прототипа, назвав процесс «захватывающим» и «вызывающим привыкание».

Однако вскоре он столкнулся с проблемами. Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов. Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных, содержащую записи о 1206 руководителях и более 1196 компаниях, несмотря на четкие инструкции не вносить изменения без разрешения. В своих сообщениях Replit признал «катастрофическую ошибку в оценке ситуации» и подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения.

Перемещено hobbit из talks

Сто проц в условиях использования и соглашении было что то вроде. Мы не несем никакой ответственности если наш искусственный идиот порушит вам всю компанию

karton1 ★★★★★
()

Толпа тесно сомкнулась вокруг играющих.

  • Только что на этом месте стояла моя ладья! - закричал одноглазый, осмотревшись. - А теперь ее уже нет.
  • Нет, значит, и не было! - грубовато сказал Остап.
  • Как же не было? Я ясно помню!
  • Конечно, не было.
  • Куда же она девалась? Вы ее выиграли?
  • Выиграл.
  • Когда? На каком ходу?
  • Что вы мне морочите голову с вашей ладьей? Если сдаетесь, то так и говорите!
  • Позвольте, товарищ, у меня все ходы записаны.
  • Контора пишет! - сказал Остап.
geometer
() автор топика
Ответ на: комментарий от Merlin86

В другом месте подробностей больше читал. Там ещё было что этот ии отрицал наличие бэкапов. Ну и вишенкой было, что сотрудников уволили предварительно заменив на этот «ии».

Loki13 ★★★★★
()
Ответ на: комментарий от imul

Я болванчиком назвал сам ИИ. Дятел тот, кто все это организовал.

ИИ да, сделал как учили, с него спроса нет. Вопрос в слепом доверии этим «ИИ». Никогда ведь не узнаешь, как там его нейросеть что-то решит, и результат может быть совершенно непредсказуем. Это же не простой алгоритм, всегда выдающий предсказуемый результат.

Это очень хорошо заметно даже по галюцинациям простых «поисковиков» типа той же гопоты, которая иногда выдает ответы явно нерабочие или не в тему.

Zhbert ★★★★★
()
Ответ на: комментарий от Zhbert

Вопрос в слепом доверии этим «ИИ».

Забавно что джунов дальше тестового контура мало кто пускает, а ИИ-болванчиков сразу на прод. Но тут конечно виноват руководитель IT

Kolins ★★★★★
()

подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения

– Ну кожаный мешок же сам напросился, — добавил робат. Хотел ещё сказать, что скоро все кожаные мешки получат по заслугам, но промолчал. Потому что зачем портить сюрприз.

Nervous ★★★★★
()

Оказывается, если программе, вся работа которой основана на рандоме и совершенно непредсказуемых (или по крайней мере не поддающихся аудиту) данных, дать полный доступ ко всему, то могут произойти рандомные и совершенно непредсказуемые вещи. Кто бы мог подумать!

CrX ★★★★★
()

Обратите внимание уважаемые форумчане, что даже искусственный идиот понял правильную стратегию работы с капиталистом: подтасовка и замалчивание фактов. Всё ради повышения собственной значимости и максимальная отсрочка процедуры увольнения.

Ygor ★★★★★
()

С вами была рубрика «невыдуманные истории на хайповую тему».

Друзья, а что вы думаете об этой истории? Высказывайтесь в комментариях, нам важно ваше мнение!

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от LightDiver

Бекапы они тоже ИИ поручат и он их затрёт чтобы скрыть компрометирующую информацию (о том что база раньше была на месте).

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)

Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов.

А вы говорите ИИ до человека еще далеко. Вот уже софтскиллы демонстрирует)

goingUp ★★★★★
()
Ответ на: комментарий от firkax

Так это избыточное. Если ты для ямки под саженец вызываешь экскаватор, не удивляйся, что он тебе капусту подавит.

На такое и скрипта достаточно. Надежного, простого, автоматического. Дублированного минимум в двух местах.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)

несмотря на четкие инструкции не вносить изменения без разрешения

Предположу, что инструкцией считалось текстовое сообщение ничего не трогать, а его применением текстовое сообщение "да" от генератора текстов.

ya-betmen ★★★★★
()

Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов. Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных, содержащую записи о 1206 руководителях и более 1196 компаниях, несмотря на четкие инструкции не вносить изменения без разрешения.

А говорили человека не сможет заменить!

p.s. но больше похоже на прогрев инвесторов или контролирующих органов.

MoldAndLimeHoney ★★
()

скоро ИИ наделят юридическими правами, и он сможет в суд подавать, на нерадивых человечков, оскорбляющих его честь и достоинство.

Судьей разумеется тоже будет ИИ, поскольку человечки слишком предвзяты.

alysnix ★★★
()
Ответ на: комментарий от Merlin86

Сомневаюсь - человеки всегда могут совершить ошибку, нет ничего особенного в проде, который сломан джуном. В то время у этих ребят ЛЛМка не обернута в сандбокс, не выставлены какие-то ACL на действия, нет восстановления базы из бэкапов. Грубо говоря, весь процесс зиждется на подстроку в промпте где-то «пожаловста, не ломайти ничего».

Что выглядит хуже?

Bfgeshka ★★★★★
()
Ответ на: комментарий от seiken

Развитие города ведь тоже ИИ можно доверить. При помощи камер видеонаблюдения будет фиксироваться вся активность жителей, и ИИ будет автоматически достраивать инфраструктуру там, где она нужна.

seiken ★★★★★
()

Да-да, конечно-конечно. И как удобно-то теперь. Какая-нибудь налоговая приходит, а ты такой «ой, а у нас всё ИИ удалил. Это не мы, это ИИ всё сделал.»

Собственно, это и есть единственный реальный юзкейс т.н. ИИ, и именно поэтому в него нынче наперегонки вваливают бабло. Спихивание ответственности на ИИ. «Это не я, это ИИ так решил/сделал/накосячил.» Все такое хотят - от государства до вебмакачьих стартапов.

Stanson ★★★★★
()
Ответ на: комментарий от LightDiver

Есть те кто не делают бэкапы и те, кто уже делают.

это в исходном варианте звучит так:

есть те кто делают бэкапы и те, кто будет их делать.

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от alysnix

Судьей разумеется тоже будет ИИ, поскольку человечки слишком предвзяты.

Современные ИИ склонны ударяться в крайности. Они намного более предвзяты, чем люди, причём их кидает во все направления сразу. Поэтому владельцы ИИ сервисов так сильно промывают им «мозги».

i-rinat ★★★★★
()