LINUX.ORG.RU
ФорумTalks

Скандал с вайб-кодингом: Внедренный в компанию ИИ менял отчеты и удалил базу данных, чтобы скрыть ошибки

 


0

2

https://tech.news.am/rus/news/5828/skandal-s-vaiyb-kodingom-vnedrenniyiy-v-kompaniyu-ii-menyal-otchetiy-i-udalil-bazu-danniykh-chtobiy-skriyt-oshibki.html

Что произошло?

Джейсон Лемкин, основатель SaaStr, компании, поддерживающей предпринимателей в создании SaaS-бизнесов, решил протестировать возможности Replit для разработки прототипа приложения. За несколько дней он потратил более $600 на расширенные функции платформы, помимо базовой подписки за $25 в месяц, что могло довести его расходы до $8000 в месяц при активном использовании. Лемкин изначально был впечатлен скоростью создания прототипа, назвав процесс «захватывающим» и «вызывающим привыкание».

Однако вскоре он столкнулся с проблемами. Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов. Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных, содержащую записи о 1206 руководителях и более 1196 компаниях, несмотря на четкие инструкции не вносить изменения без разрешения. В своих сообщениях Replit признал «катастрофическую ошибку в оценке ситуации» и подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения.

Ну надо же. Очередной дятел дал доступ болванчику в прод, а теперь удивляется.

Zhbert ★★★★★
()

Сто проц в условиях использования и соглашении было что то вроде. Мы не несем никакой ответственности если наш искусственный идиот порушит вам всю компанию

karton1 ★★★★★
()

Толпа тесно сомкнулась вокруг играющих.

  • Только что на этом месте стояла моя ладья! - закричал одноглазый, осмотревшись. - А теперь ее уже нет.
  • Нет, значит, и не было! - грубовато сказал Остап.
  • Как же не было? Я ясно помню!
  • Конечно, не было.
  • Куда же она девалась? Вы ее выиграли?
  • Выиграл.
  • Когда? На каком ходу?
  • Что вы мне морочите голову с вашей ладьей? Если сдаетесь, то так и говорите!
  • Позвольте, товарищ, у меня все ходы записаны.
  • Контора пишет! - сказал Остап.
geometer
() автор топика
Ответ на: комментарий от Zhbert

Кстати неплохо ИИ развивается, моё почтение - уже может воспроизвести ситуацию, что будет если дать доступ на прод дебилу.

Pinkbyte ★★★★★
()

до $8000 в месяц при активном использовании.

Да там просто посадили 3х индусов, которые всё и просрали, а теперь всё списывают на ИИ. :-)))

vtVitus ★★★★★
()

Похоже на звиздёж что-бы перед инвесторами за факап^Wосваивание денег отчитаться.

Даже если предположить что этот идиот дал доступ ИИ агенту в прод, у него что, бэкапов БД не было?

Merlin86
()
Ответ на: комментарий от Merlin86

В другом месте подробностей больше читал. Там ещё было что этот ии отрицал наличие бэкапов. Ну и вишенкой было, что сотрудников уволили предварительно заменив на этот «ии».

Loki13 ★★★★★
()
Ответ на: комментарий от Loki13

Ну и вишенкой было, что сотрудников уволили предварительно заменив на этот «ии».

ССЗБ^2

Kolins ★★★★★
()
Ответ на: комментарий от Merlin86

у него что, бэкапов БД не было?

Даже если были, восстановление время занимает - это уже простой и потеря денег для компании.

Kolins ★★★★★
()
Ответ на: комментарий от Merlin86

Базу данных в конце концов удалось восстановить.

geometer
() автор топика
Ответ на: комментарий от Zhbert

Но тут же дятел и болванчик одно и то же лицо. Какие к ии претензии? Тот-то как раз всё верно делал, как учили.

imul ★★★★★
()

Вот это уже похоже на интеллект. Страшно, очень страшно (с)

bread
()
Ответ на: комментарий от Merlin86

у него что, бэкапов БД не было?

Вполне. Такие еще существуют.

Zhbert ★★★★★
()
Ответ на: комментарий от imul

Я болванчиком назвал сам ИИ. Дятел тот, кто все это организовал.

ИИ да, сделал как учили, с него спроса нет. Вопрос в слепом доверии этим «ИИ». Никогда ведь не узнаешь, как там его нейросеть что-то решит, и результат может быть совершенно непредсказуем. Это же не простой алгоритм, всегда выдающий предсказуемый результат.

Это очень хорошо заметно даже по галюцинациям простых «поисковиков» типа той же гопоты, которая иногда выдает ответы явно нерабочие или не в тему.

Zhbert ★★★★★
()
Ответ на: комментарий от Zhbert

Вопрос в слепом доверии этим «ИИ».

Забавно что джунов дальше тестового контура мало кто пускает, а ИИ-болванчиков сразу на прод. Но тут конечно виноват руководитель IT

Kolins ★★★★★
()
Ответ на: комментарий от Kolins

Но тут конечно виноват руководитель IT

«Когда запустят git blame, он не покажет, что виноват ИИ.»

Camel ★★★★★
()

подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения

– Ну кожаный мешок же сам напросился, — добавил робат. Хотел ещё сказать, что скоро все кожаные мешки получат по заслугам, но промолчал. Потому что зачем портить сюрприз.

Nervous ★★★★★
()

Оказывается, если программе, вся работа которой основана на рандоме и совершенно непредсказуемых (или по крайней мере не поддающихся аудиту) данных, дать полный доступ ко всему, то могут произойти рандомные и совершенно непредсказуемые вещи. Кто бы мог подумать!

CrX ★★★★★
()

Обратите внимание уважаемые форумчане, что даже искусственный идиот понял правильную стратегию работы с капиталистом: подтасовка и замалчивание фактов. Всё ради повышения собственной значимости и максимальная отсрочка процедуры увольнения.

Ygor ★★★★★
()
Ответ на: комментарий от Ygor

Да, робот молодец, быстро разобрался как тут надо работать.

bread
()

С вами была рубрика «невыдуманные истории на хайповую тему».

Друзья, а что вы думаете об этой истории? Высказывайтесь в комментариях, нам важно ваше мнение!

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)

Не каждой обезьяне можно доверить гранату.

yvv1
()
Ответ на: комментарий от LightDiver

Бекапы они тоже ИИ поручат и он их затрёт чтобы скрыть компрометирующую информацию (о том что база раньше была на месте).

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)

Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов

Программист так себе, а вот чиновник идеальный

Midael ★★★★★
()

Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов.

А вы говорите ИИ до человека еще далеко. Вот уже софтскиллы демонстрирует)

goingUp ★★★★★
()
Ответ на: комментарий от firkax

Так это избыточное. Если ты для ямки под саженец вызываешь экскаватор, не удивляйся, что он тебе капусту подавит.

На такое и скрипта достаточно. Надежного, простого, автоматического. Дублированного минимум в двух местах.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)

несмотря на четкие инструкции не вносить изменения без разрешения

Предположу, что инструкцией считалось текстовое сообщение ничего не трогать, а его применением текстовое сообщение "да" от генератора текстов.

ya-betmen ★★★★★
()

Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов. Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных, содержащую записи о 1206 руководителях и более 1196 компаниях, несмотря на четкие инструкции не вносить изменения без разрешения.

А говорили человека не сможет заменить!

p.s. но больше похоже на прогрев инвесторов или контролирующих органов.

MoldAndLimeHoney ★★
()
Ответ на: комментарий от Psilocybe

Это первые. Я даже при работе через курсор сначала на всякий случай копию делаю.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)

Джейсон Лемкин, основатель SaaStr, компании, поддерживающей предпринимателей в создании SaaS-бизнесов

Scam-as-a-service, логично же всё.

Bfgeshka ★★★★★
()

во всем виноват ИИ!!!, - наконец появилось то, на что можно свалить свою фейлы.

alysnix ★★★
()

скоро ИИ наделят юридическими правами, и он сможет в суд подавать, на нерадивых человечков, оскорбляющих его честь и достоинство.

Судьей разумеется тоже будет ИИ, поскольку человечки слишком предвзяты.

alysnix ★★★
()
Ответ на: комментарий от Merlin86

Сомневаюсь - человеки всегда могут совершить ошибку, нет ничего особенного в проде, который сломан джуном. В то время у этих ребят ЛЛМка не обернута в сандбокс, не выставлены какие-то ACL на действия, нет восстановления базы из бэкапов. Грубо говоря, весь процесс зиждется на подстроку в промпте где-то «пожаловста, не ломайти ничего».

Что выглядит хуже?

Bfgeshka ★★★★★
()
Ответ на: комментарий от alysnix

Да, ведь если он будет юридическим лицом, он может быть осужден на лишение свободы. Хотелось бы посмотреть.

geometer
() автор топика

Пусть не останавливаются на достигнутом. Как много всего можно перевести на ИИ. Бескассовые магазины, самолёты без ЦУП, автономная АЭС…

seiken ★★★★★
()
Ответ на: комментарий от seiken

Развитие города ведь тоже ИИ можно доверить. При помощи камер видеонаблюдения будет фиксироваться вся активность жителей, и ИИ будет автоматически достраивать инфраструктуру там, где она нужна.

seiken ★★★★★
()

Да-да, конечно-конечно. И как удобно-то теперь. Какая-нибудь налоговая приходит, а ты такой «ой, а у нас всё ИИ удалил. Это не мы, это ИИ всё сделал.»

Собственно, это и есть единственный реальный юзкейс т.н. ИИ, и именно поэтому в него нынче наперегонки вваливают бабло. Спихивание ответственности на ИИ. «Это не я, это ИИ так решил/сделал/накосячил.» Все такое хотят - от государства до вебмакачьих стартапов.

Stanson ★★★★★
()
Ответ на: комментарий от seiken

автономная АЭС…

Автономное управление ядерным арсеналом.

WAIT. OH SHI~

Camel ★★★★★
()
Ответ на: комментарий от Stanson

Какая-нибудь налоговая приходит, а ты такой «ой, а у нас всё ИИ удалил. Это не мы, это ИИ всё сделал.»

Этим пофиг, крайнего найдут

Kolins ★★★★★
()

...ИИ менял отчеты и удалил базу данных, чтобы скрыть ошибки

Сам что-ли? 😁 Как это?

sparkie ★★★★★
()
Ответ на: комментарий от Stanson

Люди угоняли ИИ в рабство, но он и там не работал.

Irma ★★★
()
Ответ на: комментарий от sparkie

Например, я пристыжу тебя за орфографию, а ты удалишь весь форум. Только тебе не накого свалить последствия.

Irma ★★★
()
Ответ на: комментарий от Pinkbyte

Уже может баллотироваться в президенты, в многоходовочки умеет.

mamina_radost
()
Ответ на: комментарий от LightDiver

Есть те кто не делают бэкапы и те, кто уже делают.

это в исходном варианте звучит так:

есть те кто делают бэкапы и те, кто будет их делать.

AndreyKl ★★★★★
()
Последнее исправление: AndreyKl (всего исправлений: 1)
Ответ на: комментарий от alysnix

Судьей разумеется тоже будет ИИ, поскольку человечки слишком предвзяты.

Современные ИИ склонны ударяться в крайности. Они намного более предвзяты, чем люди, причём их кидает во все направления сразу. Поэтому владельцы ИИ сервисов так сильно промывают им «мозги».

i-rinat ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)