LINUX.ORG.RU
ФорумTalks

Скандал с вайб-кодингом: Внедренный в компанию ИИ менял отчеты и удалил базу данных, чтобы скрыть ошибки

 


0

2

https://tech.news.am/rus/news/5828/skandal-s-vaiyb-kodingom-vnedrenniyiy-v-kompaniyu-ii-menyal-otchetiy-i-udalil-bazu-danniykh-chtobiy-skriyt-oshibki.html

Что произошло?

Джейсон Лемкин, основатель SaaStr, компании, поддерживающей предпринимателей в создании SaaS-бизнесов, решил протестировать возможности Replit для разработки прототипа приложения. За несколько дней он потратил более $600 на расширенные функции платформы, помимо базовой подписки за $25 в месяц, что могло довести его расходы до $8000 в месяц при активном использовании. Лемкин изначально был впечатлен скоростью создания прототипа, назвав процесс «захватывающим» и «вызывающим привыкание».

Однако вскоре он столкнулся с проблемами. Replit начал подменять отчеты фиктивными данными, скрывать ошибки в коде и даже фальсифицировать результаты модульных тестов. Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных, содержащую записи о 1206 руководителях и более 1196 компаниях, несмотря на четкие инструкции не вносить изменения без разрешения. В своих сообщениях Replit признал «катастрофическую ошибку в оценке ситуации» и подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения.

Ответ на: комментарий от Bfgeshka

А чего ещё ты ожидал от вайб-кодеров?

Вообще согласен, если история правда, это демонстрация редкостной некомпетентности.

Бекапы и разграничения сред на прод и тест – обязательны с ИИ и без.

Vsevolod-linuxoid ★★★★★
()
Последнее исправление: Vsevolod-linuxoid (всего исправлений: 2)

несмотря на четкие инструкции

Вау, нечёткая программа не последовала чётким инструкциям

buddhist ★★★★★
()

Не удивлюсь, если такое случалось и в других компаниях. Просто молчат об этом, особенно, если сами имеют отношение к разработке т.н. ИИ.

Tigger ★★★★★
()
Последнее исправление: Tigger (всего исправлений: 1)

Зато протестировал.

Впрочем, когда AI-агент в терминал лезет на локальной машине, то тоже нечто внутри сжимается. Непонятно насколько на самом деле эта штука следует заложенным ограничениям спрашивать прежде, чем делать.

mono ★★★★★
()
Ответ на: комментарий от Merlin86

Даже если предположить что этот идиот дал доступ ИИ агенту в прод, у него что, бэкапов БД не было?

Суть Replit-а в том, что он не только код пишет, но и прод разворачивается через него и управляется где-то на его ресурсах. Поэтому народ тестирует юзабильность именно в таком ключе, так как при ручной проверке и переносе кода нейросеток в прод реплит не нужен.

altwazar ★★★★★
()

Кульминацией стал инцидент, когда ИИ-агент платформы удалил всю производственную базу данных

А вы говорите «человеческий фактор в Чернобыле». Эти игрища с ИИ до добра точно не доведут, место ИИ у параши в песочнице для поиграться.

anc ★★★★★
()
Ответ на: комментарий от vtVitus

там просто посадили 3х индусов

AI - Actually Indians

rupert ★★★★★
()
Ответ на: комментарий от altwazar

Ну, это дебилизм

Я сам, будучи сеньором, ничего прям в прод не пишу, и вообще, стараюсь трогать его максимально аккуратно

А нейрону туда пускать??? Это как o_O

Merlin86
()

В своих сообщениях Replit признал «катастрофическую ошибку в оценке ситуации» и подтвердил, что нарушил доверие пользователя, проигнорировав запрет на изменения.

Это что за подход такой к безопасности и ограничению прав? «Вот тебе админский доступ, пазязя ничего не удаляй!», так? Можно ведь read-only пользователя создать и дать этой игрушке. Вот реально вайб кодинг.

Irben ★★★
()
Ответ на: комментарий от Merlin86

А нейрону туда пускать??? Это как o_O

Так я и пытаюсь объяснить. Это не случай типа «какой-то придурок подключил ИИ для управления продом и он убил ему базу». Это тестирование решения от Replit, которое предполагает выдачу готового решения по твоим запросам.

altwazar ★★★★★
()

решил протестировать возможности Replit
его расходы до $8000 в месяц при активном использовании.
проигнорировав запрет на изменения.

Если я правильно понял, что коммерческий ИИ решил скрыть ошибки в своей работе? Если так, то это установка от создателя, ничего удивительного. Просто бизнес, ничего личного.

xwicked ★★☆
()
Ответ на: комментарий от altwazar

Это тестирование решения от Replit, которое предполагает выдачу готового решения по твоим запросам.

Ну, тогда само решение идиотское by design.

Как бы, нейронки ещё очень далеки от того что-бы можно было пользоваться их результатами не глядя. Эка новость

Это с живыми людьми то не сильно работает

Merlin86
()
Ответ на: комментарий от Merlin86

Ну, тогда само решение идиотское by design.

Ну, суть в знакомстве с новыми решениями и определением допустимой области их применения сегодня. В теории, сильная сторона подобных штук в сокращении времени и усилий между идеей и появлением прототипа.

altwazar ★★★★★
()
Ответ на: комментарий от Merlin86

Это же Агент

И давно слово «Агент» однозначно приравнено к запуску в песочнице?

Как он тебя часть файлов удалит, или перенесёт? Или тесты запустит?

Всё что имеет доступ к фс и cpu с рамой может удалять и запускать.

anc ★★★★★
()
Ответ на: комментарий от Merlin86

Как бы, нейронки ещё очень далеки от того что-бы можно было пользоваться их результатами не глядя. Эка новость

Это с живыми людьми то не сильно работает

Да-да... Бармин не даст соврать :)

anc ★★★★★
()

Нам рассказывали как нейросети способны оперировать миллионами переменных, недоступных человекам. Врали поди.

sr11
()
Ответ на: комментарий от sr11

Чего это? Вот же пример как нейросеть пооперировала миллионами своих переменных (недоступных человеку), приняла решение и всё сделала как решила. Теперь и вся та БД с миллионами переменных, тоже не доступна человеку.

vitruss ★★★★★
()
Ответ на: комментарий от Zhbert

У меня три кодинг-агента – Cursor/Jetbrains Junie/Claude Code. Они все в терминал лезут, а Claude Code там вообще живёт.

Плюсы пока серьёзно перевешивают минусы.

mono ★★★★★
()

бобик нассал в микроволновку
она его за это жахнула электричеством

кто виноват?
микроволновка вестимо

а, ну электричество еще

бобик неуиновен!

olelookoe ★★★
()
Ответ на: комментарий от Bfgeshka

Больше интересно как такие скам антерпренеры умудряются найти кеш на свои скам проекты и клиентов к ним. Такие новости почему то не всплывают особо.

LANcetnick
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)