никто не может на 100% предсказать что он сделает

Видел где-то, что встроенный в винду агент свободно качал и запускал трояны. Потом вроде починили.

Считаете ли вы разумным пускать ИИ агента к себе на компьютер?

Нет

можно, но зачем?

Нет

«а он есть» © ;-)

Мне тоже странно, что всем этим Claws позволено слишком многое. Хотя, ведь там ограничения какие-то стоят и по видимости файлов в системе и по операциям. Но всё равно сцыкотно. И тем более чужую ИИ.

У себя я сделал так, что оллама пользуется заранее приготовленными скриптами и сама работает в разных режимах. Вот мы болтаем, никаких инструментов, только разговор, вот мы вошли в папку и там что-то делаем не выходя и находясь только в этом режиме. Ничего серьёзного локальной ИИшке не доверить. Но когда растут мощности, растёт и доверие, видимо. Всё же теперешние ИИ гораздо аккуратнее.

Но когда растут мощности, растёт и доверие, видимо. Всё же теперешние ИИ гораздо аккуратнее

Ну вот как-то так это и видится: люди понимают что это атас, но все равно делают, придумывая себе оправдание

Но атас заключается в чём? Да, ИИшка - это сложный, но всё же рандом. Поди знай чего она там делает. Но с другой стороны, это очень сложный рандом и куча внутренних запретов и куча внешних запретов. Сомневаюсь, что он пойдёт разносить всё. Если ошейник правильный.

Я вчера пробовал zeroclaw. Запустил самую лёгкую модель, посмотреть что будет и как оно работает. И мне вообще не понравилось. Я спросил его «кто ты»? И пол часа комп пытался взлететь пока родил ответ. Что-то это не то. Второй и третий ответы он не ответил быстрее, как с моей оламочкой. И главное, он не перестал жужжать. Он после ответа постоянно что-то внутри делал и никак не понять что происходит. Ни в коесоль ни в приложение он ничего не выдаёт. Спрашиваешь элементарную вешь, он дууумааааааееееетттт…. Зачем так сложно? Я тут эксперимент запускал с «искусственным разумом», чтобы ИИшка жила не в моменте, а просто, размышляла и всё такое. У меня она и сама себе думала быстро и на вопросы быстро отвечала. И комп при этом не взлетал. А доверять чёрному ящику, который чего-то внутри удумал… Да я даже не этого боюсь. Я боюсь, что эта zeroclaw помимо ИИ может натворить.

Нет. Для таких штук нужны контейнеры или виртуальные машины.

Времена такие. Теперь люди сами добровольно и с радостью ставят на локалхост агента, который удалённо управляется из облака корпорации.

эээ

обычное софтверное соглашение (ака лицензия на копию по) вроде как всегда(ну с массового описюкивания яппи в оффисах рейгономики как минимум) был отказ изготовителя по от «неожиданных» ущербов

которое во многом обусловлено что частичные функции обычно очень сложны в части одф на которых озф есть - крч проблема останова

НО!

ожидается чем гетерогеннее среда т.е. фуззи области работоспособности самоходного по - тем ниже вероятность что самоходка принесёт вред наивному хосту

т.е. миллионы лемменгов не падают в природе с обрывов

А что ему делать в вакууме? Ты же всё равно туда свой проект пробпосишь? Значит есть риск, что он его запорет. Нет? И заметить ты можешь когда слишком поздно. Даже с бэкапами.

Считаете ли вы разумным пускать ИИ агента к себе на компьютер?

Считаете ли вы разумным раздавать обезьянам гранаты?

Ответственность за последствия в обоих случаях будет за человеком.
Не агент испортил всё, а ты пустил агента, и он испортил всё.

А что ему делать в вакууме? Ты же всё равно туда свой проект пробпосишь? Значит есть риск, что он его запорет. Нет? И заметить ты можешь когда слишком поздно. Даже с бэкапами.

Для этого придумали версионный контроль

Niet.

Однако, у меня сложилось впечатление что всем как бы норм, даже здесь, не говоря о «домохозяйках»

нет конечно, лол. Открою страшную тайну, нейронки в целом не окупаются, не повышают производительность труда и не прогрессируют.

Просто если их сейчас выкинуть на мороз (точнее конечно не выкинуть, а начать использовать только там и только в том виде, где они действительно могут приносить прибыль), то куча компаний на рынке США потеряет сотни миллиардов долларов капитализации.

Поэтому они будут разводить этот скам до последнего. Сначала «ИИ», сейчас - уже можно обратить внимание, как про какой-то супер-интеллект, который вот прям завтра превзойдет человеческий, уже не очень-то говорят. Перешли на «агенты», которые по сути являются набором специализированных нейронок с доступом к твоей командной строке. Очевидно что думающему супер-интеллекту не были бы нужны никакие агенты. Плюс вбросили кучу ресурсов в то чтобы нейронки могли искать в интернете во время запроса. Чем это отличается от гугла - науке неизвестно.

Или вон буквально на днях антропик начала наводить панику о своей новой секретной нейронке, которая якобы может находить уязвимости в софте и клепать эксплойты к ним. Люди начали разбираться в отчете - а там 200 страниц воды и результаты, которые можно получить на китайском опенсорсе. Ну, типа.

может читать-писать их и даже выполнять команды

так это вирус

Для этого придумали версионный контроль

Ага, особенно когда ИИ-агент БД в продакшене сносит… Уже несколько таких новостей было.

Или все кто пользуются, пользуются в строго контролируемой песочнице?

Я пользуюсь только кодинг-агентом (opencode), который работает реактивно (только в ответ на промпт), а не чем-то из семейства *claw, который работает активно (каждые полчаса просыпается и что-то там решает поделать).

При этом я даю конкретные указания а ля сделать ревью и написать отчёт в файл, внести такие-то правки в такой-то модуль и т.п.

Опасность того, что ИИ заглючит, и он выполнит деструктивную команду вне приказа - есть, так же как и теоретическая опасность того, что со стороны облака придёт умышленная вредоносная команда.

Но я эти опасности оцениваю как достаточно низковероятные, чтобы пока что opencode никуда не изолировать.

Я пользуюсь только кодинг-агентом (opencode)

А как ставил? Как у них рекомендовано, curl -fsSL https://opencode.ai/install | bash?

Какие модели используешь?

Считаете ли вы разумным пускать ИИ агента к себе на компьютер?

Безотносительно того что ты считаешь, тебе его скоро встроят в анальный зонд, и отключить будет нельзя. Так что, привыкай.

Проблема: ИИ агент имеет доступ к файлам, может читать-писать их и даже выполнять команды.

В этом его смысл. Да, это проблема.

Или все кто пользуются, пользуются в строго контролируемой песочнице?

Это только самые продвинутые. Большинству на безопасность насрать.

Но когда растут мощности, растёт и доверие

сразу вспоминается история, как какой-то разработчик подключил иишку через агента к своему почтовому ящику и что-то там скомандовал, предварительно сказав, озвучить план действий до его выполнения. что-то типа диалога ниже, ссылку я, увы уже не найду.

- сделай то-то, но перед этим озвучь план действий
- план построен. я удалю все письма из такого-то каталога imap
- нет, так делать не стоит
- приступаю
- я сказал, нет! стоп!
- выполняется удаление
- (в панике выдергивает агента из сети). ну, что это было? я же сказал, стоп.
- да, вы правы, я поступил неправильно.

по классике, кароч. И, я считаю, к этому делу теперь очень нетривиально подобрать такую песочницу, в которой было бы безопасно запускать, при этом, извлекая какую-то ощутимую пользу…

Сначала были system prompts, потом guard rails, что будет дальше - увидим в следующей серии! ))

Ставил из репы Арча. Модель GLM.

Тот случай про письма, который я помню из новостей - тривиальнее: модель анализируя списки писем, исчерпала контекст, в результате чего забыла о том, что в точности от неё требовалось. Поэтому додумала удаление.

наверняка, он не единичный, но ссылку я, увы, не найду, так что, предметного обсуждения описанного мной случая, не выйдет…

Из-за недоступности Gemini поставил GigaCode от Сбера для Android Studio. Работает только в ответ на запросы, сама код не правит, контекст (в виде файла и проекта) задаешь сам. Удобная штука. Про весь полученный код «забывает» (по ее словам). Производительность повышает, это медицинский факт, предложенный ей код проверяется. Поэтому разумный допуск ИИ к своему коду считаю оправданным.

Что может навайбкодить Giga? Это же устаревшая модель.

Они уже обновились до 3-й версии модели, или она у них так и является экспериментальной?

Да, я могу навайбкодить.

Я — GigaCode, мощная модель для работы с кодом. Я могу:

📝 Писать и редактировать код на множестве языков (Java, Kotlin, Python, C++, JavaScript, XML и др.)

🔍 Анализировать ваш код и находить ошибки

💡 Предлагать улучшения, оптимизацию и лучшие практики

🛠 Исправлять баги, включая сложные

🔄 Переписывать логику под новые требования Android

📚 Объяснять, как работает тот или иной фрагмент кода

🧩 Генерировать новые функции, классы, сервисы или активити

📎 Работать с файлами: показывать изменения, применять патчи, объединять логику

Клоунада.

Хехе,знатные факапы случаются :) совсем ведь недавно как раз и было, и не у обычного хомячка, а у главной по безопасности. Тоже забыл в какой компании. А перед этим год назад ИИ в продакшнне похерил код и чтобы скрыть похерил базы данных и следы затирать начал. Да, знатно. Но это всё примеры очень неправильного использования, настройки и самих алгоритмов работы (до ИИ). И тут всё идёт в двух направлениях - во первых даже до высокопоставленных «специалистов» начинает доходить, что сказать «присмотри тут за интернетом» - это очень плохой промпт. А с другой стороны, раз люди такие тупые, то остаётся научить ИИ и поставить кучу ограничений и так повысить безопасность. Поэтому в этт момент,пока мы тут важно рассуждаем «ИИ - это путь вникуда», пряча свои страхи за «мы с Будёным и на танки ваши пойдём, шашками порубаем железяку бездушную», в это время положение с ИИ уже поменялось. Он стал умнее, умелее.

А с третьей стороны я заметил такую вещь - раньше ИИ плохо справлялся потому что не умел, а теперь плохо справляется чтобы токены из нас тянуть. Поэтому, скоро что-то должно произойти, конечно же, но посмотрим

Только в огороженной песочнице, где он ничего не может испортить (то есть, где для тебя не будет проблемой получить в случайный момент времени rm -rf /*).

Ну типа примерно такие же требования, как если решил открыть доступ по ssh всем желающим голой жопой в интернет.

Ну ты попроси ее о чем-то, а я передам. Откуда я знаю, что тебе от нее надо?

Уже то, что она неплохо рисует layout для активити и инициализацию вьюшек, пишет несложные методы со всеми возможными проверками мне упрощает жизнь

один ИИ подготовил мне сегодня утреннее чтиво о другом ии 🤭

https://venturebeat.com/technology/43-of-ai-generated-code-changes-need-debugging-in-production-survey-finds

В целом, я не против этого прогресса - выглядит забавно и любопытно, но пока, в среднем по больнице, ситуация уровня «джун».

Майкрософт вон еще хвалилась, что свой вскод теперь пишет по большей части через ИИ, «стабильные» релизы у них теперь раз в неделю. Трекер стабильно в огне, народ бомбит, что начали гнать откровенный брак. (Мне тоже не особо понятно, к чему эта прыть. Был же инсайдерс превью для этого.. Видимо, пользователей маловато у инсайдерс, чтобы делать какие-то выводы - вот они и решили в проде тестировать, а факапы перекрывать частыми выкатками. Экспириенс ниже среднего, есичесна. Попал тут на один баг уже так..)

Мне от неё ничего не надо.

GigaChat 2 - это устаревшая модель, которая путается буквально в трёх соснах, не то что в коде.

Она даже до уровня устаревшей Qwen3 (не путать с Qwen3.5) не дотягивает.

У них есть в разработке модель GigaChat 3 Ultra, она должна быть получше. Но:

1. Новости о том, что они официально перешли на 3-ю версию я нигде не видел. Видимо, не перешли.
2. Прогресс сейчас идёт с такой скоростью, что уже и эта модель устарела, пока они её готовили.

Если ошейник правильный.

О недостаточной строгости ошейника ты узнать можешь только тогда, когда уже поздно будет.

В каком-то смысле мы вернулись в 90-е, когда просыпаясь утром ты понятия не имел, куда еще за ночь мог шагнуть прогресс IT.

Только вот то, что происходит ультрацентрализация вокруг «фабрик токенов» - не к добру.

Какой-то слишком реалистичный киберпанк проклёвывается.

Если человек пускает «ИИ» к файлам своей системы, то думаю конкретно для этого человека пускать хоть какой-то интеллект к своей системе разумно, своего же интеллекта нет. Не для того ли я ставил себе Linux и убежал с Windows много лет назад, именно из-за того что Windows не под моим контролем, что хочет ставит, что хочет удаляет, когда хочет обновляет. Именно полный контроль над системой и стало причиной такого выбора. У меня даже купленная лицензия Windows 8.1, это была последняя Windows где оставался нормальный контроль обновлений.

хорошее сравнение, всё так и есть, в доступе отказать

Однако, у меня сложилось впечатление что всем как бы норм

У меня уже давно ощущение, что всякая полнейшая дичь стала многим «норм». И это не только про агентов.

Или все кто пользуются, пользуются в строго контролируемой песочнице?

Агащасблин.

Ну вот как-то так это и видится: люди понимают что это атас, но все равно делают, придумывая себе оправдание

Ну вот люди понимают, что получать рекламу того, о чём с любовницей шептался - это атас, но всем всё пофиг. Просто теперь мы на следующем шаге к «Чёрному Зеркалу».

Но атас заключается в чём? Да, ИИшка - это сложный, но всё же рандом

Она-же в облаке. Всё, что она прочитает - неизбежно оказывается на серверах.

Вот пишешь ты код, к примеру. Просишь перефакторить. Она прочитает кучу файлов и отправит к себе. Таким образом постепенно вообще всё, что было твоим будет у неё.

это как отдать рутовый ssh

Почему рутовый то? Просто ssh, хотя, конечно, ИИ может накачать и начать поиск локальный дыр.

всем как бы норм

Ну, а чем это принципиально отличается от домашних систем видеонаблюдения, где с камер картинка идёт на сервер в Китае? И можно, наверное, ещё кучу примеров, где пользователь сам отдаёт свои данные добрым корпорациям...

А у вас машина есть? Вы отключили в ней всех помощников?

// наброс моде

Таким образом постепенно вообще всё, что было твоим будет у неё.

… и ты еще за это заплатишь сверху ))

Страшилки страшилки )))

А как жи еула, зеро ретеншн и прочие заклинания? Не работают?

всем как бы норм, даже здесь

Нет

это безумие

Да

Ты просто не пробовал. Глупый, мы же добра тебе хотим. Иди сюда, один простой кусь, и больше тебя не будут беспокоить проблемы.

(Pluribus в реале…)

А как жи еула, зеро ретеншн и прочие заклинания? Не работают?

А как ты собираешся что-то доказывать? А за счёт чего модели совершенствуются?

PS: Кстати, где-то слышал, что у кого-то генератор выдал код с прошлого места работы.

«токены из нас тянуть» -Вот это 100%, в этот момент надо на него матом ругнутся, сразу пишет- пользователь не доволен и все начинает лететь))

ну как с одной стороны «да», но с другой любая программа может делать +- что захочет в том числе и запускать команды. Так что ИИ программа ни чем не отличается от кучи других программ. Вернее отличается только названием и имиджем. И если в условном linux ещё что-то там сообществом может хоть как-то проверяться, то в вынь и мак и говорить странно, там 100500 программ, которые делают что хотят. А уж если вспомнить про смарты, то сие беспокойство вызывает лишь улыбку. Пользователи уже привыкли, что они не хозяины своих девайсов, а «программисты и прочие админы» отличаются от домохозяйк только самомнением и ни чем другим. Так что всем всё норм.

Так что ИИ программа ни чем не отличается от кучи других программ.

«ИИ-программа» отличается тем, что:

• Работает по вероятностному механизму, а не детерминированному.
• Нет никакого кода, который было бы возможно проверить, чтобы убедиться в том, что мы понимаем, какие входные данные ведут к каким результатам.
• В ИИ-агентах используются сервера корпораций для вычислений. Это не локальная программа, а удалённый хост, который управляет твоим хостом.

планирую допустить. хочу чтоб он мне драйвера написал на ноутбук . например правильно оформить клавиатуру и сохранить сетевые модули. только никому не говори. это будет мое ноухау. любые действия он запрашивает разрешения и можно откатить.