LINUX.ORG.RU

Поделитесь рецептами для запуска AI в огороженном окружении

 , , , ,


0

1

Привет

Задача: экспериментировать AI-based системами вроде OpenClaw.

Требования: 1) Иметь полный конроль того, к чему эта система имеет доступ 2) Иметь возможность быстро такие песочницы разворачивать и удалять.

Пока склоняюсь в сторону виртуальных машин. Получается нужен дистр, который с одной стороны будет легковесным (точнее, без излишеств), чтобы много копий не занимало много ресурсов, а с другой стороны который будет иметь всё необходимое для запуска LLM. GUI нужно, но что-то минималистическое, только чтобы браузер запустить, и графический remote access организовать.

Имел дело с VirtualBox. GPU на практике пробрасывать не довелось, но догадываюсь, что есть подводные камни если GPU нужно пользоваться более чем одной VM.

Какой дистр выбрать? Подойдет ли VirtualBox? Какие подводные камни чтобы завести ускорение?

Если есть способы получше, тоже буду признателен.

★★★★★

Какой дистр выбрать?

Альпин с паролем больше 128 символов.

anonymous
()

Многие для этого юзают просто контейнеры.

anonymous
()

как выше писали пробуй контейнеры(docker из популярного) или bubblewrap

Samamy ★★★
()

создай усера, назови его lobster. всё равно комманды от рута агент выполнять не будет

Laferadze
()

склоняюсь в сторону виртуальных машин. Получается нужен дистр

Контейнеры же. Дистр не нужен.

Saakx ★
()

Я считаю, что ты собираешься огораживать не то не от того.

Сначала добейся скорости. Потом выяснится, что в облаках она быстрее. И надо будет настроить модели так, чтобы в облака они отдавали только всё нестрашное, но как можно больше.

Вот где настоящий челлендж по разграничиванию.

Saakx ★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария