Организация рабочего места под ИИ

Но не миллионер, не готов выкидывать 1000 баксов от нечего делать

Собери за 1000 баксов ИИ у себя дома. Как раз для начального уровня и хватит, плюс там ограничения по токенам не будет

Какого уровня? Может на эти 1000 баксов я года три смогу китайскую более-менее вменяемую модель мучить, не?

Но нет желания давать доступ к основному хосту.

запускай агента в docker + mount bind

Ну зависит от железа. Если взять новое, то:

Самого начального. 32 Гб DDR4 + бюджетный процессор(например на AM4) + материнка это уже $500. Ещё $450 Nvidia видеокарта на 12 Гб VRAM

Если взять б.у то уже среднего: Память DDR3 + 2 xeon 2011 + материнка 2011 от китайского производителя с поддержкой двух процессоров и четырех каналов памяти.

Не, я с корпорациями бодаться не буду. Через годик лучше возьму по скидке intel arc 256gb карту на lpddr5.

Самого начального. 32 Гб DDR4

У меня на ноуте больше…

Собери за 1000 баксов ИИ у себя дома. Как раз для начального уровня и хватит, плюс там ограничения по токенам не будет

Не хватит категорически.

12 гб vram для агентного кодирования не хватит. Минимум тут нужна модель Qwen3.8-27B с q4 квантованием. А ей подавай 20-24 Гб. Да и то вариант такой себе, модель работает, но туповатая. Но в своём классе, наверное, лучшее.

Причём надо понимать, что ещё и от размера контекста зависит потребление vram, а там уже даже 64кб контекста - несколько Гб требует.

Можно конечно модель просто в RAM гонять, но тогда просто любая генерация займёт десятки минут и часы.

В общем, с нынешними ценами оно все сильно недешевое удовольствие. Увы.

12 гб vram для агентного кодирования не хватит

Поэтому я и упомянул 32 гб памяти. Нужно взять квантированную в gguf модель и загрузить часть на видеокарту, а часть в обычную RAM.

Это да. Но на ноуте охлаждение говно. Если модель полностью грузится в оперативную память, то она выполняется на процессоре. И его надо охлаждать. А на ноуте думаю нагреется до максимума и начнет тротлить

У меня сетап через Dockerfile и devcontainer.json для vscode.

Из особенностей это:

  "mounts": [
    "source=${localWorkspaceFolder}/.codex,target=/home/vscode/.codex,type=bind,consistency=cached"
  ],

Чтобы не входить снова в codex после каждого ребилда контейнера и чтобы можно было спокойно использовать resume.

Но конечно если учесть скорость с какой все происходит, то наверное надо переходить на Qubes OS, но даже это далеко не гарантирует безопасность.

А если в браузер или другому гую доступ дать, могёт это докер? Или токены вижуал выжирает, лучше не пробовать?

Ну я просто ставлю chrome в docker. Именно хромого, потому-что chromium может не найти скиллы и т.д, firefox тоже не весь софт для тестов поддерживает без твиков.

# --- Google Chrome for Cypress/Codex browser tests ---
RUN install -d -m 0755 /etc/apt/keyrings && \
    curl -fsSL https://dl.google.com/linux/linux_signing_key.pub \
      | gpg --dearmor -o /etc/apt/keyrings/google-linux-signing-key.gpg && \
    echo "deb [arch=amd64 signed-by=/etc/apt/keyrings/google-linux-signing-key.gpg] https://dl.google.com/linux/chrome/deb/ stable main" \
      > /etc/apt/sources.list.d/google-chrome.list && \
    apt-get update && \
    DEBIAN_FRONTEND=noninteractive apt-get install -y google-chrome-stable && \
    rm -rf /var/lib/apt/lists/*

xvfb еще нужно ставить

если он боится что оно сломает виртуалку, докер оно и подавно сломает

за картами вам сюда:

• https://web.platipomiru.com/

к сожалению, оно не будет близко даже стоять с 1М токенов какой-нибудь Codex или Claude

Дожили...

Сам в шоке…

Организация рабочего места под ИИ

ИИшенка тут не для твоего рабочего места, а чтоб у тебя не осталось рабочего места.

Я только за. Когда уже останусь без рабочего места и пойду на штурм дата центров с ИИ-ой с такими же бедолагами?

Для плотных моделей это плохо работает.

Для начала попробуй lmstudio какой-нибудь с любой более-менее свежей локальной моделью. Уже от этого будешь плясать: что конкретно тебе не хватает от этого сетапа, насколько это эффективно вообще.

Хочу дать доступ ИИ к ОС для различной автоматизации

Ха-ха, ну удачи. Потом расскажешь как оно тебе всё сломало. (%

Я кстати по название темы подумал, что там будет вопрос какой микрофон выбрать чтобы нашептывать и битбоксить, как поставить три монитора и запустить там 100500 агентов в кучке терминалов сплитованных, лол

Почему нет? Пусть для начала видео с ютуба скачивает и переводит, если гугл не могёт.

Гугл могет, там есть как автоматические сабы, так и ИИ озвучка для крупных каналов, если человек ее оставил активированной. Так и что-то такое.

Это работает без ошибок. Просто из-за того что частота оперативно памяти меньше чем в видеокарте, то это работает медленней.

Работать, то работает, но оооооочень медленно. Как только плотная модель перестаёт помещаться в VRAM происходит катастрофическое падение производительности.

но оооооочень медленно

Нет. Очень медленно оно когда модель полностью только в оперативной памяти, без видеокарты. А таа просто чуть медленней

Не чуть. Раз в 10 медленнее.

В 3 раз. А чисто в оперативке у меня было в 12 раз медленней, насколько помню

ТС вайбкодить же хочет. Тут с толстенными токенопожиралками которые в цодах крутятся сложно сразу вменяемого результата добится, а с такой балалайкой проще самому кодить.

сложно сразу вменяемого результата добится

Да ну? Я помню хелловорлд мне сразу локальная нейронка сгенерила. То есть с простыми вещами норм работает. Кажется с локальными модельками нужно просто разбить предпологаемую структуру программы до уровня хелловорлдов, скормить ИИ, проверить результат и если все правильно , то затем собирать из этого саму программу. Как конструктор

Ну вот если ты это всё сделал то уже выполнил 99% работы и написать хелловорлд можешь сам.

Так в этом же и суть. Нейронка не может думать. Что получить нормальный результат, а не говно нужно поработать. Как говорится, правильно поставленный вопрос содержит в себе половину ответа

ИИ нужен что бы подрывать пуканы луддитам с лора. Он с этим справляется даже лучше чем rust, wayland и кои8р.

Так зачем мне нейронка тогда если профита нет?

А с чего ты взял что тебе оно пльзу принесет? Нейронку же используют менеджеры чтобы показать инвесторам, что они используют ИИ, чтобы деньги текли в их компанию

Так опять же ТС хочет вайбкодить а не менеджерам чего-то там показывать.

Аккуратнее с такими темами, могут забанить. В ветке про SDD, скромно обозначил, что без ИИ сейчас кодят только горстка луддитов, дык один из их секты влепил мне 4.2. Прикинь?

Как это нет? Это декларативное программирование на любом языке. Писать код руками нинужно.

Не все, у кого то на ИИ не хватает денег. Предлагаю ввести для таких термин – бомжекодер.

Смотря что и как кодить. В моём случае это скорее задачи, чтобы быстро собрать код под определенное АПИ. Чтобы по документации не лазить. Это у ИИ просто здорово получается. Но затем всё перепроверить и порефакторить. А вот вайбкодить это уж если совсем что-то бесполезное делать, за что не стыдно будет.

Ставишь opencode, настраиваешь там в правах:

{
  "permission": {
    "*": "ask",
    "bash": {
      "*": "ask",
      "grep *": "allow",
      "rg *": "allow",
      "find *": "allow",
      ...
    },
    "read": "allow",
    "glob *": "allow",
    ...

Можешь запускать его в firejail если очень хочется. Виртуалка зачем?

Не ломанёт она мой хостовый линух через китайских или американских братушек? Не дефейснит сайт ФСБ в поддержку украинских братушек от моего имени?

Нет, если ты будешь хотя бы краем глаза проверять что она делает. Если ты полностью запустишь её в виртуалке без какого-то контроля, то смирись с тем что она будет делать что хочет. Да, в 99.99% случаев это будет то что ты её попросил сделать, вопрос насколько интересным будет 0.01% :) Она может например сжать контекст и выкинуть важные инструкции, или наоборот скачать себе левые инструкции из интернета.

Как оплачивать из РФ

Картой которую принимают в том сервисе который ты оплачиваешь

Учти, в гипервизорах регулярно дыры для побега из виртуалок находятся. Запускай на бесплатном левом хостинге. А лучше вообще не запускай.

А вот вайбкодить это уж если совсем что-то бесполезное делать, за что не стыдно будет.

Устаревшая концепция. Сейчас стыдно скорее за результат полученный в рукопашную. ИИ на текущем этапе развития уже всегда лучше человека в программировании. Это не отрицает того факта, что пока ещё нужно знать теорию алгоритмов, структуры данных и разбираться в целевом языке, но и это временно.

Тут в треде начали обсуждать запуск агентов в контейнерах и виртуалках, но никто не упомянул docker sbx. Изкоробочное решение в котором модель сидит в своей микровм. Плюсы: совместимость синтаксиса с docker cli, поставка из коробки большинства популярных harness, настроенный mcp шлюз. Минусы: проприетарщина.

Так мне тут только что описали что надо сначала разбить работу на маленькие кусочки а потом объяснить нейронке каждый из них и потом она их сделает.

Так это ж максимум работы самому сделать а на тот кусочек что остался нейронки уже и не нужно.

Кажется, вы обсуждаете размер контекста. А вот тут начинается веселье.

Да какой размер, добиться от платных подписных специализировнных моделей нормального кода с первого раза нереально. Приходится долбить её в том числе примерами. Что напилит наколенная нейронка представить страшно.

Ломанёт. Дефейснит. Обязательно.