LINUX.ORG.RU

ComfyUI и docker. Как организовать обмен данными? (общая папка)

 , ,


0

2

Всех с наступающим!

Скорее всего всё просто, но я чувствую себя слепым котёнком ) Установил docker запулил ему образ (мою видеокарту cuda pytorch не поддерживают) Образ крутится. ComfyUI работает, torch не ругается, но внутри не оказалось вообще никакой модели для теста. В документации https://github.com/ai-dock/base-image/wiki/3.0-Storage-Volumes и в настройках самого образа https://github.com/ai-dock/base-image/blob/main/docker-compose.yaml говорится о какой-то папке workspace. На хосте после запуска docker’a ничего такого не появляется. Нужно как-то монтировать. НО! Я не могу понять, как это сделать. Где мне создать папку workspace? У ConfyUI своя структура каталогов, которые оно смотрит. Они сделали ссылку на workspace?

Ощем, поможитя люди добрыя!!!


Ты поднимал ComfyUI по какому-то левому мануалу, так почему бы тебе не обратиться к его авторам?

Какой смысл вообще поднимать ComfyUI в Docker, если вполне достаточно обойтись отдельным venv? Ты создал себе сложность и теперь героически пытаешься решить вызванные этим проблемы.

но внутри не оказалось вообще никакой модели для теста

Во-первых нормальная модель весит от 6G, во-вторых их уже миллионы, какую из них класть? А к некоторым ещё куча LoRA для вытягивания качества/стиля нужны, которые тоже порой весят немало. А если их мержить в модель, то моделей ещё на пару порядков больше станет. И конечно же божественное обновление Docker-контейнеров на пару десятков гигабайт, когда фактически нужно обновить всего 20-30 мегабайт!

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Хммм… Спасибо, я думал об этом, но … Попытаюсь объяснить: Карта 970 GTX. Лишилась поддержки со стороны cuda (с какой версии точно нагуглить неудалось). Ладно, читал, что куду аж в нескольких версиях параллельно можно ставить. НО! pytorch тогда нужен определённой версии (тоже пониженной), тогда нужен и питон пониженной версии. Как это всё разрулить я пока не знаю (мал и глуп). Поэтому и подумал, что с образом будет легче (там сразу же всё стоит, как нужно). Проблема только с тем, чтобы подкинуть модель.


Модели очень разные бывают и для разных задач. Тот же Z-image-turbo квантизованный от 4 Гб, есть и ещё меньше ) Да, качество страдает.

Пока пробовал только на CPU (всё окружение свежее): https://iimg.su/i/TXo1Zc

Хотел проверить прирост в скорости от ГПУ. Если будет 2-3 раза, то …

pRoTo
() автор топика
Ответ на: комментарий от pRoTo

Хммм… Спасибо, я думал об этом, но … Попытаюсь объяснить: Карта 970 GTX. Лишилась поддержки со стороны cuda (с какой версии точно нагуглить неудалось). Ладно, читал, что куду аж в нескольких версиях параллельно можно ставить. НО! pytorch тогда нужен определённой версии (тоже пониженной), тогда нужен и питон пониженной версии. Как это всё разрулить я пока не знаю (мал и глуп). Поэтому и подумал, что с образом будет легче (там сразу же всё стоит, как нужно).

Просто отключить опрос GPU перед запуском, для этого какая-то переменная есть (искать в официальной документации, то ли к ComfyUI, то ли к transformers, то ли к pytorch).

Ну и флаг --disable-xformers при запуске ComfyUI.

Проблема только с тем, чтобы подкинуть модель.

Как это сделать в ComfyUI тебе много кто подскажет. Как сделать то же самое с велосипедом вокруг ComfyUI — подскажет только автор этого велосипеда.

Тот же Z-image-turbo квантизованный

А у всех ли оно запустится "для теста"? Или человек попробует этот велосипед, у него оно не запустится и он бросит. Потому каждый для себя модели должен выбирать сам. Даже для тестов.


В общем, конкретно в ComfyUI всё делается либо через конфиг extra_model_paths.yaml и/или через флаг --base-directory (и другие).

mord0d ★★★★★
()
Ответ на: комментарий от pRoTo

Последний ComfyUI сможет работать с пониженной версией pytorch и python?

Смотри в requirements.txt.

Короче, я боюсь поломать систему

В докере-то? Ну, переразвернёшь.
А если напрямую — просто делай бэкапы venv почаще, и не обновляй бездумно.

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Дык я два дня бегаю с ИИ (раньше думал, что без карты за домик в деревне вообще нечего ловить!) И 3 месяца в Линуксе! Спасибо nvidia и другим, которые дают пошаговые инструкции. Но много и тех, кто думает, что 100500 команд с 100500 флагами все и так знают )))

pRoTo
() автор топика
Ответ на: комментарий от pRoTo

пошаговые инструкции

Которые в 1 из 20 случаев просто не будут работать в виду особенной комбинации оборудования и/или драйверов.

Но много и тех, кто думает, что 100500 команд с 100500 флагами все и так знают

Всего знать в принципе невозможно. А прочитать официальную документацию — не такая уж сложная задача. Да, требует времени, зато добавит понимания. И когда у тебя что-то сломается, ты уже будешь хотя бы примерно представлять в какую сторону копать, а не так же вслепую тыкаться, потому что пошаговых инструкций как починить — не существует. (=

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

Просто, чтобы мну было можно понять: Я хочу просто потрогать ИИ и понять, что оно может! Читать для этого доки на cuda, её совместимость с драйверами. Затем на Comfy и её совместимость с pytorch, затем совместимость последнего с python. Затем, как отделять окружение, что и куда прописывать и т.д. Блин, Гейц гений! Он дал людям Кнопку животворящую! (да, там тоже бывает, что хрен дрова поставить или что-то не работает, но пару раз за 30 лет такое словил, а не каждый раз)

Всё, ещё раз спасибо (ухожу на дно) Пойду генерировать мужика в салате на КПУ

pRoTo
() автор топика
Ответ на: комментарий от pRoTo

Я хочу просто потрогать ИИ и понять, что оно может!

Всё то же, что и платные/закрытые платформы (ChatGPT, Midjourney, DALL·E, Qwen, DeepSeek… тысячи их!), только с меньшим количеством улучшений скрытых под капотом (но и подобное этому можно прикрутить себе локально). Магии не существует. (=

Пойду генерировать мужика в салате на КПУ

У нас на сервере нет никакой видеокарты, генерируем на CPU уже больше года, брат жив. (=

mord0d ★★★★★
()
Ответ на: комментарий от pRoTo

https://iimg.su/i/s0WMZ1 Праздник к нам приходит (чуть проблемы с губами, но без Лора) Китайцы похоже не знаю этой фразы (в салат). Нужна Лора (салатная)

Если кому-то кажется, что 20 мин это долго, то вам это только кажется!

Раньше (да и сейчас) за это время кусочек рендера можно было глянуть и потом оставить на 4-24 часа просчитываться

pRoTo
() автор топика
Ответ на: комментарий от mord0d

Ну… в том то и дело, что хотелось убрать цензуру (не из-за сисек, а было несколько случаев, что безобидные запросы блочат)

  • возможность пробовать что-то новое и т.д.

Без видео - круто, но все тесты показывают от 10 до 100 раз. Фикция? Вот и хотел глянуть, ибо 2-3 раза ускорение - это ни о чём

pRoTo
() автор топика