История изменений
Исправление
XOXO,
(текущая версия)
:
Так прокатит? Две 3060
Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC
ollama пишут что пофиксили это и теперь оно будет при двух GPU половинить модель на несколько адаптеров при запуске.
Вот саццес-стори такого сетапа от забугорного скуфа
Исправление
XOXO,
:
Так прокатит? Две 3060
Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC
ollama пишут что пофиксили это и теперь оно будет при двух GPU половинить модель на несколько адаптеров при запуске.
Исходная версия
XOXO,
:
Так прокатит? Две 3060
Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC