LINUX.ORG.RU

История изменений

Исправление XOXO, (текущая версия) :

Так прокатит? Две 3060

Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC

ollama пишут что пофиксили это и теперь оно будет при двух GPU половинить модель на несколько адаптеров при запуске.

Вот саццес-стори такого сетапа от забугорного скуфа

Исправление XOXO, :

Так прокатит? Две 3060

Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC

ollama пишут что пофиксили это и теперь оно будет при двух GPU половинить модель на несколько адаптеров при запуске.

Исходная версия XOXO, :

Так прокатит? Две 3060

Такое из 30XX серии прокатит только с 3090 и NVLink, с двумя 3060 только разносить на разные машины с llama.cpp & RPC