История изменений
Исправление DarkAmateur, (текущая версия) :
Исправление DarkAmateur, :
Но, на картах AMD, вероятно, не получится гонять нейросетки (если вдруг).
Получится, просто не факт, что в оригинальные. llama.cpp умеет в ROCm. Жуёт GGUF'ы. Самые ходовые модели можно глянуть тут. При тотальной неудаче, остается Vulkan API.
Исправление DarkAmateur, :
Но, на картах AMD, вероятно, не получится гонять нейросетки (если вдруг).
Получится, просто не факт, что в оригинальные. llama.cpp умеет в ROCm. Жуёт GGUF'ы. Самые ходовые модели можно глянуть тут.
Исходная версия DarkAmateur, :
Но, на картах AMD, вероятно, не получится гонять нейросетки (если вдруг).
Получится. llama.cpp умеет в ROCm.