История изменений
Исправление DarkAmateur, (текущая версия) :
Видеокарта у меня AMD Radeon RX 6400 с 4 Гб RAM
В llama.cpp есть гибридный режим: часть слоёв едет в GPU, остальное в RAM. В особо печальных случаях, остатки лежат на диске.
Исходная версия DarkAmateur, :
Видеокарта у меня AMD Radeon RX 6400 с 4 Гб RAM
В llama.cpp есть гибридный режим: часть слоёв едет в GPU, остальное в RAM.