История изменений
Исправление DarkAmateur, (текущая версия) :
Я использую llama.cpp, а конкретно сборку с суффиксом hip-x64-gfx1101, т.к. это для моей Radeon RX 7800XT. Ещё на борту 128 Gb RAM DDR5. С некоторыми ухищрениями более-менее сносно работает DeepSeek v2.5 (IQ4_XS, 114Гб) в режиме диалога. Всё, что ещё жирнее, запускается, но работает уже неприлично медленно.
Исправление DarkAmateur, :
Я использую llama.cpp, а конкретно сборку с суффиксом hip-x64-gfx1101, т.к. это для моей Radeon RX 7800XT. Ещё на борту 128 Gb RAM DDR5. С некоторыми ухищрениями более-менее сносно работает DeepSeek v2.5 (IQ4_XS, 114Гб) в режиме диалога. Всё что ещё жирнее запускается, но работает уже неприлично медленно.
Исходная версия DarkAmateur, :
Я использую llama.cpp, а конкретно сборку с суффиксом hip-x64-gfx1101, т.к. это для моей Radeon RX 7800XT. Ещё на борту 128 Gb RAM DDR5. С некоторыми ухищрениями более менее сносно работает DeepSeek v2.5 (IQ4_XS, 114Гб) в режиме диалога. Всё что ещё жирнее запускается, но работает уже неприлично медленно.