История изменений
Исправление baaba, (текущая версия) :
Вот тут вроде качает:
https://huggingface.co/ai-sage/GigaChat3-10B-A1.8B-GGUF/blob/main/GigaChat3-10B-A1.8B-q6_k.gguf
Странно что q4_k_m квантовки нет. Она жирновата конечно. Какая у тебя карта? У меня RTX 3060 12 GB
Интересно, какой корпус данных они использовали, какие предварительные веса и сколько времени обучали, на каком железе
https://habr.com/ru/companies/sberdevices/articles/968904/ В статье всё время говорят о планке Qwen3-4B, но это мало для 10B MoE. Qwen тупо будет проще и быстрее. Но посмотрим.
Исправление baaba, :
Вот тут вроде качает:
https://huggingface.co/ai-sage/GigaChat3-10B-A1.8B-GGUF/blob/main/GigaChat3-10B-A1.8B-q6_k.gguf
Странно что q4_k_m квантовки нет. Она жирновата конечно. Какая у тебя карта? У меня RTX 3060 12 GB
Интересно, какой корпус данных они использовали, какие предварительные веса и сколько времени обучали, на каком железе
Исходная версия baaba, :
Вот тут вроде качает:
https://huggingface.co/ai-sage/GigaChat3-10B-A1.8B-GGUF/blob/main/GigaChat3-10B-A1.8B-q6_k.gguf
Странно что q4_k_m квантовки нет. Она жирновата конечно. Какая у тебя карта? У меня RTX 3060 12 GB