История изменений
Исправление saahriktu, (текущая версия) :
Не знаю кто пишет все эти новости. Попробовал погуглить реальные модели. Нашёл Higgs-Llama-3-70B-GGUF.
IQ1_M - 16,8 Гб, Q5_K_M - 50 Гб. Про Q8 и f16 и говорить страшно, там целые наборы таких файлов.
Ладно, скачал IQ1_M вариант. Видеокарта у меня AMD Radeon RX 6400 с 4 Гб RAM. Такое туда не влезет. Ладно, пробуем запустить на CPU. Хорошо хоть в системнике оперативки больше чем 16,8 Гб. Запускаем, запускаем,... и оно очень страшно тормозит на AMD Ryzen 9 3900X. Настолько страшно, что даже не дождаться когда оно заработает.
В общем, либо потом появятся какие-то новые модели, либо новость врёт про смартфоны и ноутбуки.
Исходная версия saahriktu, :
Не знаю кто пишет все эти новости. Попробовал погуглить реальные модели. Нашёл Higgs-Llama-3-70B-GGUF.
IQ1_M - 16,8 Гб, Q5_K_M - 50 Гб. Про Q8 и f16 и говорить страшно, там целые наборы таких файлов.
Ладно, скачал IQ1_M вариант. Видеокарта у меня AMD Radeon RX 6400 с 4 Гб RAM. Такое туда не влезет. Ладно, пробуем запустить на CPU. Хорошо хоть в системнике оперативке больше чем 16,8 Гб. Запускаем, запускаем,... и оно очень страшно тормозит на AMD Ryzen 9 3900X. Настолько страшно, что даже не дождаться когда оно заработает.
В общем, либо потом появятся какие-то новые модели, либо новость врёт про смартфоны и ноутбуки.