История изменений
Исправление saahriktu, (текущая версия) :
Какая модель самая маленькая, сколько надо остальным?
Да они самые разные есть, но самые маленькие ни для чего более-менее серьёзного не подойдут.
Для запуска на CPU нужно по-нормальному не менее 8 Гб RAM (желательно всё-таки 16 Гб чтобы куда-то поместилось и остальное). Этого хватит для большинства 7b/8b Q6_K моделей. Более тяжёлые модели на CPU будут люто тормозить.
Исправление saahriktu, :
Какая модель самая маленькая, сколько надо остальным?
Да они самые разные есть, но самые маленькие ни для чего более-менее серьёзного не подойдут.
Для запуска на CPU нужно по-нормальному не менее 8 Гб RAM (желательно всё-таки 16 Гб). Этого хватит для большинства 7b/8b Q6_K моделей. Более тяжёлые модели на CPU будут люто тормозить.
Исходная версия saahriktu, :
Какая модель самая маленькая, сколько надо остальным?
Да они самые разные есть, но самые маленькие ни для чего более-менее серьёзного не подойдут.
Для запуска на CPU нужно по-нормальному не менее 8 Гб RAM. Этого хватит для большинства 7b/8b Q6_K моделей. Более тяжёлые модели на CPU будут люто тормозить.