История изменений
Исправление baaba, (текущая версия) :
7B на RTX 3060 хорошо работает, 40 токенов в секунду. Но нужно всё ещё настроить. На чём они хотят 20B запускать? там будет 0.5 токена в секунду, нет? Хотя тихим бздением наверное можно сделать вредоносный код. Да, но CPU при этом оно должно в 0 выжигать. Пользователь сразу заметит. Вроде не 1 апреля же
Исходная версия baaba, :
7B на RTX 3060 хорошо работает, 40 токенов в секунду. Но нужно всё ещё настроить. На чём они хотят 20B запускать? там будет 0.5 токена в секунду, нет? Хотя тихим бздением наверное можно сделать вредоносный код.