История изменений
Исправление One, (текущая версия) :
936.2 Гб/с у 3090, 256 Гб/с память у ai 395. При этом пиковая утилизация у выделенной больше.
Берёшь модель весом в 14гб, засовываешь в 3090, 936 / 14 * 70% =46 ожтдаемых токенов в секунду, засовываешь в АМД АИ 256 / 14* 50% = 9 токенов в секунду.
И ты потратил 200 тыс ради этого тормоза вместо 65к на б/у 3090.
Исходная версия One, :
936.2 Гб/с у 3090, 256 Гб/с память у ai 395. При этом пиковая утилизация у выделенной больше.
Берёшь модель весом в 14гб, засовываешь в 3090, 936/1470%=46 ожтдаемых токенов в секунду, засовываешь в АМД АИ 256/1450% = 9 токенов в секунду.
И ты потратил 200 тыс ради этого тормоза вместо 65к на б/у 3090.