История изменений
Исправление
XOXO,
(текущая версия)
:
Не сравнивали с gpt4?
Не могу сказать, я не юзаю GPT4, по соображениям приватности и поскольку хватает локально запускаемых LLM под мои скромные нужды. Но, очень вероятно что GPT4o будет лучше в любом вопросе по написанию кода.
Я как понимаю ей надо 45 ГБ vram
Нет, модель квантованная, Q4, вес модели 12 GB.
На каком железе запускаете, сколько токен в секунду?
На RTX 4060ti 16GB VRAM и на M3 Pro 18Gb shared memory.
На M3 Pro буквально вчера выкладывал результат для этой сетки.
На RTXе быстрее, но не прямо существенно, разница токенов 10-12 насколько я помню.
Исходная версия
XOXO,
:
Не сравнивали с gpt4?
Не могу сказать, я не юзаю GPT4, по соображениям приватности и поскольку хватает локально запускаемых LLM под мои скромные нужды. Но, очень вероятно что GPT4o будет лучше в любом вопросе по написанию кода.
Я как понимаю ей надо 45 ГБ vram
Нет, модель квантованная, Q4, вес модели 12 GB.
На каком железе запускаете, сколько токен в секунду?
На RTX 4060ti 16GB VRAM и на M3 Pro 18Gb shared memory.
На M3 Pro буквально сегодня выкладывал результат для этой сетки.
На RTXе быстрее, но не прямо существенно, разница токенов 10-12 насколько я помню.