LINUX.ORG.RU

История изменений

Исправление XOXO, (текущая версия) :

Не сравнивали с gpt4?

Не могу сказать, я не юзаю GPT4, по соображениям приватности и поскольку хватает локально запускаемых LLM под мои скромные нужды. Но, очень вероятно что GPT4o будет лучше в любом вопросе по написанию кода.

Я как понимаю ей надо 45 ГБ vram

Нет, модель квантованная, Q4, вес модели 12 GB.

На каком железе запускаете, сколько токен в секунду?

На RTX 4060ti 16GB VRAM и на M3 Pro 18Gb shared memory.

На M3 Pro буквально вчера выкладывал результат для этой сетки.

На RTXе быстрее, но не прямо существенно, разница токенов 10-12 насколько я помню.

Исходная версия XOXO, :

Не сравнивали с gpt4?

Не могу сказать, я не юзаю GPT4, по соображениям приватности и поскольку хватает локально запускаемых LLM под мои скромные нужды. Но, очень вероятно что GPT4o будет лучше в любом вопросе по написанию кода.

Я как понимаю ей надо 45 ГБ vram

Нет, модель квантованная, Q4, вес модели 12 GB.

На каком железе запускаете, сколько токен в секунду?

На RTX 4060ti 16GB VRAM и на M3 Pro 18Gb shared memory.

На M3 Pro буквально сегодня выкладывал результат для этой сетки.

На RTXе быстрее, но не прямо существенно, разница токенов 10-12 насколько я помню.