LINUX.ORG.RU

История изменений

Исправление baaba, (текущая версия) :

One

Что то я не разобрался как получить API key. Там кнопочка есть.

Пока настроил агента вот так:

interpreter -y -m openai/gemma –api_base http://127.0.0.1:8080/v1 –api_key not-needed

Вместе с:

./llama-server.exe -m ../model/google_gemma-3-4b-it-Q4_K_M.gguf –context-shift –threads 16 –gpu-layers 999

Но мне что то не очень нравится.

Хотелось бы попробовать серьёзную модель. Кто-нибудь такое пробовал?

Может быть с Qwen возможно?

Исходная версия baaba, :

One

Что то я не разобрался как получить API key. Там кнопочка есть.

Пока настроил агента вот так:

interpreter -y -m openai/gemma –api_base http://127.0.0.1:8080/v1 –api_key not-needed

Вместе с:

./llama-server.exe -m ../model/google_gemma-3-4b-it-Q4_K_M.gguf –context-shift –threads 16 –gpu-layers 999

Но мне что то не очень нравится.

Хотелось бы попробовать серьёзную модель. Кто-нибудь такое пробовал?