История изменений
Исправление baaba, (текущая версия) :
В общем она выдаёт 5-6 токенов. Грузит CPU на 80% все потоки и GPU на 74%. Упирается в контекст 4096 токенов. Кушает PDF (текстовый думаю только) но не изображения (что предсказуемо). При этом она выдаёт рассуждения и это сжирает драгоценные токены. Может если немного её отконфигурировать - можно будет увеличить глубину контекста. Пока ей не хватило глубины контекста что бы проанализировать анализы Инвитро. Но то что она выдала (а я знаю последующее развитие заболевания) весьма достойно и хорошо читаемо - модель дала понятную таблицу и там была отсылка к артриту, что в последствии от части подтвердилось но там было другое, похожее заболевание. Анемию она то же указала. То есть на медданных она натаскана. Задачу с плоскостью она решила, но тут ничего нового, это могут и более лёгкие модели (gemma и только gemma у меня) а задачу с колонной - не смогла к сожалению.
«Расчитай максимальную нагрузку, на деревянную стойку (колонну), с сечением 10 на 10 см, высотой 3 метра» - вот такая задачка.
Дома попробую увеличить ей контекст и подсунуть конфиги в JSON.
Исходная версия baaba, :
В общем она выдаёт 5-6 токенов. Грузит CPU на 80% все потоки и GPU на 74%. Упирается в контекст 4096 токенов. Кушает PDF (текстовый думаю только) но не изображения (что предсказуемо). При этом она выдаёт рассуждения и это сжирает драгоценные токены. Может если немного её отконфигурировать - можно будет увеличить глубину контекста. Пока ей не хватило глубины контекста что бы проанализировать анализы Инвитро. Но то что она выдала (а я знаю последующее развитие заболевания) весьма достойно и хорошо читаемо. Задачу с плоскостью она решила, но тут ничего нового а задачу с колонной - не смогла к сожалению.
«Расчитай максимальную нагрузку, на деревянную стойку (колонну), с сечением 10 на 10 см, высотой 3 метра» - вот такая задачка.
Дома попробую увеличить ей контекст и подсунуть конфиги в JSON.