LINUX.ORG.RU

на каком кванте у вас не тупит?

 ,


0

2

понятное дело, что однобитный бонсай - это чисто поржать. я раньше вообще думал что ниже шести полное дно. тут попробовал тот самый квен 3.6 на 3 битах. задал написать форчан. дал субагентов, плеврит, а интернет не дал. и оно почти справилось. первый прогон - форчан есть, запускается, работает, видны баги. два следующих прогона - два багфикса, быстро, решительно. и педалит вдвое быстрее шестибитной версии. держу в курсе

Ответ на: комментарий от LongLiveUbuntu

Ещё раз, у меня есть хата на окраине с бабушкиным ремонтом на 40 квадратов. Что из хорошей мебели мне туда прикупить, чтобы и телевизор влез диагональю пару метров и ванна с джакузи была и на кухню стол на 30 персон?

fixed.

lonelywoolf
()
Последнее исправление: lonelywoolf (всего исправлений: 1)
Ответ на: комментарий от sabacs

Не уверен - вопрос насколько его ужмут и обрежут. Qwen3.8 тоже тяжелый но в том варианте который я гоняю обрезаны нахрен возможности анимировать пляшущих котиков и прочее говно которым занимается львиная доля нейросетей и оствлено только то что нужно дла версии Coder. И квант опять же помельче. Полагаю что подобное сделают и с Qwen4 и с Kimi3.1 ну понятно спустя некоторое время. Эти модели вот вот только вышли в доступ, пока еще нет юзабельных gguf для локального железа.

Qui-Gon ★★★★★
()
Ответ на: комментарий от Qui-Gon

Я про обсуждаемую конфигурацию. Для неё qwen3.8-27B и qwen3.8-flesh-next уже слишком тяжёлые, не думаю что 4-й квен будет легче.

sabacs ★
()
Ответ на: комментарий от LongLiveUbuntu

Что из относительно нового туда влезет, будет хорошо кодировать и не думать по дню?

Ничего, забей. 48-64Гб видео или гибридной памяти это самый минимум чтобы крутить что-то вменяемое. Меньше – только если побаловаться и освоить сам тулчейн.

no-such-file ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Qwen3.8-Flash-Next-GSQ-RCO-Coder-320-PLE8-IQ3_S

Лучшее из того что пробовал.Реально работает и практически не падает. Пытался аналогичную почти по весу GLM5.3 дернуть - по всем обзорам должна кодить лучше и вообще, но она скотинособака у меня всевремя крашится раньше чем выдаст хоть какой-то результат. А квен крутит вертит жужжит но как правило делает. Либо не делает - тогда приходится выворачивать промпт по другому. Либо дописывать ручками.

Qui-Gon ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Ещё раз, у меня 12 Гб видеопамяти + 32 Гб обычной. Что из относительно нового туда влезет, будет хорошо кодировать

Ничего. Ну влезет какое-нибудь 27B и оно будет кодить но знаний у него будет ноль. То есть если на своей 48+32Гб модели я могу задать промпт а конвертни ка мне этот код с OpenGl на Vulkan или с богомерзкого gtk4 на православный gtk3 и уйти спать то модели на 27B придется рассказать что такое vulkan. Ну или gtk.

Qui-Gon ★★★★★
()
Ответ на: комментарий от sabacs

модели на 27B придется рассказать что такое vulkan

Это не проблема

фигасе. это где ж такой волшебный МЦП-сервак со всеми технологиями на свете?

Laferadze
() автор топика
Ответ на: комментарий от Qui-Gon

Ну, что касается знаний, то я ему дофига правил написал, прям обложил, плюс MCP для документации присобачил, чтобы тянул актуальную, плюс это Go, а не C - всяко получше в плане строгости кода. А ума сообразить чего я хочу ему вроде хватает. Вот Qwen3 тупил безбожно, да. Тут прям чувствуется прогресс.

LongLiveUbuntu ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Ей надо 40гб видеопамяти, а остальное она подтягивает по мере. Видеопамяти не прям видеопамяти а видеопамяти + shared. У меня ноут с АМД встройкой и сооьвественно я свою память перекидываю между видеопамятью и проуессорной в биосе.

Вчера доехал с авито 48 гиг модуль так что у меня 96, 48 отдано видюхе , а 48 - shared из которых видюха может забрать половину, то есть с точки зрения llama у меня видюха на 72 гигабайта. Она конечно всратая по скорости если сравнивать с нвидией, но если посмотреть на цену нвидии с 72 гигами то хочется обнять и плакать.

То есть для бюджетного локального ИИ лучшее что есть - это амд стрикс 395. Потому как там можно 128гиг рам - а это 64 выделенной +32 шаред итого для лламы это 96 гб видеопамяти + 32 процессорной. Ну это если заморачиваться - цена такого ящика или ноута кусается, но всеравно ниже чем цена нвидии с 48 даже гигами не говоря про 96.

Qui-Gon ★★★★★
()
Ответ на: комментарий от LongLiveUbuntu

Ну у меня промпты были как в гарлеме - хей бро, у меня тут под вулканом менюшка артефачит вот те код разберись. И разобралась же чертова железяка - ну правда не с первой итерации, но в итоге все работает как надо. Промпты были не помогло, откати взад и думай дальше. Так что Qwen3.8 вполне сообразительный индус.

Qui-Gon ★★★★★
()
Ответ на: комментарий от Qui-Gon

у тебя я так понимаю, эта модель вообще никогда-никогда ошибок не делает? ну, потому что как и зачем иначе его на ночь оставлять, открываешь с утра - а там обосрамс

Laferadze
() автор топика
Ответ на: комментарий от LongLiveUbuntu

Ясно. Гляну как разбогатею. Если разбогатею.

Ну общая проблема - я себе на авито побирался с миру по нитке но всеравно не дешево. И с ебеем сверял - сейчас везде беда не только в РФ. Тот же фреймворк базовый брал себе на урезанном проце - а на StrixHalo он уже в полтора раза дороже, и память собирал по авито бу, ловил когда кто-нибудь выставит приемлемо.

но опять же у меня не 395+ а 350 что в 4 раза(по тестам - по факту больше ибо ноутбук) медленнее. Но есть возможность запустить пусть и не быстро приличную модель.

Но по факту да - пока идет топ истерии вокруг ИИ железо стоит дорого, и ничего с этим не поделаешь - но одно факт. Если что-то стоит дорого и сулит прибыли - туда кидаются производители. Маховик производства медленный, раскручивается долго но и останавливается долго - а значит китайцы скоро наклепают памяти столько что ее не прожует все ИИ сообщество и цены полетят внизззз.

Qui-Gon ★★★★★
()
Ответ на: комментарий от Laferadze

ну обосрамс. А мы ее тапком по наглой рыжей морде - не сработало-с, думай по другому завтра проверю.

Это ж хоббийный проект - мы не торопимся.

Qui-Gon ★★★★★
()
Последнее исправление: Qui-Gon (всего исправлений: 1)
Ответ на: комментарий от sabacs

ага. говоришь ему прям в системном сообщении - хрень вроде поиска по документации, проверки окружения делегируй субагенту. пофигу - шпарим в основном потоке

Laferadze
() автор топика
Ответ на: комментарий от Qui-Gon

Если речь о qwen3.8-27B то это плотная. Если меньше 24Гб VRAM (а лучше 32) очень медленно и печально. :(

sabacs ★
()
Ответ на: комментарий от sabacs

а при чём тут это? делегировать как раз и надо, чтобы контекст не засирался. тулза есть, инструкция есть, а этот попугай всё равно каждый н-раз сам в документацию лезет

Laferadze
() автор топика
Ответ на: комментарий от Qui-Gon

Потому как там можно 128гиг рам - а это 64 выделенной +32 шаред итого для лламы это 96 гб видеопамяти + 32 процессорной.

Там можно лучше: выделяешь в биосе под видяху 0.5Гб, остальное в линуксе под GTT. Тогда у тебя может быть 120Гб с лишним видеопамяти, и остатки под RAM.

Beewek ★★★★
()
Последнее исправление: Beewek (всего исправлений: 1)
Ответ на: комментарий от Beewek

Не даст, я пробовал. Под GTT отдается половина РАМ не более. Под видеопамять тоже. То есть если ты 0.5 отдал под видео - то GTT тебе будет 64 и будет 64.5. А если ты отдал 64 под видео (больше не даст собака сутулая) - то из оставшихся 64 32 будут GTT и получишь 96…

И опыт сын ошибок трудных (с) сами знаете.

Qui-Gon ★★★★★
()
Ответ на: комментарий от Qui-Gon

Я тоже пробовал. Точнее, это я тебе описал, как у меня сейчас сделано. Добавил в /etc/default/grub параметр ttm.pages_limit=33423360 - вижу в dmesg строчку 122880M of GTT memory ready.

Beewek ★★★★
()
Последнее исправление: Beewek (всего исправлений: 2)
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария