аналог chatgpt на зюзероутере?

не можешь найти?
возглавь! - напиши свою 🤡

аналог

:)

мне кажется эта птица даже немного умнее большинства кто отметился в этом треде.

https://github.com/mudler/LocalAI/tree/master

Думаю, что там условно говоря 30% успеха сам тренер, а 70% размер тренировочной базы.

мистраль, опенассистант, и т.д. (открытость там бывает немного разная, правда)

Два пениса этому трансформеру.

:) ну это понятно же.

Alpaca 7B. Для ещё работы достаточно мощностей уровня Raspberry Pi

https://github.com/antimatter15/alpaca.cpp

Но для её обучения требовались ресурсы видеоускорителей Nvidia Tesla A100 с 80 гб на 3 часа.

Может поднять на ноуте и обучить на лоровских темах? Сколько по времени будет обучение на обычном проце?

Запустить можно будет, а обучать локально не получиться, там уже побольше мощности требуются. Но можно мощности арендовать, например у той OpenAI, но обойдется это думаю больше сотни долларов точно.

https://github.com/xai-org/grok-1
Тут ещë грок-1 заопенсорсили. Говорят локально даже запустить мало у кого выйдет.
О, уже на главной новость заапрувили.

запустил llama.cpp на впсе без видюхи – 30 секунд ответ генерится на 7b модельке. на alpaca.cpp написано что оно уже «все» и все наработки переданы в llama.cpp. как оно работало на малинке? может я чего упустил? :)

https://www.youtube.com/watch?v=vJ1eeGo7HUw

Если прям пошаговая инструкция нужна, то для llama я такое видел

https://github.com/garyexplains/examples/blob/master/how-to-run-llama-cpp-on-...

google:// text-generation-webui

:) да, прикол в том, что на малинке оно работает быстрее чем на впске digital ocean. у меня выдает ответ 10 секунд на этой модели.

Да и модель такое себе.

Нужно поиграться с флагами оптимизации.

Калинка 🤖