LLM на своём компьютере с нуля

LM Studio и изучай, что он там тебе предлагает, и что потянет твой калькулятор.

LM Studio

Я без понятия как на LM Studio вообще возможно

создать свою модель с нуля

там же только инференс.

Для создания моделей с нуля изучите фреймворк Pytorch. Это база.

Для начала тебе потребуется видеокарта 3060 или новее с VRAM более 6 гигов и оперативки не менее 8 гигов. Или оперативки не менее 16 гигов. Поддержка процессором AVX обязательна, AVX512 — весьма желательна.

Да ну, на проце всякие квены даже 14-20b генерят по 10-15 tks что на поиграться достаточно.

Это опять же инференс

Речь о тренировке, а не генерации, разупорись.

Пройдёт небольшое время, и огромные вычислительные мощности с необъятными размерами памяти появятся в каждом смартфоне. А учиться настраивать нейросети нужно уже сейчас.

Что ты там собрался настраивать, если ключевое - это информация, которой оперирует LLM. В чём смысл этих всех онлайн чатжпт и остальных - это в том, что они весь интернет в себя закачали. А на твоём компьютере что он в себя закачает? 100гб порнофильмов?

Просто для экспериментов, для понимания возможностей и т.д.

Сейчас нейросети — это сервис, который конечный пользователь не контролирует: ему могут выдавать предвзятую информацию, могут заблокировать доступ по политическим причинам, могут сделать услугу дорогой и т.д. Нейросеть на своём оборудовании, понятно, не может конкурировать с нейросетью крупной корпорации, но там, где это возможно, лучше наверное использовать свою нейросеть.

Спрашивайте у своей LLM

Всё, что ты говоришь - правильно. Эти сервисы заточены, чтобы достигать целей, поставленных их фаундерами. Но это не отменяет того, что я сказал

А на твоём компьютере что он в себя закачает?

Как ты собираешься применять LLM, которую ты натренировал датасетами, но которая не имеет никаких данных? Чем она тебе поможет? По документации из /usr/share тебе выдаст какие-то ответы. И насколько это нужно?

Что за компьютер? Надо сразу понять возможности и желание.

Допустим у тебя Ryzen 5700x c 32гб памяти и 5060ti 16. (доступный под рукой экземпляр)

Обучение с нуля модели будет доступно для уровня модели TinyLlama с 1.1B за месяц-два. Оно тебе нужно?

Чтобы надеяться на модель 3B нужно уже 24гб и то на таких компьютерах потратить условно полгода.

Дообучение модели даже 7-8b займет всего лишь сутки +/-

А вот просто инференс (запуск) работает практически на любом устройстве (даже недорогие мини-пк ценой в видеокарту офигенно идут на 20+b MoE моделях)

Раз уж подняли тему ИИшечек. Почему инференс требует таких чудовищных вычислительных ресурсов? Потому что количество параметров исчисляется миллиардами?

Почему инференс требует таких чудовищных вычислительных ресурсов?

Потому что вся работа классических нейронных сетей основана на перемножении матриц.

При миллиардах параметров нужно перемножить просто неприличное количество матриц. Мы научились сокращать вычисления, используя KV-кеш для сохранения промежуточных результатов вычислений, но расплатой за это стали огромные объемы потребляемой памяти.

Если говорить о LLM, то тут еще сверху набрасывает сложности механизм внимания (Attention), добавляя квадратичную сложность от количества токенов в окне контекста. Уже появились субквадратичные методы (Flash Attention), но все равно это все очень тяжело по ресурсам.

Я думаю, в течение 5 лет уже появятся первые оптические сопроцессоры, которые будут перемножать матрицы быстрее, чем ядра видеокарт. В основном за счет того, что они не так греются (свет вместо тока в кремнии) и могут работать на частотах в десятки гигагерц. Это даст завершающий пинок развитию классических сетей.

У меня просто некоторый диссонанс. Какие-нибудь модели 3b я запускаю локально на слабенькой видеокарте. Результат - на тройку с минусом. Gemini на телефоне, что работает на ДЦ Гугла результат выдаёт на пять. Мне большего уже и не надо. Но объём вычислительных ресурсов - больше на несколько порядков. Как так-то?

Больше того, меня не покидают смутные сомнения, что если я возьму топовую видеокарту (лучше, две ;), то и результат получу, сопоставимый с Gemini, только на локалке

в течение 5 лет уже появятся первые оптические сопроцессоры, которые будут перемножать матрицы быстрее, чем ядра видеокарт. В основном за счет того, что они не так греются (свет вместо тока в кремнии) и могут работать на частотах в десятки гигагерц.

Не будет этого. Ещё 30 лет назад про оптические процессоры говорили, и ещё 30 лет говорить будут. Это как термоядерный реактор.

Как так-то?

Субквадратичная сложность.

меня не покидают смутные сомнения, что если я возьму топовую видеокарту (лучше, две ;), то и результат получу, сопоставимый с Gemini, только на локалке

Не будет этого. Ещё 30 лет назад про оптические процессоры говорили, и ещё 30 лет говорить будут. Это как термоядерный реактор.

Уже есть работающие прототипы, например, у нас в стране: декабрь 2025, январь 2026.

Вообще, сейчас такое время, что все больше и больше работ «в желез» по нейроморфным процессорам для спайковых сетей и оптическим сопроцессорам появляется в России.

что если я возьму топовую видеокарту (лучше, две ;), то и результат получу, сопоставимый с Gemini

Не получишь.

2*32 = 64, получишь результат сравнимый с oss-120b (быстро) в лучшем случае (ну и всякие близкие модели Llima 70b)

Модели Gemini онлайн имеют триллионы параметров, скорее всего сейчас 3-4 триллиона, то есть в 30 раз больше. Зависимость нелинейная, но в разнице рассуждения очень сильная.

Поэтому думать, рассуждать, писать - тут бесплатный онлайн-Gemini без конкуренции «домашнего AI»

А вот выполнять скрипты, парсить, автоматизировать что-либо, вычислять, тут нужна и достаточна и эффективнее локалка чем запрос по API.

Эх, кубиты, кубиты. Тоже хочу.

бесплатный онлайн-Gemini

«Gemini пока не поддерживается в вашей стране. Мы сообщим, когда это изменится.»

«Gemini пока не поддерживается в вашей стране. Мы сообщим, когда это изменится.»

В русторе лежит обходилка, Geminify.

Зачем мне на андроиде ИИ (смартфоне), мне надо на линуксе (десктопе). А так, конечно, спасибо за информацию. Только она не применимая.

Зачем мне на андроиде ИИ (смартфоне), мне надо на линуксе (десктопе).

Значит, вам не очень-то и нужно.

DNS-over-HTTPS, Private DNS, VPN - вариантов уйма, было бы желание. Нет желания - пользуйся другими, ну или не пользуйся, тоже достойный выбор.

LM Studio, GPT4All, Ollama (CLI + есть GUI)

огромные вычислительные мощности с необъятными размерами памяти появятся в каждом смартфоне.

Несколько килограммов аккумуляторов для питания этого очевидно предлагается носить в рюкзаке?

Зачем мне на андроиде ИИ (смартфоне), мне надо на линуксе (десктопе).

Значит, вам не очень-то и нужно.

С чего такой вывод? Есть люди у которых основной рабочий инструмент это десктопный комп, а не смартфон. Я тоже такой же.

Несколько килограммов аккумуляторов для питания этого очевидно предлагается носить в рюкзаке?

Есть подозрение, что ходить люди будут всё меньше и меньше. Продукты на дом, работа на удалёнке. Да, не завтра, но лет 30-50 и может будем из дома выходить раз в пол года(на диспансеризацию). А дома можно и на проводе сидеть. Да и даже если будем выходить, то кто сказал что пешком? А в любой машине(и даже самокате), вполне себе несколько килограмм аккумуляторов встроено. Да в метро и в том уже зарядки в каждом вагоне(а вроде и в автобусах в Москве тоже зарядки уже есть).

С чего такой вывод? Есть люди у которых основной рабочий инструмент это десктопный комп, а не смартфон. Я тоже такой же.

Мне вот Copilot не продают в мою страну, но это не помешало мне его купить и пользоваться на десктопном компьютере. А ему и правда не так уж и нужно значит.

Нытикам, как тем танцорам, всегда что-то да мешает.

пользуйся другими

Я вот нашел такое - без денег и региональных ограничений: https://duckduckgo.com/?q=DuckDuckGo+AI+Chat&ia=chat&duckai=1 Пользуюсь и даже периодически успешно - в смысле экономии времени на решение некоторых второстепенных прикладных задач.

Есть подозрение, что ходить люди будут всё меньше и меньше.

Как минимум большинство людей будут тем или иным способом перемещаться к месту работы и обратно. Абсолютное большинство профессий чисто технически не позволяют работать дистанционно. К тому же при личном присутствии на рабочем месте соотношение трудозатрат и зарплаты более выгодное.

А в любой машине(и даже самокате), вполне себе несколько килограмм аккумуляторов встроено.

Согласен что возить аккумуляторы физически легче чем носить, но устройство с ИИ всё равно остается привязанным проводами к аккумуляторам. Впрочем - лично я не очень понимаю какие применения у ИИ вообще возможны «на ходу». Кто много ездит в общественном транспорте - может посмотреть что у людей на экранах смартфонов. Чаще всего это чтение текстов из разных источников или обмен текстовыми сообщениями. Для этого ИИ не нужен. Реально полезное применение - навигационные программы. Но им тоже ИИ не нужен - и так отлично работают.

Мне вот Copilot не продают в мою страну, но это не помешало мне его купить и пользоваться на десктопном компьютере. А ему и правда не так уж и нужно значит.

А, ну если с этой точки зрения смотреть то да, могу согласиться.

Да. А есть люди с агорафобией, с клаустрофобией. Тем не менее, у каждого есть паспорт, и он его по возрасту регулярно меняет.

лично я не очень понимаю какие применения у ИИ вообще возможны «на ходу»

Перевод вывесок, синхронный перевод с аборигенами.

Не понял аналогию с паспортом. Это наверно был намёк в сторону [не]анонимности использовани ИИ? Ибо а хрен его знает как он истолкует мой с ним диалог и что именно стуканет родным (для него) спецслужбам. Если это спецслужбы не той юрисдикции где находится пользователь - то и пофиг. Маловероятно что он наговорит на операцию по его похищению как недавно одного президента украли.

Это наверно был намёк в сторону [не]анонимности использовани ИИ?

Не-не. Я к тому, что есть люди, которые боятся выходить на улицу / заходить в помещения. Клиника, диагноз. Тем не менее, каждый из них как-то получил паспорт.

А тут человеку готовые решения предлагают, а он «у меня лапки!»

Лапки, так лапки. Значит, не очень-то и надо.

Перевод вывесок, синхронный перевод с аборигенами.

Во-первых актуально только для довольно специфической категории людей - которые одновременно и активные путешественники и совсем никак никаких более-менее общеупотребительных языков не знают. Явление всё же не частое чтобы и то и другое сразу.

Во-вторых услуги перевода предлагались и до нынешнего бума ИИ, я знал людей которые ими пользовались, но не знаю как это работало лет 15-20 назад. Как-то работало.

Явление всё же не частое чтобы и то и другое сразу.

Да, но своя ниша у явления имеется.

Во-вторых услуги перевода предлагались и до нынешнего бума ИИ, я знал людей которые ими пользовались

Вероятно, через интернет работало. В любом случае, это не работало как синхронный перевод. А сейчас может. Причём, без интернета.

Тем не менее, каждый из них как-то получил паспорт.

Про людей с упомянутыми вами диагнозами не знаю, а просто лежачих инвалидов обслуживают на дому когда необходима замена паспорта.

Значит, не очень-то и надо.

Судя по тому что вы аж покупали доступ к ИИ, при наличии многих бесплатных - по всей видимости вам это нужно по работе и вы четко представляете для чего и зачем. А представьте человека который просто хочет ознакомиться с возможностями этой технологии. Возможно даже не лично а на опыте более продвинутых людей. Почему нет, собственно? Чтобы понять надо оно или нет - поспрашивать уже пробовавших может быть достаточно. Я сам также начинал, разве спрашивал не тут на форуме, а знакомого программиста. Сделал вывод что мне для моих компьютерно-электронных хобби достаточно бесплатного доступа, заморачиваться с покупкой платного доступа смысла нет ибо никогда и никак не окупится. Я же не продаю свои поделки.

Судя по тому что вы аж покупали доступ к ИИ

Вы меня, видимо, с кем-то путаете.

Покупал я только для одного видосика. Увы, бесплатных хороших генераторов видео недостаточно, мне хотелось попробовать платный.

Вероятно, через интернет работало.

Да, именно так.

сейчас может. Причём, без интернета.

Да ну?! Вот чтобы именно перевод с голоса, да еще на смартфонном проце? Что-то не верится.

Да ну?! Вот чтобы именно перевод с голоса, да еще на смартфонном проце?

Кто сказал, что на смартфонном проце? Нет, железо там понадобится мощное, специализированное. Но, это возможно.

Покупал я только для одного видосика. Увы, бесплатных хороших генераторов видео недостаточно, мне хотелось попробовать платный.

И каковы итоговые впечатления?

Если не секрет и не нарушает приватности/анонимности, можешь показать ссылку на готовое видео?

Кто сказал, что на смартфонном проце?

Выше был упомянут перевод вывесок и общение с аборигенами - как сервис для лингвистически безграмотных путешественников. А что у них может быть в кармане кроме смартфона/планшета?

железо там понадобится мощное, специализированное. Но, это возможно.

То есть железо по определению стационарное. И где это применимо? Так чтобы не в качестве просто демонстратора технологии, а именно с пользой для дела?

И каковы итоговые впечатления?

Конкретно в моём случае Sora оказалась лучше, чем Veo. Дешевле и лучше.

Если не секрет и не нарушает приватности/анонимности, можешь показать ссылку на готовое видео?

Там ничего особенного, 4 секунды видео. На данный момент оно в телеге, приду домой, могу скинуть куда угодно

при личном присутствии на рабочем месте соотношение трудозатрат и зарплаты более выгодное.

Типа, пришел и можешь нифига не делать? Достаточно появления на рабочем месте? Ну в некоторых конторах так бывает. Но 2 часа(про бензин молчу даже) на работу и обратно тоже ведь не бесплатные, а ты их тратишь. И вот уже на работу уходит не 8 часов, а 9(обед не забываем)+2, итого 11. Про то что одежда на удалёнке не снашивается пожалуй не буду ;)

Кто много ездит в общественном транспорте - может посмотреть что у людей на экранах смартфонов. Чаще всего это чтение текстов из разных источников или обмен текстовыми сообщениями. Для этого ИИ не нужен.

Например собрать из нескольких источников то, что ты потом будешь читать.

Наверно, NVIDIA Tesla P40.