Использование LLM в собственном проекте

Codex, claude code, antigravity.

как

Вот у ИИ и спросишь.

Какие пока бесплатные LLM использовать

Бесплатная LLM - это только ты :) Вообще codex и antigravity есть бесплатные, но там такие лимиты что забей.

Рабочий сэтап: vscode + kilocode + kilo auto free (сам выбирает бесплатную модель в зависимости от задачи), ну и если сложный проект или фича, то + speckit.

Практические ограничения: сейчас сложно что-то найти, чтоб работало полностью всё без VPN. Для этого по сути нужно ограничиться каким-нибудь гигакодом, который отстаёт от флагманов уже безнадёжно.

Вот у ИИ и спросишь. Когда он появится, обязательно спрошу.

Вообще codex и antigravity есть бесплатные, но там такие лимиты что забей. Да мне много то и не надо.

В гугле пишут, что можно и локальные модели использовать. Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

Локальные модели не подойдут?

Лично я использую qwen cli (подсел на него еще когда qwen был полностью бесплатный. сейчас продолжаю его использовать через платный агрегатор - там очень небольшая цена за токены). Но это работа в командной строке. Если вы используете vscodium, то и смотрите соответствующие плагины к нему. Я некоторое время назад использовал плагин Koda - попробуйте.
А так каждая крупная модель имеет свой собственный редактор. Вот только бесплатность, если и бывает - то временно (кроме локальной LLM на своем железе)!

В гугле пишут, что можно и локальные модели использовать. Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

16Гб системной памяти - почти ниочем! Для LLM нужно иметь 16 Гб видео-памяти - уже можно будет запускать что-то полезное. Но и это мизер, надо иметь 24-32 Гб видео-памяти

Я уже надеялся… Спасибо, буду искать варианты с онлайном.

Технически можно, но будет медленно. Для агентной разработки желательна высокая скорость генерации.

Локальные модели не подойдут?

Подключить можно, но польза от них очень ограниченная, если у тебя нет digix spark какого-нибудь.

Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

Нет.

Не слушай всяких. Сейчас уже есть вполне годные модельки для кодинга, для легких задач планирования.

Свежая гемма, квантованая, расцензуренная: https://huggingface.co/HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced

Бонсай, трехбитная (2,8) «экспериментальная» кодировка параметров, спецом для слабых машинок, даже на смартфонах запускается: https://huggingface.co/prism-ml/Ternary-Bonsai-27B-mlx-2bit

Если хорошо поискать - еще найдешь и по-оптимизированнее (в плане веса) и по-шустрее. Скорости у вышеупомянутых на среднестатистическом ноуте трехлетней давности без дискретки и с 16 Гб оперативки будут до 40-50 токенов в секунду. Что вполне приемлемо по современным меркам.

Я бы посоветовал дипсик + claude code. Я именно такую связку использую.

до 40-50 токенов в секунду

Чет как-то сомнительно. Gemma на cpu+ram выдаст токенов эдак 10 на пустом контексте.

С той Геммой, что кинул - погорячился я, действительно. Но если не использовать всякие трактора для инференса и сразу через llama.ccp гнать с включенным MTP, то 15 - 20 токенов в секунду получить с натяжечкой можно.

Вот такую Гемму https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive под 40 разогнать, пожалуй, реалистично. Если оперативка современная и быстрая.

Можешь посмотреть в сторону aider. Сам по себе он только из терминала управляется, но для редакторов наверняка есть плагины. Модели можно использовать (за деньги) от яндыкса, там разные на выбор.

Какие пока бесплатные LLM использовать, чтобы немного улучшить код?

Вы действительно думаете, что вся эта суета вокруг ChatGPT была запущена для того, чтобы изменить мир к лучшему? У меня для вас плохие новости. В США существует только одна ценность - деньги, поэтому что ни делается и кем ни делается, это действие всегда направлено на зарабатывание денег. Уже весь мир взвыл по поводу «цен за токен», как только заметили, что даже ничего не делая сжигают на рабочем столе миллиард токенов в месяц. То ли ещё будет!

(за деньги) от яндыкса

Сколько платют за пердолинг с их поделиями и китайскими позапрошлого поколения?

Лучше попробовать и посмотреть самому. Gemma 4 буквально вчера обновили и подтянули качество на некоторых бенчмарках. Но с 16 Гб ОЗУ, скорее всего, параллельно с инференсом модели работать не будет.

А так, есть ollama, llama.cpp, LMStudio. Последняя самая простая в использовании — можно листать каталог доступных локальных моделей, загружать в 1 клик и программа показывает, какая модель влезет, а какая нет.

Возьми OpenCode. У него есть несколько бесплатных моделей. Не знаю что там сейчас дают, но пол года назад был Minimax с вполне рабочими лимитами.

~ 40 запросов в час сейчас бесплатны. Маловато будет.

Из бесплатных мультиподписок есть еще OpenRouter. Для многих «агентов» есть даже плагины с автоматическим переключением по бесплатным моделькам. Как оно работает - не скажу, не пробовал.

А есть еще бюджетный вариант: платный API DeepSeek`а - там цена прям хорошая и за кэш-хит скидочки большие.

Забавно. Вы не находите ситуацию абсурдной и ироничной? Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

При том что как просто инструмент иишки доступны бесплатно. А вот как генерация больших кусков кода - чтобы не думать, уже плати.

Да, это называется увеличение продуктивности. Один очень хороший программист - он уже не программист, а, скажем, оператор кодогенерации - вместе с правильным оборудованием (Open Code, Kilo Code, Aider, Cloude, Vino, много их и они разные) заменяет отдел, а по стоимости примерно как треть-четверть отдела.

Конечно, можно шутить про кодогенерацию и называть её бредогенерацией, но при этом не забывать осваивать новую профессию всё же не помешает.

Если бы я не видел и не генерировал сам такое, мог бы и поверить. Но я пока не видел такого проекта большого полноценного хотя бы больше нескольких тысяч строк.

А в рамках генерации эти несколько тысяч строк наберутся очень быстро - да за пару-тройку функциональностей простейших. То что можно вручную написать за 3 строки, оно генерирует в 20-30. И это еще хороший результат.

Кто смоет поддерживать этот проект в итоге? У ИИшек есть лимит, они на определенном количестве глючат. Человек? Даже не смешно - копаться в этом развесистом нечто.

И нет, я НЕ ПРОТИВ ИИшек, сам пользую в хвост и гриву. Но не в качестве: «Эй, сгенерируй мне аналог виндоус», а как автодополнение к моему скиллу.

А еще я вижу что ИИшки творят с новичками, которые только входят в программирование. Это катастрофа. Они тупо запарывают все обучение.

И нет, я НЕ ПРОТИВ ИИшек, сам пользую в хвост и гриву. Но не в качестве: «Эй, сгенерируй мне аналог виндоус», а как автодополнение к моему скиллу.

Вы пропустили важный момент в моём сообщении, просто я не акцентировал: «очень хороший программист». Очень. Заменяет группу не очень.

А чтобы быть очень хорошим программистом, надо очень много и очень долго программировать разные вещи. То есть работать и набирать опыт. Так что ничего не изменилось. Средства да, меняются. А способы осваивания этих средств нет.

Мне просто интересно что именно получает «очень хороший программист», оплачивая генерацию такого, чего не может с теми же усилиями за то же время бесплатно.

При том что как просто инструмент иишки доступны бесплатно. А вот как генерация больших кусков кода - чтобы не думать, уже плати.

Платят не за большие куски кода, а за работу в режиме агента.

Да про агент я слышал, сам не пробовал, но слышал много негативного. Видимо я упустил целый пласт в этой области чего то там.

P.S.

Я тут глянул - ну есть и бесплатные, в приципе. Но ведь это то же самое - с теми же самыми ограничениями по контекстному окну. Что ты в чате работаешь, что в IDE, что в режиме агента. Просто способы управления разные и все.

Поговорите со своим начальником. У нас разные миры, разные службы, разное положение в профессии. Вряд ли я вам со другого края света смогу дать правильный, и главное обоснованный для вашего случая совет.

Да я вообще не программист. Вот и интересуюсь как у вас там чего. Интересное же. Нет у меня никакого начальника, кроме меня.

Подскажите, как и какими инструментами выстроить такой процесс? В каком редакторе это все лучше (и желательно проще) внедрить?

агент работает не в редакторе. Это отдельное консольное приложение REPL, в которое ты пишешь запросы - в точности как на сайте нейронки, но в отличие от сайта это приложение может запускать (и запускает) утилиты командной строки, редактировать файлы и т.п.

Да, есть редакторы с интегрированными агентами. Пользоваться ими крайне не рекомендую - это как правило жуткий нейрослоп от корпоратов, который жрет кучу ресурсов на ровном месте и может сделать непонятно что типа всех этих историй про удаление базы данных в продакшне.

Пример агента, запиленного независимым разработчиком - swival.

Какие пока бесплатные LLM использовать, чтобы немного улучшить код?

основной сайт, откуда можно скачать модели для локального запуска - это HuggingFace. Сейчас, как видно, в тренде какой-то Bonsai (про который тут уже написали). Ставишь себе llama.cpp или ollama если совсем ничего настраивать не хочется, и действуешь по инструкции. Эти софтины поднимают локальный сервер с эндпоинтом, на который ты натравливаешь свой агент. И все, можно пользоваться: говоришь ему «напиши мне тесты», и он пишет.

Но. Локальные LLM жрут просто дикое количество ресурсов. Причем самым главным бутылочным горлышком выступает пропускная способность оперативной памяти. Например взять Ternary-Bonsai-27B-mlx-2bit - тут уже из названия видно, что в данной модели 27 миллиардов параметров по 2 бита на параметр. Это значит, что для генерации одного токена тебе потребуется потрогать 27B * 2 / 8 / 1024 / 1024 / 1024 = 6.29 гигабайт оперативки. При пропускной способности оперативки в 100 гигабайт в секунду эта дает теоретически максимальную производительность в 16 токенов в секунду. На практике будет меньше.

Еще одно но. На практике подобные нейронки не очень умны и с ними мало что можно сделать. Кроме того, твое железо непрерывно будет работать на максимум - шуметь вентиляторами, греться и т.п. Если такая перспектива не нравится, то можно пользоваться нейронками из интернета. По той же схеме, ты получаешь URL эндпоинта и скармливаешь его своему агенту. Тогда ничего шуметь и греться не будет, но придется платить. Либо за потраченные токены, либо купить где-нибудь подписку с фиксированной суммой раз в месяц, и тебе будут предоставлять возобновляемые лимиты. Пользоваться американскими нейронками не советую - по сравнению с китайцами цены там просто дикие, «интеллекта» не особо больше, и никто не знает, какие очередные фокусы с блокировками они могут выкинуть.

Забавно. Вы не находите ситуацию абсурдной и ироничной? Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

Никто никуда не сворачивал! Варианты, что одни получили заказ на разработку и деньги и нанимали других исполнителей частично или полностью на выполнение заказа - были всегда. Что изменилось?
В том числе - известны примеры, когда платные услуги ИИ в реальности выполняли нанятые люди!

Ааа.. субподряд. Ну да, но… нет. Все эти истории с субподрядом индусов тоже всегда были в негативном ключе обычно.

Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

Это вы свернули не туда. Так то для разработки испокон веков люди использовали кучу платных инструментов и сервисов, независимо от иишек. Это всё входит в стоимость разработки, а не только зряплата быдлокодерам.

Так это даже лучше! Пробуйте, творите, делайте так, как наиболее продуктивно для вас.

Не знаю как выразить. Инструменты это понятно. Это кусок готовой технологии, которую ты прикладываешь к интеллекту, чтобы при помощи этого интеллекта что то сделать.

А тут у нас иная ситуация - мы платим, чтобы не прикладывать интеллект для задачи, где нужно прикладывать интеллект.

Возьмем какого нибудь ученого - когда он использует микроскоп это одно, а когда просит соседа за деньги проработать за него - совсем другое.

А тут у нас иная ситуация - мы платим, чтобы не прикладывать интеллект для задачи, где нужно прикладывать интеллект.

Вы дизель для трактора покупаете?

Так трактор тут как микроскоп - это продолжение твоего разума, твоей руки, а не замена. Хотя сейчас есть и замена, к слову, но заметь - заменяет не тракторист, а хозяин земли, заменяя трактористов.

Предстаь, что тракторист платит другому трактористу за свою работу.

А тут у нас иная ситуация - мы платим, чтобы не прикладывать интеллект для задачи, где нужно прикладывать интеллект.

Нет. Не прикладывать интеллект вам никто не мешает совершенно бесплатно, если у вас его нет. А мы платим за то, чтоб автоматизировать наши задачи до ох..мурения. Иишечка - это термоядерный автоматизатор, а не замена интеллекта, если кто-то ещё не понял.

Ладно, я как всегда устарел минимум лет на 5. Я и про ИИшки то узнал с удивлением с выходом дипсика. До этого думал, что это очередная хайповая фигня по генерации мусора с шестью пальцами.

До этого думал, что это очередная хайповая фигня по генерации мусора с шестью пальцами.

Это характерно для любых технологий, доступных широкой публике. Большинство сразу начинает использовать для мемов с сиськами и котиками. И только не только лишь все используют по назначению.

Нет, здесь то же самое. Агент вашего программного окружения - такое же дополнение к вам, программисту, как и тракторист к трактору. Если тракторист свалился пьяный в кювет, куда может уехать трактор? То же самое и тут. Агент - не замена, а дополнение.

Я вот смотрю - агенты что то очень уж странное. Узкая специализация на языках. А если мне надо работать параллельно с раст, луа5.1, node.js, котлин. Неужели профессионалы работают в рамках одного языка?

Я вот смотрю - агенты что то очень уж странное.

Агент - это как раз то, что делает все эти ваши llm по настоящему полезными. Сама по себе llm - просто болталка.

Узкая специализация на языках.

Это у каких агентов например? Всем, которые я знаю, вобще монопенисуально, с какими языками, и даже с какими моделями работать.

будут до 40-50 токенов в секунду

Это в видеопамяти, то есть нужна дискретная видеокарта

Вот тут то мы и подходим к тому, что действительно делает работу программиста (и не только программиста) более продуктивной. Грубо говоря, агент является вашим исполнителем. количество и качество исполнителей зависит только от ваших способностей (и доступных ресурсов, конечно). Агенты могут работать под вашим руководством или автономно, интерактивно между собой или независимо друг от друга. Вы создаёте задачу агенту или агентам, вы проверяете результат, но и конечно вы несёте ответственность за действия своих агентов. Всё по взрослому.

Я пока не готов платить за то, что могу сделать сам бесплатно. Так то пока это пройдет мимо меня, увы.

Вспоминайте мою аналогию - она эквивалентна фразе «я пока не готов платить за дизель трактора поэтому буду вскапывать свой огород лопатой». В этом нет ничего плохого, пока вы обходитесь своими силами для своих задач, но сможете быстро адаптироваться к другому подходу когда задачи возрастут.

Нет, лопатой вскопать 12 соток я не смогу чисто физически, а вот написать все что мне нужно - могу.

Есть задачи совсем разного масштаба. Трактором не решается задача одного вскопщика - это не имеет смысла. Траткор работает там, где тысячи вскопщиков. И один трактор может больше, чем вся эта тысяча.

В случае с ИИшками - решается задача, где справился бы один. Это как трактором заменять лопату. Одну лопату.

›Какие пока бесплатные LLM использовать, чтобы немного улучшить код?

Единственный рабочий вариант, — какая-нибудь TU102 на 10ГБ и модель, которая уместится в ней.

Онлайн-сервисы имеют такие лимиты, что невозможно что-либо реальное сделать бесплатно. А платно тебя разведут на токены и всё равно будет говно.

А есть еще бюджетный вариант: платный API DeepSeek`а - там цена прям хорошая и за кэш-хит скидочки большие.

А это правда, что он не поддерживает напрямую платежи из России и приходится пользоваться обходными путями, прямо как при оплате какого-нибудь WoW? (Если что, мне это поведал в чате сам DeepSeek, не исключаю, что это была галлюцинация.)