Использование LLM в собственном проекте

Codex, claude code, antigravity.

как

Вот у ИИ и спросишь.

Какие пока бесплатные LLM использовать

Бесплатная LLM - это только ты :) Вообще codex и antigravity есть бесплатные, но там такие лимиты что забей.

Рабочий сэтап: vscode + kilocode + kilo auto free (сам выбирает бесплатную модель в зависимости от задачи), ну и если сложный проект или фича, то + speckit.

Практические ограничения: сейчас сложно что-то найти, чтоб работало полностью всё без VPN. Для этого по сути нужно ограничиться каким-нибудь гигакодом, который отстаёт от флагманов уже безнадёжно.

Вот у ИИ и спросишь. Когда он появится, обязательно спрошу.

Вообще codex и antigravity есть бесплатные, но там такие лимиты что забей. Да мне много то и не надо.

В гугле пишут, что можно и локальные модели использовать. Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

Локальные модели не подойдут?

Лично я использую qwen cli (подсел на него еще когда qwen был полностью бесплатный. сейчас продолжаю его использовать через платный агрегатор - там очень небольшая цена за токены). Но это работа в командной строке. Если вы используете vscodium, то и смотрите соответствующие плагины к нему. Я некоторое время назад использовал плагин Koda - попробуйте.
А так каждая крупная модель имеет свой собственный редактор. Вот только бесплатность, если и бывает - то временно (кроме локальной LLM на своем железе)!

В гугле пишут, что можно и локальные модели использовать. Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

16Гб системной памяти - почти ниочем! Для LLM нужно иметь 16 Гб видео-памяти - уже можно будет запускать что-то полезное. Но и это мизер, надо иметь 24-32 Гб видео-памяти

Я уже надеялся… Спасибо, буду искать варианты с онлайном.

Технически можно, но будет медленно. Для агентной разработки желательна высокая скорость генерации.

Локальные модели не подойдут?

Подключить можно, но польза от них очень ограниченная, если у тебя нет digix spark какого-нибудь.

Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

Нет.

Не слушай всяких. Сейчас уже есть вполне годные модельки для кодинга, для легких задач планирования.

Свежая гемма, квантованая, расцензуренная: https://huggingface.co/HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced

Бонсай, трехбитная (2,8) «экспериментальная» кодировка параметров, спецом для слабых машинок, даже на смартфонах запускается: https://huggingface.co/prism-ml/Ternary-Bonsai-27B-mlx-2bit

Если хорошо поискать - еще найдешь и по-оптимизированнее (в плане веса) и по-шустрее. Скорости у вышеупомянутых на среднестатистическом ноуте трехлетней давности без дискретки и с 16 Гб оперативки будут до 40-50 токенов в секунду. Что вполне приемлемо по современным меркам.

Я бы посоветовал дипсик + claude code. Я именно такую связку использую.

до 40-50 токенов в секунду

Чет как-то сомнительно. Gemma на cpu+ram выдаст токенов эдак 10 на пустом контексте.

С той Геммой, что кинул - погорячился я, действительно. Но если не использовать всякие трактора для инференса и сразу через llama.ccp гнать с включенным MTP, то 15 - 20 токенов в секунду получить с натяжечкой можно.

Вот такую Гемму https://huggingface.co/HauhauCS/Gemma-4-E4B-Uncensored-HauhauCS-Aggressive под 40 разогнать, пожалуй, реалистично. Если оперативка современная и быстрая.

Можешь посмотреть в сторону aider. Сам по себе он только из терминала управляется, но для редакторов наверняка есть плагины. Модели можно использовать (за деньги) от яндыкса, там разные на выбор.

Какие пока бесплатные LLM использовать, чтобы немного улучшить код?

Вы действительно думаете, что вся эта суета вокруг ChatGPT была запущена для того, чтобы изменить мир к лучшему? У меня для вас плохие новости. В США существует только одна ценность - деньги, поэтому что ни делается и кем ни делается, это действие всегда направлено на зарабатывание денег. Уже весь мир взвыл по поводу «цен за токен», как только заметили, что даже ничего не делая сжигают на рабочем столе миллиард токенов в месяц. То ли ещё будет!

(за деньги) от яндыкса

Сколько платют за пердолинг с их поделиями и китайскими позапрошлого поколения?

Лучше попробовать и посмотреть самому. Gemma 4 буквально вчера обновили и подтянули качество на некоторых бенчмарках. Но с 16 Гб ОЗУ, скорее всего, параллельно с инференсом модели работать не будет.

А так, есть ollama, llama.cpp, LMStudio. Последняя самая простая в использовании — можно листать каталог доступных локальных моделей, загружать в 1 клик и программа показывает, какая модель влезет, а какая нет.

Возьми OpenCode. У него есть несколько бесплатных моделей. Не знаю что там сейчас дают, но пол года назад был Minimax с вполне рабочими лимитами.

~ 40 запросов в час сейчас бесплатны. Маловато будет.

Из бесплатных мультиподписок есть еще OpenRouter. Для многих «агентов» есть даже плагины с автоматическим переключением по бесплатным моделькам. Как оно работает - не скажу, не пробовал.

А есть еще бюджетный вариант: платный API DeepSeek`а - там цена прям хорошая и за кэш-хит скидочки большие.

Забавно. Вы не находите ситуацию абсурдной и ироничной? Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

При том что как просто инструмент иишки доступны бесплатно. А вот как генерация больших кусков кода - чтобы не думать, уже плати.

Да, это называется увеличение продуктивности. Один очень хороший программист - он уже не программист, а, скажем, оператор кодогенерации - вместе с правильным оборудованием (Open Code, Kilo Code, Aider, Cloude, Vino, много их и они разные) заменяет отдел, а по стоимости примерно как треть-четверть отдела.

Конечно, можно шутить про кодогенерацию и называть её бредогенерацией, но при этом не забывать осваивать новую профессию всё же не помешает.

Если бы я не видел и не генерировал сам такое, мог бы и поверить. Но я пока не видел такого проекта большого полноценного хотя бы больше нескольких тысяч строк.

А в рамках генерации эти несколько тысяч строк наберутся очень быстро - да за пару-тройку функциональностей простейших. То что можно вручную написать за 3 строки, оно генерирует в 20-30. И это еще хороший результат.

Кто смоет поддерживать этот проект в итоге? У ИИшек есть лимит, они на определенном количестве глючат. Человек? Даже не смешно - копаться в этом развесистом нечто.

И нет, я НЕ ПРОТИВ ИИшек, сам пользую в хвост и гриву. Но не в качестве: «Эй, сгенерируй мне аналог виндоус», а как автодополнение к моему скиллу.

А еще я вижу что ИИшки творят с новичками, которые только входят в программирование. Это катастрофа. Они тупо запарывают все обучение.

И нет, я НЕ ПРОТИВ ИИшек, сам пользую в хвост и гриву. Но не в качестве: «Эй, сгенерируй мне аналог виндоус», а как автодополнение к моему скиллу.

Вы пропустили важный момент в моём сообщении, просто я не акцентировал: «очень хороший программист». Очень. Заменяет группу не очень.

А чтобы быть очень хорошим программистом, надо очень много и очень долго программировать разные вещи. То есть работать и набирать опыт. Так что ничего не изменилось. Средства да, меняются. А способы осваивания этих средств нет.

Мне просто интересно что именно получает «очень хороший программист», оплачивая генерацию такого, чего не может с теми же усилиями за то же время бесплатно.

При том что как просто инструмент иишки доступны бесплатно. А вот как генерация больших кусков кода - чтобы не думать, уже плати.

Платят не за большие куски кода, а за работу в режиме агента.

Да про агент я слышал, сам не пробовал, но слышал много негативного. Видимо я упустил целый пласт в этой области чего то там.

P.S.

Я тут глянул - ну есть и бесплатные, в приципе. Но ведь это то же самое - с теми же самыми ограничениями по контекстному окну. Что ты в чате работаешь, что в IDE, что в режиме агента. Просто способы управления разные и все.

Поговорите со своим начальником. У нас разные миры, разные службы, разное положение в профессии. Вряд ли я вам со другого края света смогу дать правильный, и главное обоснованный для вашего случая совет.

Да я вообще не программист. Вот и интересуюсь как у вас там чего. Интересное же. Нет у меня никакого начальника, кроме меня.

Подскажите, как и какими инструментами выстроить такой процесс? В каком редакторе это все лучше (и желательно проще) внедрить?

агент работает не в редакторе. Это отдельное консольное приложение REPL, в которое ты пишешь запросы - в точности как на сайте нейронки, но в отличие от сайта это приложение может запускать (и запускает) утилиты командной строки, редактировать файлы и т.п.

Да, есть редакторы с интегрированными агентами. Пользоваться ими крайне не рекомендую - это как правило жуткий нейрослоп от корпоратов, который жрет кучу ресурсов на ровном месте и может сделать непонятно что типа всех этих историй про удаление базы данных в продакшне.

Пример агента, запиленного независимым разработчиком - swival.

Какие пока бесплатные LLM использовать, чтобы немного улучшить код?

основной сайт, откуда можно скачать модели для локального запуска - это HuggingFace. Сейчас, как видно, в тренде какой-то Bonsai (про который тут уже написали). Ставишь себе llama.cpp или ollama если совсем ничего настраивать не хочется, и действуешь по инструкции. Эти софтины поднимают локальный сервер с эндпоинтом, на который ты натравливаешь свой агент. И все, можно пользоваться: говоришь ему «напиши мне тесты», и он пишет.

Но. Локальные LLM жрут просто дикое количество ресурсов. Причем самым главным бутылочным горлышком выступает пропускная способность оперативной памяти. Например взять Ternary-Bonsai-27B-mlx-2bit - тут уже из названия видно, что в данной модели 27 миллиардов параметров по 2 бита на параметр. Это значит, что для генерации одного токена тебе потребуется потрогать 27B * 2 / 8 / 1024 / 1024 / 1024 = 6.29 гигабайт оперативки. При пропускной способности оперативки в 100 гигабайт в секунду эта дает теоретически максимальную производительность в 16 токенов в секунду. На практике будет меньше.

Еще одно но. На практике подобные нейронки не очень умны и с ними мало что можно сделать. Кроме того, твое железо непрерывно будет работать на максимум - шуметь вентиляторами, греться и т.п. Если такая перспектива не нравится, то можно пользоваться нейронками из интернета. По той же схеме, ты получаешь URL эндпоинта и скармливаешь его своему агенту. Тогда ничего шуметь и греться не будет, но придется платить. Либо за потраченные токены, либо купить где-нибудь подписку с фиксированной суммой раз в месяц, и тебе будут предоставлять возобновляемые лимиты. Пользоваться американскими нейронками не советую - по сравнению с китайцами цены там просто дикие, «интеллекта» не особо больше, и никто не знает, какие очередные фокусы с блокировками они могут выкинуть.

Забавно. Вы не находите ситуацию абсурдной и ироничной? Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

Никто никуда не сворачивал! Варианты, что одни получили заказ на разработку и деньги и нанимали других исполнителей частично или полностью на выполнение заказа - были всегда. Что изменилось?
В том числе - известны примеры, когда платные услуги ИИ в реальности выполняли нанятые люди!

Ааа.. субподряд. Ну да, но… нет. Все эти истории с субподрядом индусов тоже всегда были в негативном ключе обычно.