Использование LLM в собственном проекте

https://build.nvidia.com/models

Нейротрон там норм, но не только.

В случае с ИИшками - решается задача, где справился бы один.

Это ещё одно заблуждение. В случае с правильным совместным использованием агентов решаются задачи, которые самостоятельно решать невозможно. Это и называется «увеличение продуктивности». Допускаю, что пока - пока - у вас таких задач просто нет. Но могут появиться. И лучше для вас быть к этому готовым и знать, как их решать.

Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код.

Отличная формулировка! Надо распечатать и повесить на стену.

Вот например только вчера вышла inkling и уже у них бесплатно есть https://thinkingmachines.ai/news/introducing-inkling/

Купи опенроутер за крипту или через пополнение у посредников по курсу ~100р за бакс.

правда, что он не поддерживает напрямую платежи из России и приходится пользоваться обходными путями

А чем он должен принимать напрямую платежи из России, как ты думаешь? Картой мир? Мне правда интересно.

Ищу, какие пойдут на моем ноуте с 16Гб и есть ли в них смысл.

Никакие. Запускал на ноуте с 64гб, glm flash че-то там кое-как никак. Оплати anthropic, нервы целее будет

Там вон кул стори выше Использование LLM в собственном проекте (комментарий)

Такие откровенные басни, как будто проверить никто не может.

Учитывая что бонсай это затупленный квен, а квен ниже 397B тоже туп как пень - бонсай должен быть совсем валенок.

Мне из локальных только glm 4.7 flash заходила, она прям между haiku и sonnet 3 5 была по ощущениям. Ну и llama 8b как болталка сойдёт (но не чтоб думать)

Ну опчик думает что он на 16гб памяти (не видеопамяти) что-то запустит. Прикольно.

Раньше программистам платили, чтобы они генерировали код, а теперь программисты платят, чтобы им иишка генерировала код. Где то вы свернули не туда.

На самом деле выглядит так. Есть один художник-дизайнер, зарабатывал рисовал для комп. игр, появилась ИИ, он говорил вот как круто - все для него ИИ генерит а он только корректирует. Прошло пол года. Теперь его сократили …

https://www.opennet.ru/opennews/art.shtml?num=65913

Ну запустить то и на телефоне можно. Смысла только ноль

А это правда, что он не поддерживает напрямую платежи из России

А кто их поддерживает? Они принимают AliPay, а его можно регнуть и пополнять из РФ. Но лучше конечно нормальную подписку купить, по сравнению с GPT-5.6 дипсик 4 очень так себе и в банах россиян OpenAI пока еще не замечен.

AliPay, а его можно регнуть и пополнять из РФ

Да неужели:) покажи как.

дипсик 4 очень так себе и в банах россиян OpenAI пока еще не замечен.

Дипсик веб пускает ру гео, опенаи не пускает. Ты странный или тролль.

В любом случае ты о вебчЯтах, неинтересно. Лор конечно тот ещё технический форум.

В любом случае ты о вебчЯтах

С чего ты так решил? У опенай кодекс по подписке, дипсик продает апи который можно куда-нибудь подключить.

Да неужели:) покажи как.

Погугли https://t-j.ru/how-to-alipay

Дипсик веб пускает ру гео, опенаи не пускает.

У тебя правда с этим проблемы? Мы же вроде на техническом форуме :)

PS: Там кими K3 выкатила, правда по апи оно дороже чем OpenAI выходит, подождем пока веса выложат.

Погугли https://t-j.ru/how-to-alipay

Баланс можно пополнить в том числе с карты российского банка. А вот привязать — только зарубежную. Российские «Мир», Visa и Mastercard не привязываются. Карты UnionPay, выпущенные в РФ, привязываются к системе Yunshanfu , но не AliPay.

Постараюсь максимально вежливо: вы хотя бы читали сами? Нет, вежливо не получается. @hobbit, можете не удалять этот коммент если есть какие-то вопросы патриотические у димеза и подобных?

И передайте макскому что нынешняя капча - говно, а с ру айпи грузится через раз.

У тебя правда с этим проблемы? Мы же вроде на техническом форуме :)

Не понимаю наезд на меня.

Условный хоббит не купит ничего из современных моделей, если не захочет купить у реселлера рублями или криптой оплатить.

Я кинул линк на нвидию там inkling и немотроники бесплатно дают и gpt 120b oss кстати.

Уже непонятно где лор, а где Пикабу, потому что даже ты и @Lordwind поехали кукухой, судя по всему, а всех технарей тут не стало по своей воле. И мы тут обсуждаем какую-то банальщину.

А вообще условный хоббит (не знаю зачем) может пройти кусь на байбит и сделать там виртуалку. Но чёт я думаю что ему проще на опенроутер закинуть. @hobbit сделай токен на 24ч короткий, закинем мелочь потестить

А кто их поддерживает?

Мне тут вчера ссылку дали на https://routerai.ru/ - вроде как все современные модели и за рубли. Я даже задумался, а не попробовать ли.

Нормально она грузиться, только в режиме ограниченного мобильного инета не грузиться.

Очень дорого. +20-25 процентов к оригинальной цене. Даже с комиссиями через посредников OpenCode или OpenRouter выйдут гораздо дешевле.

Как ты выборочно отвечаешь, моё почтение. Ну хоть не Алиса, как у некоторых. Тебе нормальную модель может дать доступ или ты просто чуток «того»?

А анонимному анонимусу я еще ответ готовлю. Сейчас как раз Опенкод гоняет модельки на моем офиснике. О результатах обязательно расскажу, дружочек!

А вот тут ты внезапно прав. Всякие хоббиты (без обид, хоббит) обычно покупают там, вместо того чтоб взять нвидию фри апи или депнуть условную тыщу рублей на опенроутер. Ну почему они такие? Колхоз.

Дай угадаю, выдумав эту (удачную) шутку, ты нервно прошагал несколько кругов по комнате, не веря своим глазам и не понимая как это получилось? Если по делу, то пердолинга ноль, там OpenAI-совместимый API, пишешь в конфиг URL, токен и вперёд.

Посмотри его «статью». Жаль, что это заапрувили и жаль что читают.

@hobbit, @CrX, вроде верно регистр написал - можно про это где-то поговорить? А то вы тут удалите, а в спец раздел ананасам нельзя.

можете не удалять этот коммент

Я стараюсь, но этот вопрос выглядит максимально смешно в комментарии, где ни одной технической подробности (кроме цитаты из ресурса по ссылке, которая словам собеседника не противоречит), зато зачем-то упомянут Димез.

И если что, по исходному вопросу – как обойти, мне сам Дипсик и подсказал (работоспособность пока не проверял), мне просто сама ситуация показалась интересной. Когда для оплаты WoW приходится использовать пляски с бубном – орут, какой Близзард нехороший и не любит русских. Когда что-то подобное у Дипсика – никто не орёт, это другое. Ну в общем, понятно, почему (даже если нацпольные причины не притягивать), до платных сервисов Дипсика доходит несколько иная аудитория, нежели средний игрок в WoW. Но всё равно грустно и смешно.

Ну так попробуй, но +25% к цене это много + у них нет статистики по попаданию в кэш как у openrouter. Платить за апи сейчас очень не выгодно, лучше купить где-то подписку.

Есть простой ответ. Близзард, если узнает, что акк оплачен через посредника в обход геоограничений, может запросто акк забанить. И банят вполне активно за всякие румынские таймкарты, как мне рассказывали. Или тот же антропик или опенЭАй - регулярно российские пользователи плачут: очередная волна банов.

А вот большинству китайцев - абсолютно пофиг: получилось оплатить, вот и молодец. Никто не будет проверять совпадает ли регион карточки, с которой платил, с местом доступа к API/аккаунту. Не надо впн-ами обмазываться, подбирать регионы платежей, регать левые акки.

Прикидывал как бы хотел видеть работу с агентом - и понял что как первый этап хочу видеть в виде «полчуить какие-то мысли единицы раз в день», потому что серьёзный по объёму выхлоп от агента- я сам ревьюить не готов.

То есть потребность типа «А тщательно поревьюй вот эти 5 файлов, и реализуй предложения по ревью путём их редактирования» (а потом - я сердствамир git выберу то что мне понравилось, а то что не понравилось - откачу". Локальные модели отпадают, так ка в «тщательно поревьюй» входит «агентная работа вида нагуглить примеры по не самым попоулярным фрейворкам/подходам» который используются в проекте, а локальная гуглить не умеет.

То есть надо типа 1-2 раза в день, но очень подробно и качественно. Есть какие-то агенты+модели коорые могут это сделать бесплатно? В таком подходе много запросов в день вообще нафиг не надо, ибо много результатов я не готов анализировать.

«агентная работа вида нагуглить примеры по не самым попоулярным фрейворкам/подходам» который используются в проекте, а локальная гуглить не умеет.

Гуглить они все умеют, это ж просто один из инструментов, которые агент предоставляет модели.

гм, а как локальный агент сможет нормально гуглить (не по проекту, а в глобальной сети)? У меня было ощущение что апи поиска последние годы прикрывается/режется донельзя и нормально открыто только для больших бизнес-контор?

Кто тебе рассказал такие глупости?

гм, а как локальный агент сможет нормально гуглить

Используя те же самые способы, которые используете вы сами. Локальный агент натренирован на какой-то исходной базе данных, и поэтому способен локально выполнять действия согласно тренировке, но также может выходить в сеть за получением новой информации если вы его так инструктируете. Как можно выйти в сеть с помощью агента? Используя подписку к другим моделям и их АПИ, используя расширения браузера, используя поиск гугла или любого другого поисковика.

У меня создаётся впечатление, что многие здесь понимают ИИ агентов только как автоматических писателей (говно)кода. Это очень узкое понимание. ИИ агент - это ваш персональный ассистент. Сложность его действий определена тренировкой его модели. Но вся сила в том, что 1) вы инструктируете агента, что он должен делать, 2) вы создаёте агенты, их количество ограничено только вашими ресурсами, 3) агенты могут взаимодействовать с другими людьми и другими агентами, и 4) агенты имеют доступ ко всем тем же самым ресурсам, к которым имеете доступ и вы. Ну и как бонус, агенты не спят, не ссорятся, не обижаются, и кушают только электричество.

А вот как использовать это всё, для написания плохого кода, для рисования котиков, для правки своих фотографий, или для управления экспериментом по выращиванию ткани костного мозга из свиного образца печени - это решать вам, создателю агентов.

Близзард, если узнает, что акк оплачен через посредника в обход геоограничений, может запросто акк забанить.

как мне рассказывали

Советую быть менее доверчивым.

Объясняю. Уже не в первый раз. Если бы были ГЕОограничения, Близзарду было бы гораздо проще забанить людей: 1) по IP; 2) по емейлу; 3) просто по стране, указанной в профиле. Ничего этого Близзард не делает. Вместо этого Близзард 1) до сих пор поддерживает русские сервера; 2) до сих пор выпускает официальный русский перевод; 3) (вишенка на торте) в русском переводе дополнения DragonFlight (ноябрь 2022 года, уже после самизнаетечего) был изменён контент, который мог быть трактован как пропаганда LGBT.

Проблемы только с платежами. Как я понимаю, Близзард должен выполнять некие требования мериканских регуляторов, связанные с санкциями. И выполняет, куда деваться. Таймкоды надо покупать совместимые с РФ и РБ, у проверенных продавцов.

Я не вижу здесь отличий с Дипсиком. Бесплатными функциями Дипсика я пользуюсь вообще свободно. Так же, как и бесплатными («ветеранскими») функциями WoW.

Кто тебе рассказал такие глупости?

https://developers.google.com/custom-search/v1/overview

Note: The Custom Search JSON API is closed to new customers. Vertex AI Search is a favorable alternative for searching up to 50 domains. Alternatively, if your use case necessitates full web search, contact us to express your interest in and get more information about our full web search solution. Existing Custom Search JSON API customers have until January 1, 2027 to transition to an alternative solution.

Мне абсолютно понятно что локальный (и нелокальный) ИИ может вызвать у агента «погугли вот это и дай результат». Мне непонятно как этот агент с поиском реализовать и через что, или как это в существующих агентах реализовано. Казалось бы если бы гугл давал доступ к своему поиску направо и налево - то быстро бы остался без просмотров. Через хаки эмуляции браузера и подобное? Мне начинает казаться что индустрия идёт к тому что «продвинутый ИИ оркестрирубщий агентов дешевеет, а его агент для поиска в действительно большой БД а-ля гугл - дорожает». И на фоне этого как-то терятся разница где это ИИ-оркестрирование будет работать - локально или «у дяди», потому что действительно большая БД нужная для эффективной подгрузки инфы для большинства задач - уже 30 лет как «только у дяди».

гм, а как локальный агент сможет нормально гуглить (не по проекту, а в глобальной сети)? У меня было ощущение что апи поиска последние годы прикрывается/режется донельзя и нормально открыто только для больших бизнес-контор?

Есть куча поисковых API, сделанных для агентов. OpenCode, если я не ошибаюсь, использует https://exa.ai/. Все эти варианты работают бесплатно без регистрации, если использовать по назначению и не заниматься всякой ерундой.

Как вы интересно слепили 2 разные цитаты… Оч креативно!

Близзард, если узнает, что акк оплачен через посредника в обход геоограничений, может запросто акк забанить.

Это не «мне рассказывали» - это юридический факт. Есть прямые санкции - Крым и новые территории, в них официально «нипаиграть». Есть антифрод - страна учетки и страна платежной карты не совпали: заморозка/бан.

как мне рассказывали

Это про конкретный случай: таймкарта из магазина цифровых товаров + российская учетка

Что касается Дипсика: его я могу оплатить виртуальной сингапурской картой и мне никто за это ничего не заморозит и не забанит. С близзардами такой фокус - не пройдет.

Есть проблемка: большинство этих API платные, с открытыми лимитами в пару сотен запросов в месяц. Тот же exa-search бесплатен только в opencode. Если хочется его привинтить, скажем, к Pi - придется оплачивать подписку.

Есть, конечно, экзотические вещи вроде - https://github.com/searxng Но это совсем не «погуглил и нашлось».

Есть https://context7.com. Ну и сейчас модно делать доки для агентов через MCP или просто одним файлом.

Если фреймворки опенсорс я даю агенту ссылки на гит, чтобы он их клонировал и читал доки локально, ну и сам код если доков нет.

Железо какое?