LINUX.ORG.RU
Форум — Talks  

Никто не знает, сколько $ нейросеть потратит на конкретную задачу

 , , , ,


0

4

Сабдж


Разработчики ИИ призывают активнее внедрять новые технологии в бизнес-процессы, но проблема в том, что бизнес нередко не может предугадать, сколько именно денег будет потрачено на решение той или иной задачи силами ИИ. В этом уравнении слишком много переменных, чтобы корпоративные пользователи могли достоверно планировать свой бюджет.

…

В допуск от 11 до 25 % превышения первоначального бюджета на ИИ уложились 39 % респондентов, ещё 35 % попали в более широкий диапазон превышения от 26 до 50 %, а вот «промахнулись» на 50 % только 13 % опрошенных. Правда, 2 % респондентов при этом отметили, что вообще не прогнозировали расходы данного вида.

Практическое исследование группы американских учёных и представителей Microsoft Research, которое охватило 6800 различных заданий, выявило высокую степень непредсказуемости результатов работы с ИИ-моделями с точки зрения расходования токенов,

…

Если более «дешёвая» ИИ-модель применяется для задач, под которые она не оптимизирована, расходы могут превысить вариант обращения к более дорогой и эффективной модели. Исследование показало, что такой перекос наблюдается в 32 % случаев. Соответственно, расценки на использование ИИ-моделей сами по себе не могут служить адекватными входными данными для расчёта общих расходов на решение задачи.

На страницах The Wall Street Journal приводится пример с обработкой одного и того же запроса с помощью двух различных моделей Google: более «тяжеловесной» Gemini 3.1 Pro и более доступной и скоростной Gemini 3 Flash. Если первой удалось обработать запрос за 85 шагов, то вторая потратила на это почти 1000 шагов и после этого всё равно не справилась. Затраты в первом случае ограничились $1, а во втором выросли до $14 и фактически не обеспечили желаемого результата.

…

Представители Google пояснили, что подобная вариативность свойственна системам ИИ, и общие расходы на их применение зависят от множества разных факторов. Предсказать точную сумму затрат в столь новой сфере порой весьма затруднительно. Google пытается сгладить колебания расходов, устанавливая ограничители и предлагая различные тарифные варианты. Сотрудников компаний для лучшей предсказуемости расходов на использование ИИ тоже надо обучать наиболее эффективным приёмам работы с такими системами.


Немного предсказуемо, ага.

А смысл обучать сотрудников компаний, если 1) сам гугол запросто может сбросить вас на более легковесную модель, ничего не сказав, 2) новые модели от гугла выходять где-то раз в три месяца. Сотрудников каждые три месяца переобучать? И кто их должен обучать? Гугол?

Перемещено dataman из ai

★★★★★

Последнее исправление: dataman (всего исправлений: 1)
Ответ на: комментарий от kto_tama

Бесплатный сегмент годится на поиграть и обычные вопросы, но в агентском режиме там не поработать. Там действительно могут бросить на более слабую модель, нет возможности работать в агентском режиме.

Тут выбор конечно твой, заплатить 100 рублей и сделать всё за час или несколько дней долбиться в вебку. Хотя некоторые провайдеры имеют бесплатный доступ по апи, но там очень мало токенов.

Gary ★★★★★
()
Ответ на: комментарий от tiinn

Но, с людьми хотя бы известно, сколько з/п жрёт этот сотрудник в месяц. А сроки, да, только приблизительно понятны.

Тут вроде лимиты тоже можно поставить. Просто оно работать перестанет после исчерпания. Вот и получиться, что будет тогда как с людьми, сроки растут, а затраты лимитированы.

Loki13 ★★★★★
()
Ответ на: комментарий от wandrien

GLM 5.3 может запросто всадить в несколько раз больше токенов на задачу, которую GPT-6.1 Sol решает быстро и без усилий.

У GLM есть одно неоспоримое преимущество: её можно развернуть локально. Да, покупка оборудования в моменте стоит очень дорого, но сама стоимость токена падает до уровня «электричество + амортизация».

DarkAmateur ★★★★★
()
Ответ на: комментарий от wandrien

Это понятно, но вопрос о том, где ты взял бесплатный дипсик в агентном харнессе.

в дистрибутив deepin встроен

tiinn ★★★★★
() автор топика
Ответ на: комментарий от DarkAmateur

По отношению к этой модели «очень» довольно мягкое слово, я бы иным образом стоимость такого оборудования охарактеризовал :)

wandrien ★★★★
()
Ответ на: комментарий от tiinn

Там нет готового агентского фреймворка (типа AutoGPT, LangChain-агента, Claude Computer Use, OpenAI Operator) «из коробки», который сам бы выполнял многошаговые задачи на компьютере через DeepSeek.
Там есть конфигурируемый клиент
deepin даёт ИИ-ассистента с возможностью подключить DeepSeek, но не «агентский харнесс» в смысле автономного агента
В deepin можно подключить DeepSeek API к встроенному ассистенту
DeepSeek API ничем не отличается от веб-чата

kto_tama ★★★★★
()
Последнее исправление: kto_tama (всего исправлений: 2)
Ответ на: комментарий от tiinn

Что даёт встроенный ассистент deepin:

1. Доступ к системе и файлам
- Может открывать/искать файлы, читать документы, работать с буфером обмена.
- Может менять настройки системы, запускать команды, управлять окнами (в разной степени в зависимости от версии).
- Веб-чат этого не может — он в песочнице браузера.

2. Системный контекст
- Видит, что у вас за ОС, какие приложения открыты, что выделено.
- Может отвечать «как сделать X в deepin» с учётом реальной конфигурации.

3. Интеграция в UI
- Вызов по горячей клавише, из панели, из контекстного меню, из приложений (почта, редактор).
- Не надо переключаться в браузер и копировать туда-сюда.

kto_tama ★★★★★
()
Ответ на: комментарий от kto_tama

В deepin есть 1 и 3. Пункт 2 эпично провалился, там есть заглушка, но она не работает, я пробовал :)

tiinn ★★★★★
() автор топика
Ответ на: комментарий от kto_tama

Так, подождите. Давайте по порядку.

  1. В deepin есть возможность подключать MCP к их помощнику?
  2. Там реально современный deepseek v4 работает по лицензии или это гонево? Платно-то я куда угодно что угодно могу подключить и так.
wandrien ★★★★
()
Ответ на: комментарий от wandrien

В deepin есть возможность подключать MCP к их помощнику?

Официально — нет, нативной поддержки MCP (Model Context Protocol) во встроенном ассистенте deepin сейчас нет.

Что есть:
Deepin AI / UOS AI поддерживает подключение LLM-провайдеров (OpenAI-совместимые API, DeepSeek, локальные через Ollama и т.п.) — то есть вы задаёте endpoint + ключ + модель.

Можно использовать MCP-совместимые клиенты прямо в deepin:
Claude Desktop (через Wine/нативно — работает нестабильно, но есть сборки).
Cursor / VS Code + Cline / Roo Code / Continue — все умеют MCP и запускаются в deepin как Linux-приложения.
Zed — есть Linux-сборка, поддерживает MCP.
OpenHands — поддерживает MCP, ставится в Docker.

kto_tama ★★★★★
()

Прикол, я тока что читал на хабре про meat proxy - про чуваков, которые любой вопрос перенаправляют ИИ и разговаривают простынками слопа.

wandrien ★★★★
()
Ответ на: комментарий от wandrien

А у меня он уже подписан как нейрослопер https://www.linux.org.ru/forum/talks/18385865?cid=18386196 кстати. Правда по ссылке не про слоп-комменты речь была, но, как ни удивительно, эта характеристика оказалась и тут подходящей.

firkax ★★★★★
()
Ответ на: комментарий от wandrien
  1. Да.
  2. Надо читать соглашение при установке, я уже не помню точно, что там написано. Но это точно дипсик.
tiinn ★★★★★
() автор топика
Ответ на: комментарий от kto_tama

Официально — нет, нативной поддержки MCP (Model Context Protocol) во встроенном ассистенте deepin сейчас нет.

Есть.

tiinn ★★★★★
() автор топика
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от firkax

Тоже подписал, хорошая функция:

kto_tama ★★★★★ (06.10.26 19:40:00 GMT+07:00) слопобот 

Спустя 6 лет программист на Rust заметил, что у сарая нет стены (комментарий)

«Я иногда оптимизирую питоновский код и прошу дипсик переписать его на раст, разогнать так сказать»

Ахахаха, классическая цитата из «Страх и ненависть в Лас-Вегасе» была бы тут очень к месту!

wandrien ★★★★
()
Ответ на: комментарий от kto_tama

В свободной версии, которая идёт вместе с дистрибутивом. Я ничего не платил и не плачу.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от kto_tama

Бред какой-то.

Чтобы проверить MCP, нужно открыть настройки этого «ассистента» и посмотреть, есть ли там возможность добавлять MCP, и если есть - проверить, что модель видит и вызывает инструменты..

wandrien ★★★★
()
Ответ на: комментарий от wandrien

Модель точно видит и вызывает инструменты. Модель анализирует и создаёт .xlsx файлы. Модель сваяла мне рабочий скрипт для копирования .mp3 файлов на флешку. Осталось только запустить.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от tiinn

Блин, у меня нет свободной машины, чтобы этот ваш китайский дистрибутив посмотреть.

А на отдельный том в существующей системе не хочу ставить, мало ли что там навертели.

Доступ к репам-то есть? Раньше не было вроде.

wandrien ★★★★
()
Ответ на: комментарий от Beewek

Ну, с людьми, в общем-то, тоже никто не знает. Сроки выполнения работ (а следовательно и бюджеты) - вещь вообще очень приблизительная.

Если ты делаешь задачу первый раз в жизни то да. Если в своем профиле реализуешь уже накопленный опыт то нет. Я всегда очень точно попадал с прогнозами (ну скажем точность 90%).

А вот нейронку могут изменить, тариф могут изменить, MPC может увеличить расход токенов и еще 100500 параметров, которые вместе с подходами и паттернами сейчас меняются практически каждый месяц.

Lordwind ★★★★★
()
Ответ на: комментарий от tiinn

Что у гугла? Гугл это КОМПАНИЯ! Ты определись вообще о чём ты - о модели Gemma, об Gemini API, об Antigravity, о Colab? Если честно абстрактность этих заявлений и вопросов намекает что ты только заголовки статей читаешь 🫤

Gary ★★★★★
()
Ответ на: комментарий от tiinn

Модель сваяла мне рабочий скрипт для копирования .mp3 файлов на флешку.

От это Мега достижение! Для этого ИИ просто обязан быть.

anc ★★★★★
()
Ответ на: комментарий от anc

Ну если чел сам не мог, то пусть ему ии пишет. Чо плохого.

Просто однажды эта ии ему случайно грохнет файлы, есть такая вероятность.

wandrien ★★★★
()
Ответ на: комментарий от wandrien

Доступ к репам-то есть? Раньше не было вроде.

Там хитрость есть. Отключить одну галочку надо, и тогда появляется. Ну, и да, надо понимать, что в дебиане мне ни разу не удалось подключить сторонние репы.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от aiqu6Ait

Так вот как тут коллеги рядом говорят, суть в том, что с кожаным мешком можно полурабочее что-то выкатить, где-то остановить работу... А с ИИ можно слить депозит, так сказать, и уйти в минус.

Shadow ★★★★★
()
Ответ на: комментарий от Shadow

А с ИИ можно слить депозит, так сказать, и уйти в минус.

С кожаными тоже можно. Вон соседний отдел так и сделал, а потом успешно ушел в другую контору. Понятно, что тут руководство прохлопало красные флаги, но факт остается факом.

aiqu6Ait ★★★★★
()
Ответ на: комментарий от Gary

Что у гугла? Гугл это КОМПАНИЯ! Ты определись вообще о чём ты

Я вот об этом:

На страницах The Wall Street Journal приводится пример с обработкой одного и того же запроса с помощью двух различных моделей Google: более «тяжеловесной» Gemini 3.1 Pro и более доступной и скоростной Gemini 3 Flash

tiinn ★★★★★
() автор топика
Ответ на: комментарий от wandrien

Ну если чел сам не мог, то пусть ему ии пишет. Чо плохого.

Мне кажется на «Чо плохого» вы ответили сами:

Просто однажды эта ии ему случайно грохнет файлы

anc ★★★★★
()
Ответ на: комментарий от anc

Просто однажды эта ии ему случайно грохнет файлы

Как (linux.org.ru) сказал @VIT,

а отказаться от использования - явно проиграть конкурентам по скорости и эффективности разработки.

А вы не пользуйтесь, не пользуйтесь.

tiinn ★★★★★
() автор топика
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от wandrien

Под линукс - чисто пет-проект

tiinn ★★★★★
() автор топика
Ответ на: комментарий от aiqu6Ait

Слушай, ну ты прям пограничные кейсы тут выдаёшь, в отличии от... Вот сегодня у меня оплаченный Open AI стал контекст терять и зависать, пишет, какие-то проблемы.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 1)
Ответ на: комментарий от VIT

Зависеть от онлайн провайдера бизнес позволить себе не может

Чего? Амазон, гугл и эйжур дружно надорвали животики

stave ★★★★★
()
Ответ на: комментарий от stave

А вы по каким критериям оцениваете слова «позволить себе не может»? Я имею ввиду, что если я проектирую новое устройство, то я не хочу об этом сообщать антропику или опенейай, а через них гуглу, майкрософт и яхе, а чеhез них и всему остальному миру. А вы что?

VIT ★★★
()
Ответ на: комментарий от sabacs

Сомнительно. Малый бизнес вполне устроит модель помещающаяся в одну A100/H100. Т.е. 80Гб VRAM и 200Гб RAM.

Я не согласен. Малый бизнес, до $100-500К оборота в год вполне может тратить $30-40К на средства производства.

VIT ★★★
()
Ответ на: комментарий от VIT

Малый бизнес, до $100-500К оборота в год вполне может тратить $30-40К

Откуда малый бизнес с оборотом в $100K возьмёт $30-40К ?

anc ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.