LINUX.ORG.RU
Форум — Talks  

Никто не знает, сколько $ нейросеть потратит на конкретную задачу

 , , , ,


0

4

Сабдж


Разработчики ИИ призывают активнее внедрять новые технологии в бизнес-процессы, но проблема в том, что бизнес нередко не может предугадать, сколько именно денег будет потрачено на решение той или иной задачи силами ИИ. В этом уравнении слишком много переменных, чтобы корпоративные пользователи могли достоверно планировать свой бюджет.

…

В допуск от 11 до 25 % превышения первоначального бюджета на ИИ уложились 39 % респондентов, ещё 35 % попали в более широкий диапазон превышения от 26 до 50 %, а вот «промахнулись» на 50 % только 13 % опрошенных. Правда, 2 % респондентов при этом отметили, что вообще не прогнозировали расходы данного вида.

Практическое исследование группы американских учёных и представителей Microsoft Research, которое охватило 6800 различных заданий, выявило высокую степень непредсказуемости результатов работы с ИИ-моделями с точки зрения расходования токенов,

…

Если более «дешёвая» ИИ-модель применяется для задач, под которые она не оптимизирована, расходы могут превысить вариант обращения к более дорогой и эффективной модели. Исследование показало, что такой перекос наблюдается в 32 % случаев. Соответственно, расценки на использование ИИ-моделей сами по себе не могут служить адекватными входными данными для расчёта общих расходов на решение задачи.

На страницах The Wall Street Journal приводится пример с обработкой одного и того же запроса с помощью двух различных моделей Google: более «тяжеловесной» Gemini 3.1 Pro и более доступной и скоростной Gemini 3 Flash. Если первой удалось обработать запрос за 85 шагов, то вторая потратила на это почти 1000 шагов и после этого всё равно не справилась. Затраты в первом случае ограничились $1, а во втором выросли до $14 и фактически не обеспечили желаемого результата.

…

Представители Google пояснили, что подобная вариативность свойственна системам ИИ, и общие расходы на их применение зависят от множества разных факторов. Предсказать точную сумму затрат в столь новой сфере порой весьма затруднительно. Google пытается сгладить колебания расходов, устанавливая ограничители и предлагая различные тарифные варианты. Сотрудников компаний для лучшей предсказуемости расходов на использование ИИ тоже надо обучать наиболее эффективным приёмам работы с такими системами.


Немного предсказуемо, ага.

А смысл обучать сотрудников компаний, если 1) сам гугол запросто может сбросить вас на более легковесную модель, ничего не сказав, 2) новые модели от гугла выходять где-то раз в три месяца. Сотрудников каждые три месяца переобучать? И кто их должен обучать? Гугол?

Перемещено dataman из ai

★★★★★

Последнее исправление: dataman (всего исправлений: 1)

бизнес нередко не может предугадать, сколько именно денег будет потрачено

Это приятно. Так глядишь, ИИ-психоз и ушатает капитализьм. В добрый путь!

bread ☆
()
Ответ на: комментарий от kto_tama

Применяю тот же подход. Но другим методом: коммичу в репу на гитхаб. А потом делаю доработки отдельным чатом этой репы. Мол модифицируй такую-то фичу данной системы.

tcpfinhello
()
Ответ на: комментарий от anc

Вот тут есть мнение, что мы семечки считаем. Я, впрочем, согласен, но если бы я сказал сходу за миллион, меня бы послали как зажравшегося.

VIT ★★★
()
Последнее исправление: VIT (всего исправлений: 2)
Ответ на: комментарий от cadaber

Специально для вас, Google выпустила EmbeddingGemma 2 - она способна выполняться даже на смартфонах, и жрёт меньше гига памяти. Но, и не умеет ничего, увы.

tiinn ★★★★★
() автор топика
Ответ на: комментарий от Lordwind

Я всегда очень точно попадал с прогнозами (ну скажем точность 90%).

Я думаю, ты говоришь про достаточно короткие по времени задачи (месяц-два). На таких дистанциях и работу нейросети можно планировать с достаточной точностью. (Подорожает на 10-20%, изменится уровень рассуждений, неважно - это в пределах погрешностей).

А вот задачи на год-два уже гораздо сложнее поддаются планированию. Срок длиннее, влияющих факторов больше. На таких сроках оплата труда исполнителя (неважно, человека или нейросетки) становится менее заметной на фоне других факторов.

А, ещё надо умножить это на количество исполнителей, задействованных в проекте. То есть, речь не про чистое время проекта, а скорее про человеко-часы.

Beewek ★★★★
()
Последнее исправление: Beewek (всего исправлений: 1)
Ответ на: комментарий от Beewek

задачи на год-два

Так это и не задачи, а более высокий уровень (портфель, эпик) и там планирование с другой погрешностью. Само по себе планирование проводят часто поквартально, т.к. любые затяжные активности в принципе планировать сложно, это не зависит от кожаных или железных. Вот все что умещается в квартал прогнозировать легко. Ну а если не можешь декомпозировать проект на мелкие задачи, то это тоже отдельный пунктик.

Lordwind ★★★★★
()
Последнее исправление: Lordwind (всего исправлений: 1)
Ответ на: комментарий от Lordwind

Согласен. Но фактор умножения на число работников остаётся. Запланировать квартальные траты на одного работника (человека или ии - неважно) - несложно. А на десятки тысяч - тут уже другое дело. Хотя да, у человеков затраты меняются не синхронно для всех, а в случае ии повышение тарифа действует сразу на всех «работников».

Beewek ★★★★
()
Ответ на: комментарий от tiinn

В любом агентском софте это первая вещь которую ты выбираешь, это какая модель используется. И во многих эндпоинтах ты даже запрос не можешь сделать, не указав какая модель тебе нужна.

https://opencode.ai/docs/models/

Gary ★★★★★
()
Ответ на: комментарий от Gary

Так, вы же сами говорите, что не существует сбрасывания на легковесную модель, существует «изменение настроек reasoning effort»

Где эти настройки в пользовательском интерфейсе Gemini?

tiinn ★★★★★
() автор топика
Ответ на: комментарий от tiinn

Ну доступ через подписку я у Gemini не брал и не знаю, что там с настройками.

wandrien ★★★★
()
Ответ на: комментарий от sabacs

Скажем так, до 100k$.

100k ничего?
Не мужик, так ты слона не продашь. (c) анек

anc ★★★★★
()
Ответ на: комментарий от anc

Я с вами согласен, но мы уже масштаб подкорректировали. Но и мы будем разумны. Если речь идёт не о «купи здесь продай там», а о каком-то мало мальском производстве с тремя-пятью сотрудниками, то есть типичный малый бизнес, то полмиллиона оборота с большим трудом поможет покрыть издержки на содержание помещения и оборудования. Микробизнес - это ездить в Польшу с клетчатыми баулами за барахлом. Была такая забава в начале девяностых.

VIT ★★★
()
Ответ на: комментарий от VIT

Я с вами согласен, но мы уже масштаб подкорректировали. Но и мы будем разумны. Если речь идёт не о «купи здесь продай там», а о каком-то мало мальском производстве с тремя-пятью сотрудниками, то есть типичный малый бизнес, то полмиллиона оборота с большим трудом поможет покрыть издержки на содержание помещения и оборудования. Микробизнес - это ездить в Польшу с клетчатыми баулами за барахлом. Была такая забава в начале девяностых.

Да нет, даже в части оборудования если оно не миллионы стоит микробизнес вполне может потянуть.

anc ★★★★★
()
Ответ на: комментарий от anc

Да запросто, об этом я и говорил. Начальные модели вполне можно со 128GB крутить, это шесть кусков с копейками. Не о чем говорить.

VIT ★★★
()
Ответ на: комментарий от VIT

Микробизнес - это ездить в Польшу с клетчатыми баулами за барахлом. Была такая забава в начале девяностых.

Угу, мне эта забава на всю жизнь запомнилась, у нас была завуч препод по литературе у 10х - 11х классов, стерва каких ещё поискать, от она «по совместительству» периодически с баулами каталась и спалили мы её на рынке в мае месяце 11-го класса. После нас «совместительство» стало её работой, чему мы были очень рады, а вот она явно нет, мало того что работу потеряла, так ещё и измываться больше не над кем.

anc ★★★★★
()
Ответ на: комментарий от anc

Ну вот! Но микробизнес это скорее о «выживать», а малый бизнес это «пока не знаю, как пойдёт». Многие считают, что пять сотрудников - это предел, больше которого дело выходит из под контроля. И малый бизнес без всякого сомнения может купить бокс с картой за 6 тысяч. А училка нет.

Интересно, а быть преподавателем литературы, это по определению обязывает быть стервой. И у меня была стерва. Почему если учитель математики, то бедный несчастный человек, а если учитель литературы, то стерва.

VIT ★★★
()
Ответ на: комментарий от VIT

Интересно, а быть преподавателем литературы, это по определению обязывает быть стервой. И у меня была стерва. Почему если учитель математики, то бедный несчастный человек, а если учитель литературы, то стерва.

Не, у нас две школы, точнее даже три т.к. в ту про которую я писал согнали народ из двух других и подобного до этой стервы замечено небыло.

anc ★★★★★
()
Ответ на: комментарий от anc

А вот у меня такая мысль появилась. Преподавать литературу это так или иначе витать в облаках, учить детей «как надо», а не как на самом деле. А столкнувшись с реалиями понимаешь, что занимаешься ерундой. На работе Каренина с Обломовым, а в реалиях клетчатые баулы со шмотками. Отсюда злоба и стервозность.

VIT ★★★
()
Ответ на: комментарий от VIT

Не, она сама по себе косячная, там история была такая: из-за неё/по её недосмотру погиб ребенок в другой школе и ей был заказан путь в образование, к нам она пристроилась по причине того, что вместе с директором училась.

anc ★★★★★
()
Ответ на: комментарий от BruteForce

Я заканчивал спецшколу, по обоим предметам у меня были заслуженные учителя РСФСР. Скажу сразу, заслуженных в те времена кому попало не давали. С тремя учителями математики у меня были прекрасные отношения с самого начала. С обоими учителями русского языка и литературы начало учёбы являлось конфликтом. Потом путём сложных махинаций удавалось конфликт замять, а позже и забыть, но факт остаётся, учителя русского языка и литературы более конфликтные, чем учителя других предметов.

Хотя конечно обобщений строить не следует.

VIT ★★★
()
Ответ на: комментарий от sabacs

У нас есть вот такая фигня.

https://sam.gov

Если внимательно пройтись по тому, что там написано, то будет понятно, что нифига не понятно. Оборот вообще дело десятое. В первую очередь государство смотрит на количество работников и на маркет, в котором бизнес работает.

VIT ★★★
()
Ответ на: комментарий от VIT

Да ещё смотрят на число работников. В микро может быть порядка 10 человек. В малом сотни человек могут быть.

sabacs
()
Ответ на: комментарий от sabacs

У нас микробизнес это всё что ниже 1,5М$ в год оборота. Малый, примерно, до 10M$ оборота в год.

С каких это пор у нас в баксах стали измерять оборот?

anc ★★★★★
()
Ответ на: комментарий от VIT

Если внимательно пройтись по тому, что там написано, то будет понятно, что нифига не понятно. Оборот вообще дело десятое. В первую очередь государство смотрит на количество работников и на маркет, в котором бизнес работает.

А у нас нет.

anc ★★★★★
()
Ответ на: комментарий от VIT

У меня в 9-м классе выходили двойки за первое полугодие по русскому и по химии. Директор (он же преподавал физику) уговорил русичку-литераторшу дать мне шанс и я на зиминих каникулах написал две крупные контрольные, олну на 3, вторую на 5, и она выставила 3 за полугодие.

Помню, директор зашел в кабинет и вручил учителке большую карманную лупу со словами «вот, чтобы вам проще было его почерк разобрать».

А химичка уговорам не поддалась и выкатила ультиматум: либо она ставит мне 2 за полугодие и я 100% остаюсь на второй год, либо я ухожоюу в другую школу. Я ушел.

BruteForce ★★★★★
()
Ответ на: комментарий от BruteForce

А химичка уговорам не поддалась и выкатила ультиматум: либо она ставит мне 2 за полугодие и я 100% остаюсь на второй год, либо я ухожоюу в другую школу. Я ушел.

Вот не умеете вы с людями работать. Сейчас надо обширнее, понимаешь? К людям надо помягше, а на вопросы смотреть ширше. Вот ты думаешь, это мне дали пятнадцать суток? А? Нет, это нам дали пятнадцать суток. Кстати, а у тебя на стройке несчастные случаи были? Будут!

И вообще ты должен вести средь меня рзьяснительную работу. Чтобы я рос над собой.

Привильно! И мух отгонять.

VIT ★★★
()
Последнее исправление: VIT (всего исправлений: 2)
Ответ на: комментарий от VIT

Интересно, а быть преподавателем литературы, это по определению обязывает быть стервой. И у меня была стерва. Почему если учитель математики, то бедный несчастный человек, а если учитель литературы, то стерва.

У меня ровно наоборот было. Учитель по литературе - журналист с университетским образованием, умнейший и добрейший дядька (в школу его сослали из-за алкоголизма). Остальные - типичные злобные советские училки из педов. Тут уж как повезёт.

bread ☆
()
Ответ на: комментарий от BruteForce

Я понял, что дело личное и рана ещё не заросла. Могу лишь пожелать забыть как страшный сон. А химия школьного курса если понадобится изучается за три месяца. Ну органика ещё пару месяцев. А растворимость солей и моли - это вообще физхимия, несчитова.

VIT ★★★
()
Ответ на: комментарий от VIT

Да у меня не было проблем с химией как с таковой: уже в начале 10-го класса была групповая межшкольная олимпиада по химии и команда из средней школы, куда я перешел, заняла 2-е место, уделав команду старой химички. С русским языком было куда больше проблем!

Она просто не могла смириться с тем, что я не делал дз и много пропускал.

BruteForce ★★★★★
()
Ответ на: комментарий от BruteForce

А химичка уговорам не поддалась и выкатила ультиматум: либо она ставит мне 2 за полугодие и я 100% остаюсь на второй год, либо я ухожоюу в другую школу. Я ушел.

Жестяк какой-то, у нас всех из 9-го класса пинком гнали лишь бы больше не видеть, а вот для особо отличившихся пожелавших пойти в 10-й устроили «шоу» с родителями.

anc ★★★★★
()
Ответ на: комментарий от bread

У меня ровно наоборот было. Учитель по литературе - журналист с университетским образованием, умнейший и добрейший дядька (в школу его сослали из-за алкоголизма).

Вот это тема! Так-то обычно трудовик с военруком на двоих соображали, а тут полноценно на троих!

anc ★★★★★
()
Ответ на: комментарий от BruteForce

Подробности: Кабинет директора набитый учителями куда вызывают ребёнка с родителем и начинают парить мозг на тему «та хрен он 10-й потянет, пусть лучше валит в технарь/путягу» если ребёнок упорствует то начинают наседать на родителя «ну отговорите его». Схема сработала, но не так как предполагали преподы, отказавшихся небыло, зато лето было проведено за подтягиванием хвостов, подтянули к удивлению преподов знатно, реально они были в крайне удивлены.

anc ★★★★★
()
Ответ на: комментарий от BruteForce

Я вот вспомнил «как я провел лето» :) Дача, распорядок дня: Позавтракал, если дождя нет и не предвидится то вытаскиваю столик в тенёк под деревья, заваливаю его учебниками с тетрадями и вперед проходить 9-й класс заново, не полную программу, всякие химии с биологиями и т.п. чего в 10-ом уже не будет были отправлены на север, зато то что осталось было выучено настолько, что преподы были мягко говоря удивлены. И в таком же стиле лето провели остальные особо отличившиеся, в общем мы коллективно удивили преподов, исключением была только одна девчонка, но она и ушла неосилив первое полугодие.
PS Кстати в институты поступили все.

anc ★★★★★
()
Последнее исправление: anc (всего исправлений: 1)
Ответ на: комментарий от anonymous_incognito

Думаю попробовать

ИМХО, не стоит. Слишком тяжёлая, и для такой не впечатляет. Qwen3.8-Flash-Next сегодня топ из open weight моделей, которые могут работать на более-менее бытовом железе. Ну либо Qwen3.8-27B.

GAMer ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.