Коммодитизация ИИ уже?

разница между закрытой моделью за $20/1M токенов и открытой моделью за $0.10/1M токенов становится минимальной

Ты не учел актуальность и полноту данных, на которых модель обучена. Для переводчиков разницы нет, а для большинства профессий есть. Количество параметров это мелочи. Цены будут расти на те модели, которые регулярно дообучают на свежем.

Второе что ты вероятно не видишь это глубина цепочки для сравнения моделей. Дорогие умеют сохранять контекст, меньше галлюцинируют, быстрее или точнее выдают результат на том же числе запросов. Это приводит к тому, что дешевые модели можно использовать только в жестких настроенных условиях и самому нужно разбираться в предметной области.

Так что добавочная стоимость LLM это обычный труд людей по настройке

война резко упавших цен доступа

Да вообщет говорят, что это были «заманушечные» цены, борьба за клиента, так что ничего не будет падать. Вычислительных мощностей не хватает, а количество клиентов пока растет, большинство пользуются нахаляву, их еще нужно сконвертировать. Ну и основная масса не пользуется. Так что нет, еще не произошла.

Какое интересное сравнение с электричеством. С учетом того что в каждой отдельно взятой локации его поставщик обычно один…

Сейчас идет этап завоевания доли рынка. Инвесторы денег не считают, поэтому можно демпинговать, заливать неэффективность деньгами. Когда модели как продукты выйдут на безубыточность, тогда можно будет поговорить про справедливые цены. Сейчас это разговор ни о чем

Сколько лет ютуб работал в убыток можешь примерно почувствовать?

Меры по закрытию доступа вполне себе работают (было бы что закрывать). Естественным барьером выступают технологические ограничения (невозможность запустить модель на любом примусе). То есть ты вынужден покупать либо новый модный примус (который стоит как крыло самолета) , либо доступ к модели, которая вертится на чужом примусе.
Взгляд с другой стороны - ты что продаешь? Повозку для путешествия из пункта А в пункт Б? И как тебе убедить покупателя отслюнявить тебе купюр побольше? Объективно всегда есть выбор - жигули или бэха. И та и другая - доедут, но. И вот это самое «но» стоят тех самых денег, которые надо заплатить за то, чтобы пересесть с жигулей на бэху.
Война идет, но не на уровне «Рога и копыта» против «Заусенцев и сыновья», а уровнем повыше. Поэтому простые методы оценки не работают.

Сколько лет ютуб работал в убыток можешь примерно почувствовать?

Хз к чему это, Ютуб работал в убыток, потому что менеджмент не хотел его закрывать, а прибыль Гугл получал с других источников. В OpenAi и Anthropic так не получится.

менеджмент не хотел его закрывать

бобровые менеджеры корпорации бобра?

Я прям жопой чую, что вы меня к чему-то пытаетесь подвести, но стесняетесь)

В OpenAi и Anthropic так не получится.

Ну, технически деньги инвесторов тоже можно долго жечь. Просто сейчас нужны уже какие-то астрономические бабки.

Уже сейчас есть MacStudio с 512gb unified озу. Народ на 4х таких запускал Kimi k3. На одном таком мак, но с 192gb озу можно гонять deepseek v4 flash. MacStudio 512gb стоит около $10k, через пару лет, конечно учитывая инвестиции в заводы памяти, такого обьема мини-пк будут стоить $3-5k, что сделает их относительно доступными для дома и малых офисов.

С другой стороны, мы видим, что малые модели 27b и MoE рассчитанные на запуск на обычных ПК стали очень умными. Если память начнет дешеветь, а малые модели умнеть, то кажется, что для повседневных задач будет проще использовать локальные модели. Потерю части бабла от ушедших в локльные llm пользователей для frontier моделей придется компенсировать подъемом цен, который и так идет с каждой моделью в виде все быстрее и быстрее уходящих токенов.

Ну и идут разработки альтернативных архитектур ИИ, возможно что в ближайшее десятилетие все станет сильно другим и про llm забудут как про неэффективные первые шаги

Тут ещё китайцы мутят воду и отбирают публику. Поэтому да.

а что сейчас есть данные что юТуб стал прибыльным?

В отчете за 25 год, альфабет показала выручку ютуба в $60b. Из них 40 реклама и 20 подписки. От рекламы ~50% они отдают авторам. Остается минимум 20b. Этого по идее должно хватать на содержание инфры и обслуживающего персонала

а что сейчас есть данные что юТуб стал прибыльным?

Да, сейчас говорят прибыльный. У Гугла стали заказывать больше рекламы там, да и просмотры поперли. Ну это про запад. Да и наверное технически стало дешевле, сравни стоимость терабайта хранилища в 2005 и сейчас.

В отчете за 25 год, альфабет показала выручку ютуба в $60b. Из них 40 реклама и 20 подписки. От рекламы ~50% они отдают авторам. Остается минимум 20b. Этого по идее должно хватать на содержание инфры и обслуживающего персонала

по цифрам согласен, похоже отстал от жизни )

Интеллект базовых моделей быстро превращается в «электричество» — дешёвый товар с низкой добавленной стоимостью (commodity).

«Дешевый»(ТМ) Ты не следил штоле, что у них ROI «пока нету» и происходит перекладывание заемного бабла из карманов Куртки в его карманные стартапы и обратно (через оплату обогрева атмосферы в ЦОДах) и таки однажды придется либо ценник поднимать, либо снижать качество? А то у майнеров тоже «электричество бесплатное», пока мамка счет от электросетей не посмотрела.

Сегодня qwen 3.8 MAX выложал, в пятницу 3.8-27b

И как оно?

А у гугла своего ИИ нет? Значит разорит он OpenAi и Anthropic и рыночек порешает.

А у гугла своего ИИ нет?

Да тут весь реддит ржот почему они сейчас выпускают слабенькие flash модели, откладывая новый релиз Gemini 3.5 pro, и уже сливают не то что OpenAi и Anthropic, а и китайцам, при том, что это они придумали трансформер и имеют такой ресурс https://www.reddit.com/r/GeminiAI/comments/1uuvotw/worst_fumble_in_the_history_of_ai/ Хз что там происходит, может они экономят ресурсы перед финальным рывком, может боятся вложиться по крупному и потом слить openweight моделям (некоторые сотрудники говорили такое), может просто бюрократичный бардак.

Этот новый квен ведет себя весьма странно:

https://iili.io/CPI36qg.png

Уже сейчас есть MacStudio с 512gb unified озу. Народ на 4х таких запускал Kimi k3.

Сомнительно. Во-первых таких Mac Studio больше нет, а во вторых наверняка это очень медленно. Тут и GPU не особо быстрый, и объединение в кластер сильно замедляет работу.

Сегодня qwen 3.8 MAX выложал, в пятницу 3.8-27b

Как по вашему, новые версии всех этих ИИ кто пишет? Вернее не так, кто задает вектор развития этих ИИ?

1. Человек.
2. Человек с подсказкой ИИ.
3. Сам ИИ.

Всяко дешевле кожаных, даже с конским ценником. Потому если можно человека на ИИ заменить, то надо менять. И да, товарищи которые там потребление калорий считают - клоуны. Посчитай сколько до ИИ энергии человечество кушало и сколько на каждого кожаного мешка уходит (сейчас это больше 2 киловатт в час). А потом подумай про объём работы который ИИ может сделать за сутки потратив на это энергию и сколько человек. Разница там порядка 60-100 раз в пользу ИИ. Так что удачи всем офисным работникам с ним конкурировать.

Я проще скажу - есть художник иллюстратор - в книжках картинки рисует. Есть нейронки вокруг stable-diffusion. Первые живы (хотя сильно сократились) только потому, что крупные издательства в РФ боятся за авторские права, а не потому что они талантливы и лучше рисуют (это утверждение ложно).

ИИ с проверкой человеком. (другой анон)

Вообще то я про развитие. Вы реально думаете что ИИ сам придумывает фичи которые будут в новой реализации?

Если ИИ в процессе обучения погружен в какой то «физический-математический движок» в цепи обучения с подкреплением, то сам. А на следующем шаге обучения все равно никакой альтернативы «общению с социумом и копированию из него» нет.

СуперПуперИИ это когда предполагается что «из физматдвижка» ИИ вытянет что то что кардинально изменит его «внутреннее мышление в непрерывном пространстве»… ну Алгебра Клифорда нативная там у него появится вместо примитивных тензоров.

Ну и идут разработки альтернативных архитектур ИИ, возможно что в ближайшее десятилетие все станет сильно другим и про llm забудут как про неэффективные первые шаги

Где про это почитать? Это другие нейронные сети или прямо совсем другие принципы?

Сомнительно. Во-первых таких Mac Studio больше нет, а во вторых наверняка это очень медленно.

Зависит от страны. Вроде как вчера обьявили на m5 760gb будет Mac Studio

Порядка 20 токенов на генерацию, что внезапно быстро. Kimi же тоже MoE

Альтернативы трансформерам:

• RNN, LSTM, GRU
• State Space Models
• Mamba
• RWKV
• RetNet
• Hyena
• CNN / WaveNet-подобные архитектуры
• Neural Turing Machine / Differentiable Neural Computer
• Graph Neural Networks
• Liquid Neural Networks

Альтернативы LLM как подходу:

• Символьный ИИ
• Нейросимвольные системы
• Program synthesis
• Planner + executor + tools
• Retrieval-системы
• Knowledge graphs
• World models
• Energy-Based Models
• Diffusion-модели для текста
• Малые модели с внешней памятью
• Теоремные доказатели и SAT/SMT-solvers
• Агентные системы с поиском, памятью и верификацией

Ну и читать как обычно в научных статьях в google scholar или на крайняк кибер ленинка, вместо ванильных ит сайтиков типа хабра где уже пережеванная инфа для школоло

Ну и читать как обычно в научных статьях в google scholar или на крайняк кибер ленинка, вместо ванильных ит сайтиков типа хабра где уже пережеванная инфа для школоло

Понятное дело, нешто мы не понимаем.

Спасибо.

Пока еще не уже. Но все идет к тому что как минимум простые задачи типа сделай картинку, озвучь новый шедевр про говновоз и пр. станут решаемы без лишних капитальных вложений. Этого для большинства пользователей более чем достаточно. Сестра моя например ии в хвост и гриву для дизайна использует. Ей это жизнь в разы упростило. Весь ии у нее работает локально на 4060.

Я вам покушать принес:

Meanwhile, Apollo chief economist Torsten Slok said Friday that profit margins in AI are “…higher the further you get from the end user,” and then said something I think I’ve said maybe four times in the last three months:

The bottom line is that the most profitable part of the AI value chain depends on the least profitable part continuing to grow revenue or raise capital. Capital can bridge the gap for a while, but not indefinitely. And therein lies the risk: will the ROI show up for AI’s end customers fast enough to sustain the spending that is generating those upstream margins?

Good bloody question Torsten! The answer is “probably not.”

Между тем, главный экономист Apollo Торстен Шлок заявил в пятницу, что рентабельность в сфере ИИ «…чем дальше вы от конечного пользователя», а затем повторил то, что, кажется, я говорил уже раз четыре за последние три месяца:

Суть в том, что наиболее прибыльная часть цепочки создания стоимости ИИ зависит от того, насколько наименее прибыльная часть продолжает наращивать выручку или привлекать капитал. Капитал может временно компенсировать потери, но не бесконечно. И в этом заключается риск: окупится ли инвестиция для конечных потребителей ИИ достаточно быстро, чтобы поддерживать расходы, которые обеспечивают эту прибыль на более высоком уровне?

Отличный вопрос, Торстен! Ответ: «скорее всего, нет».

Страх и ненависть по ссылке: [url=«https://www.wheresyoured.at/dont-look-up/»]Тыц[/url]

Пока вполне материальные активы (вокруг которых и идет спекуляция) растут в цене, вокруг них будет «жировать биржевой мультиплексор». Так что «наименее эффективный конец» не такой уж себе «наименее».

Ну а окупание покупателей вопрос сложный – это «нематериальные активы» и все зависит пытаетесь вы их монетизировать или они важны и ценны для вас «сами по себе».

Пытаться продавать когнитивный ресурс (мышление, анализ, генерацию) как стандартный дефицитный потребительский товар вроде барреля нефти или лицензии на софт 90-х — это концептуальная ошибка.

Интеллект и знание по своей природе стремятся к нулевой предельной стоимости. Поэтому любая попытка построить на них традиционную модель извлечения монопольной ренты превращается либо в полицейское огораживание с закрытием науки, либо в чисто финансовый пузырь, где спекулянты перепродают друг другу ожидания будущих прибылей, которым просто неоткуда взяться в реальной экономике.

ИИ пузырь тратит в десять раз больше денег, чем зарабатывает. Когда хайп кончится ­- цены на облачный инференс вырастут в десять раз и вы каждый токен начнёте считать.

Моя оценка - не произошла.

Более того. Совсем недавно Deepseek поднял цены, вроде бы в 100 раз или около того.

Популярность моделей от OpenAI или Anthropic как будто бы не падает.

В целом считаю так. Рынок для ИИ гигантский. И сейчас занята малая доля от этого рынка. Расширение будет, и расширение будет колоссальным. На этом рынке будет место и для дорогих умных моделей, и для дешёвых тупых моделей. Дорогие умные модели будут держать за семью замками. Дешёвые тупые модели будут выкладывать в открытый доступ (честно говоря не понимаю, зачем это делают, но раз делают - остаётся только радоваться). То, что выложили в открытый доступ, можно будет купить по себестоимости, потому, что собрать сервер с видеокартами и запустить готовый софт - не ахти какая задача и на этом рынке будет жесточайшая конкуренция.

Цены будут расти на те модели, которые регулярно дообучают на свежем.

Я пользуюсь Claude Fable. Это одна из лучших моделей на сегодняшний день. И по моим наблюдениям эта модель на свои знания практически никогда не полагается. Если у неё есть возможность - она по каждой мелочи лезет в исходники и проверяет. Или в интернете ищет документацию по нужной версии и проверяет.

Я больше скажу. Вот буквально несколько дней назад я написал код по парсингу XML и использовал в нём задокументированное API по предотвращению XXE. Лично я просто прочитал Javadoc. Но когда я попросил Fable провести review кода, он не поверил javadoc. Сначала он полез в исходники, а через пару минут начал писать тестовый код. И что вы думаете? Эта фича оказалась забагованной. Вот скажу честно - мне бы в голову не пришло так делать. Наверное зря. Но не будешь же тестировать каждую используемую функцию из стандартной библиотеки. В оракл ушел багрепорт, а я немного переписал код.

Это всё к чему. Начиная с какого-то уровня, и как будто бы этот уровень уже достигнут, мне не кажется, что так уж важно модель дообучать на свежем. Тем более, что модель всё равно запоминает всё весьма примерно и если пользуется лишь своей памятью, то неизбежно галлюцинирует. Куда важней, чтобы модель понимала границы своих знаний и не стеснялась «дообучаться» на месте, в моменте, дополняя свой контекст релевантной информацией. Благо работает она в тысячи раз быстрей человека и нет никаких проблем выучить хоть язык программирования в начале каждой сессии.

В конце концов никто в здравом уме не требует от программиста, чтобы он помнил все API. Ожидают, что он знает, где посмотреть и почитать в нужный момент. Почему к LLM должно быть другое отношение?

Ещё добавлю. Известно, что с момента распространения LLM в интернете, да и в печатной прессе начало появляться всё больше сгенерированного материала. Я не великий специалист, но мне кажется, что качество обучения на таком материале может быть низким. Если это так, то может быть и не надо обучать LLM на материалах за пределами условного 2022 года. Ну может быть основные новости ей подать, чтобы она в курсе была, что в мире вообще творится, но это кажется небольшой корпус материалов.

Пока вполне материальные активы (вокруг которых и идет спекуляция) растут в цене

Там бабло привлекается под бумажные мощности ЦОДов, которые еще не построены, а построены они могут быть только при гарантиях возврата инвестиций… которых «все еще» нет.

Все остальные умозрительные бла-бла-бла не экономического характера.

Кто то тратит то что кто то другой получает… как неожиданно и ново )))

Именно – успех решения задания полностью определяется контекстом в котором подано задание…

Контекст (хороший) включает в себя методику решения, факты для решения… всё нужное для «попадания в воронку решения»… надеяться что некая супер модель по «трем словам промпта» чисто «на своих весах» получит ответ весьма наивно и бесперспективно, всегда в тяжелых задачах появляется принципиально новая информация которой в весах модели нет и не будет никогда.

Да и все эти текущие суперпупер модели (судя по число токенов и скорости) тупо внутри себя содержат все выше описанное (методики решения) в «выученном виде». Да реализованное в контексте это не так устойчиво, но тоже работает.

Тут есть одно но, без электричества сейчас практически нельзя жить, даже бензин нужен чтобы товар привезти или самому куда то доехать.

А ИИ кому нужен? Ну пропал сейчас ИИ (КРУГОМ перестал работать, даже локально) и что?

Кто то тратит то что кто то другой получает… как неожиданно и ново )))

https://isaiprofitable.com/

Nvidia инвестирует деньги в Anthropics, чтобы Anthropic покупала ещё больше видеокарт. Все провайдеры инференса находятся в глубочайших минусах и прожигают кучу денег. Anthropics ближе всего к окупаемости — и то только благодаря тому, что являются лидерами и продают весьма дорогостоящий инференс. Причём, замечу, что у антропиков не самые большие модели. То есть, по-хорошему стоимость инференса у всех провайдеров должна стоить в 2-3-4 раза больше, чем у антропиков, чтобы это было как-то окупаемо.

Ага, я могу вообще потратить еще больше. Ну просто обалдеть какой классный показатель – люди собравшиеся пилить бабло, удивительно интенсивно пилят бабло ))

Какое отношение вся эта «бухгалтерия вывода денег из пирамиды» ну и «круговорота (там же)» имеет к окупаемости и себестоимости?

Еще можно пересчитать по выросшей цене матактивы и в убытки решительно записать ))) Вот на Тайване деньги с вертолета уже разбрасывают )))

Я пользуюсь Claude Fable. Это одна из лучших моделей на сегодняшний день. И по моим наблюдениям эта модель на свои знания практически никогда не полагается. Если у неё есть возможность - она по каждой мелочи лезет в исходники и проверяет. Или в интернете ищет документацию по нужной версии и проверяет.

Ещё раз, как этот результат достигается. Сейчас куча контор нанимает программистов, админов, химиков, физиков, медиков на ставку порядка 50-70$/час писать пример поэтапного решения задача для нейросети. То есть, нейросеть уже не запоминает ответы — она запоминает и воспроизводит шаги решения.

Естественно, для этого должна быть типовая задача с типовой последовательностью решения. Если механизм решения задачи неизвестен нейросетке — behaviour undefined, селяви.

Поскольку нейросеть повторяет один в один за когда-то живым человеком, то выглядит это так, будто там сидит живой человек. Но это так. Нейросеть не умеет адаптироваться.

Этого подхода достаточно для того, чтобы антропики хайпали на затёртых до дыр кодовых базах, и типовых сферах, аля фронтенды, IOT, CMS, E-commerce. «Прочитай имеющуюся кодовую базу => прочитай глубже => прочитай ещё глубже => внеси правки => проверь правки своим трассером => напиши тест => запусти внешний тест». Например, я в курсоре уже могу предсказывать последовательность действий агента для моих типовых задач — она довольно скучная и однообразная. Особенно бросается в глаза, когда агент пишет и запускает тесты, хотя Я НЕ ПРОСИЛ ПИСАТЬ И ЗАПУСКАТЬ ТЕСТЫ. А вот потому что в датасетах прописано «пиши и выполняй тесты» — потому она будет писать и выполнять тесты, хоть ты тресни.

А потом начинаетс стандартная вонь от манагеров «о, нейросеть такая умная, я попросил её написать мне фичу, а она предусмотрительно мне даже тесты сама написало. Надо же, какая смышлёная — надо подписочку у антропиков пожырнее купить».

Ну просто обалдеть какой классный показатель – люди собравшиеся пилить бабло, удивительно интенсивно пилят бабло

Они пилят его в расчёте, что завтра можно будет распилить ещё больше. Если станет ясно, что сделать этого нельзя, то все резко начнут очень сильно экономить и повышать цены на услуги. Например, никто не закладывает в стоимость инференса стоимость регулярного переобучения моделей. А модели нужно постоянно переобучать, иначе они быстро устаревают.

ват? модели устаревают??? это как?! o_O

PS

это точно тот же БЯМ написал, что и выше в сообщении «о методиках в моделях»? ))))

Каждые 3 года цена одного и того же объёма вычислений падает вдвое. Когда хайп кончится, десяти раз не будет. Да даже и в 10 раз, всё равно лучше чем джуну ЗП платить.

У неё очень много качественных данных. Все запросы что в них пишут, это запросы кожаных. К тому же, это именно самая ценная информация, о том как правильно пользоваться моделью. Т.е. какие запросы правильные, а какие нет.

В начале прошлого века ровно тоже самое можно было сказать про электричество и бензин. Мы живём во время перемен, смирись с этим. Очередной этап человечества подошёл к концу, как было перед индустриализацией.

Сейчас куча контор нанимает программистов, админов, химиков, физиков, медиков на ставку порядка 50-70$/час писать пример поэтапного решения задача для нейросети.

Все пользователи чатботов делают это бесплатно, просто натыкав туда своих запросов.