LINUX.ORG.RU

Коммодитизация ИИ уже?

 


0

1

Интеллект базовых моделей быстро превращается в «электричество» — дешёвый товар с низкой добавленной стоимостью (commodity). Когда разница между закрытой моделью за $20/1M токенов и открытой моделью за $0.10/1M токенов становится минимальной никакие меры по закрытию и ограничению доступа к моделям не работают.

Ваша оценка – комодизация уже произошла (война резко упавших цен доступа) или это все «временные трудности»?

★★★★★

разница между закрытой моделью за $20/1M токенов и открытой моделью за $0.10/1M токенов становится минимальной

Ты не учел актуальность и полноту данных, на которых модель обучена. Для переводчиков разницы нет, а для большинства профессий есть. Количество параметров это мелочи. Цены будут расти на те модели, которые регулярно дообучают на свежем.

Второе что ты вероятно не видишь это глубина цепочки для сравнения моделей. Дорогие умеют сохранять контекст, меньше галлюцинируют, быстрее или точнее выдают результат на том же числе запросов. Это приводит к тому, что дешевые модели можно использовать только в жестких настроенных условиях и самому нужно разбираться в предметной области.

Так что добавочная стоимость LLM это обычный труд людей по настройке

Lordwind ★★★★★
()
Последнее исправление: Lordwind (всего исправлений: 2)

война резко упавших цен доступа

Да вообщет говорят, что это были «заманушечные» цены, борьба за клиента, так что ничего не будет падать. Вычислительных мощностей не хватает, а количество клиентов пока растет, большинство пользуются нахаляву, их еще нужно сконвертировать. Ну и основная масса не пользуется. Так что нет, еще не произошла.

goingUp ★★★★★
()

Какое интересное сравнение с электричеством. С учетом того что в каждой отдельно взятой локации его поставщик обычно один…

Сейчас идет этап завоевания доли рынка. Инвесторы денег не считают, поэтому можно демпинговать, заливать неэффективность деньгами. Когда модели как продукты выйдут на безубыточность, тогда можно будет поговорить про справедливые цены. Сейчас это разговор ни о чем

cobold ★★★★★
()

Меры по закрытию доступа вполне себе работают (было бы что закрывать). Естественным барьером выступают технологические ограничения (невозможность запустить модель на любом примусе). То есть ты вынужден покупать либо новый модный примус (который стоит как крыло самолета) , либо доступ к модели, которая вертится на чужом примусе.
Взгляд с другой стороны - ты что продаешь? Повозку для путешествия из пункта А в пункт Б? И как тебе убедить покупателя отслюнявить тебе купюр побольше? Объективно всегда есть выбор - жигули или бэха. И та и другая - доедут, но. И вот это самое «но» стоят тех самых денег, которые надо заплатить за то, чтобы пересесть с жигулей на бэху.
Война идет, но не на уровне «Рога и копыта» против «Заусенцев и сыновья», а уровнем повыше. Поэтому простые методы оценки не работают.

olelookoe ★★★★
()
Ответ на: комментарий от Bad_ptr

Сколько лет ютуб работал в убыток можешь примерно почувствовать?

Хз к чему это, Ютуб работал в убыток, потому что менеджмент не хотел его закрывать, а прибыль Гугл получал с других источников. В OpenAi и Anthropic так не получится.

goingUp ★★★★★
()
Последнее исправление: goingUp (всего исправлений: 1)
Ответ на: комментарий от Bad_ptr

Я прям жопой чую, что вы меня к чему-то пытаетесь подвести, но стесняетесь)

goingUp ★★★★★
()
Ответ на: комментарий от goingUp

В OpenAi и Anthropic так не получится.

Ну, технически деньги инвесторов тоже можно долго жечь. Просто сейчас нужны уже какие-то астрономические бабки.

vazgen05 ★★★
()

Уже сейчас есть MacStudio с 512gb unified озу. Народ на 4х таких запускал Kimi k3. На одном таком мак, но с 192gb озу можно гонять deepseek v4 flash. MacStudio 512gb стоит около $10k, через пару лет, конечно учитывая инвестиции в заводы памяти, такого обьема мини-пк будут стоить $3-5k, что сделает их относительно доступными для дома и малых офисов.

С другой стороны, мы видим, что малые модели 27b и MoE рассчитанные на запуск на обычных ПК стали очень умными. Если память начнет дешеветь, а малые модели умнеть, то кажется, что для повседневных задач будет проще использовать локальные модели. Потерю части бабла от ушедших в локльные llm пользователей для frontier моделей придется компенсировать подъемом цен, который и так идет с каждой моделью в виде все быстрее и быстрее уходящих токенов.

Ну и идут разработки альтернативных архитектур ИИ, возможно что в ближайшее десятилетие все станет сильно другим и про llm забудут как про неэффективные первые шаги

AntonyRF ★★★★
()
Последнее исправление: AntonyRF (всего исправлений: 1)

Тут ещё китайцы мутят воду и отбирают публику. Поэтому да.

Aceler ★★★★★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария