LINUX.ORG.RU

Коммодитизация ИИ уже?

 


0

1

Интеллект базовых моделей быстро превращается в «электричество» — дешёвый товар с низкой добавленной стоимостью (commodity). Когда разница между закрытой моделью за $20/1M токенов и открытой моделью за $0.10/1M токенов становится минимальной никакие меры по закрытию и ограничению доступа к моделям не работают.

Ваша оценка – комодизация уже произошла (война резко упавших цен доступа) или это все «временные трудности»?

★★★★★
Ответ на: комментарий от peregrine

В начале прошлого века ровно тоже самое можно было сказать про электричество и бензин.

Ну ты сравнил, конешшшно. Буквально иишенку с электричеством и бензином.

Очередной этап человечества подошёл к концу

Очередной пузырь, для «этапа» еще рано — посадок организаторов еще не было.

slackwarrior ★★★★★
()
Ответ на: комментарий от slackwarrior

Ну ты сравнил, конешшшно. Буквально иишенку с электричеством и бензином.

Ну можно с ядерным реактором сравнить или с атомной бомбой, если это ближе. Так то ИИ-шенка уже позволяет делать то, что каких-то 10 лет назад было немыслимо. Даже вот эта клоунада была бы невозможна. Макском пилил сколько ЛОР? 30 лет? За сколько его на rust (да криво, да косо, да с багами) переписал дядя стёпа? За 2 выходных дня? Если бы мне 10 лет назад кто-то сказал что какой-то дядястёпа скопирует ЛОР на расте который просто скомпилируется за пару дней, то я бы смеялся и крутил пальцем у виска глядя на психа. Теперь это наша реальность.

peregrine ★★★★★
()
Ответ на: комментарий от peregrine

Ну можно с ядерным реактором сравнить или с атомной бомбой, если это ближе.

Это сравнение еще упоротее :)

slackwarrior ★★★★★
()
Ответ на: комментарий от peregrine

Макском пилил сколько ЛОР? 30 лет?

Тебя че-т так и тянет на гиперболы. Можно подумать все 28 лет только и делал что пилил. Без перекуров, а мы такие сидели и ниггадовали из-под анонимусов «ну когда уже допилит».

Если бы мне 10 лет назад кто-то сказал что какой-то дядястёпа скопирует ЛОР на расте который просто скомпилируется за пару дней, то я бы смеялся и крутил пальцем у виска глядя на психа.

Как скопирует, так и забросит. Код еще сопровождать надо. На rust — удачи ему.

Теперь это наша реальность.

На здоровье, главное пейте больше воды.

slackwarrior ★★★★★
()
Ответ на: комментарий от peregrine

В начале прошлого века ровно тоже самое можно было сказать про электричество и бензин. Мы живём во время перемен, смирись с этим. Очередной этап человечества подошёл к концу, как было перед индустриализацией.

Не очень понял. Можете привести пример когда без ИИ нельзя будет существовать?

anonymous
()
Ответ на: комментарий от peregrine

Даже вот эта клоунада была бы невозможна. Макском пилил сколько ЛОР? 30 лет? За сколько его на rust (да криво, да косо, да с багами) переписал дядя стёпа? За 2 выходных дня? Если бы мне 10 лет назад кто-то сказал что какой-то дядястёпа скопирует ЛОР на расте который просто скомпилируется за пару дней, то я бы смеялся и крутил пальцем у виска глядя на психа. Теперь это наша реальность

Мда. И ЭТО вы приводите как реальный пример «нужности ИИ» :( Это даже не смешно.

anonymous
()
Ответ на: комментарий от BruteForce

Ты так говоришь, будто в случае ЛОРа единственным ограничением разработки является код. Но код здесь, ИМХО, это НЕ бутылочное горлышко.

+1

Наоборот даже, если ИИ перестанет помогать писать КОД то это только +, настоящие программеры снова будут востребованы а это исчезнет все школота что теперь косят под программеров.

anonymous
()
Ответ на: комментарий от slackwarrior

Ну ты сравнил, конешшшно. Буквально иишенку с электричеством и бензином.

Потенциал ИИшек - бесконечно выше и бензина и электричества. И бензин и электричество - проходящее, просто один из видов энергии на данной ступени развиия цивилизации, как дрова или кизяк. А ИИшка это перспектива на создание вида. Очень зачаточная, но все же.

LightDiver ★★★★★
()
Ответ на: комментарий от slackwarrior

Вопрос не в том, что он скопировал, а в том что нуб, нихрена не понимающий технологии и языка, смог это сделать.

Представь, что средневековому воину показали крестьянина с пулеметом. Этот воин учился всю жизнь, на его обеспечение работают три деревни. Он - вершина военного искусства своего мира. А приходит крестьянин с пулеметом и крошит стадо таких воинов, не напрягаясь и без обучения особо.

LightDiver ★★★★★
()
Ответ на: комментарий от anonymous

Уже. Сейчас ИИшки на уровне равития интернета в году 2005-10. Когда еще им пользовались по большей части энтузиасты, но уже активное распространение в широкие массы пошло.

И если интернету на это потребовались десятилетия, то иишке пара лет.

LightDiver ★★★★★
()
Ответ на: комментарий от BruteForce

Ну, справедливости ради, он взял шаблон - открытый код движка. По шаблоны ИИшки работают очень хорошо. И даже на основе шаблона сделал ну не очеь качественный код. Что всеравно впечатляет. Им еще развиваться и развиваться.

Сам бы с нуля без шаблона без подсказок он пилил бы с ИИшкой это год-два. Минимум.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Потенциал ИИшек - бесконечно выше и бензина и электричества. И бензин и электричество - проходящее, просто один из видов энергии на данной ступени развиия цивилизации, как дрова или кизяк.

Да-да, а потанцевал ракеты Р-7 — межзвездные путешествия.

А ИИшка это перспектива на создание вида. Очень зачаточная, но все же.

А где ты видишь прогресс БЯМ окромя кодогенерации с X на Раст? Что заставляет тебя думать, что перспектива — это где-то близко?

BruteForce ★★★★★
()
Ответ на: комментарий от BruteForce

Написать код — не является проблемой, ни до БЯМ-бума, ни сейчас.

Очень даже является для того кто не знает технологию, язык и как это в принципе должно работать. Что использвать, как и почему.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Уже. Сейчас ИИшки на уровне равития интернета в году 2005-10. Когда еще им пользовались по большей части энтузиасты, но уже активное распространение в широкие массы пошло.

И если интернету на это потребовались десятилетия, то иишке пара лет.

Вы не понятно пишите. Интернет для людей, люди им пользуются, в начале мало юзали так как был дорогой, и не очень распространенный … время все выправило.

А ИИ что? Не очень понимаю. Ну получит он распространение и что дальше?

Или вы про то что теперь люди стали не грамотные зачем грамотность если и так проверяется орфография … вы про это что ли? Типа ИИ будет популярным, люди вообще перестанут думать что то изучать, совсем отупеют и не смогут жить без ИИ?

anonymous
()
Ответ на: комментарий от LightDiver

Отлично! Теперь он может написать код. Но это не избавило его от других проблем!

Если у тебя узкая и медленная шина памяти, то не важно как возрастет кол-во и скорость проделываемых процессором операций при выполнении задачи, упирающейся в скорость передачи данных.

BruteForce ★★★★★
()
Ответ на: комментарий от anonymous

Ну получит он распространение и что дальше?

Пора бы проснуться, уже получил. Технология вошла в широкие массы.

Типа ИИ будет популярным, люди вообще перестанут думать что то изучать, совсем отупеют и не смогут жить без ИИ?

Так я ж откуда знаю. Есть два варианта развития событий: 1) обучение замедлится до полного отсутстия необходимсти думать самому, что плохо. 2) Иишки наоборот упростят обучение.

Сейчас оба варианта равновероятны. Нужно смотреть практику. Но если смотреть предыдущие этапы развития технологий, скорее второе.

LightDiver ★★★★★
()
Ответ на: комментарий от BruteForce

Отлично! Теперь он может написать код. Но это не избавило его от других проблем!

99.9% проблем новичка - это отсутствие знаний, опыта и непонимание с чего начать и как.

Иишки как раз решают эти проблемы. Раньше у тебя сначала не было информации вообще. Как у нас в библиотеке была одна книга по древней версии бейсика 80х годов, еще с let. Потом развился интернет, у тебя была куча неструктурированной информации. Тонны и килотонны всякой инфы, в которой можно было копаться годами, не найдя нужного тебе.

А теперь достаточно поспрашивать ИИшку и узнаешь нужные занния. Не информацию, а структурированные нужныеы тебе знания. А дальше уже дело техники. С опытом кривого кода поймешь как лучше.

Я сам без ИИшек изобрел ООП, base85, например. И без знаний что это такое и как это работает. А уж с ИИшками то, которые подскажут нужные технологии.

Не надо считать, что молодежь тупая. Когда очень хочется, они докопаются куда надо.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Пора бы проснуться, уже получил. Технология вошла в широкие массы.

Ну мне сложно судить о массах, сужу по себе. Редко юзаю ИИ, и как правило все время от нее отрицательный эффект.

Типа говорю ему как сделать так, причем сам более менее понимаю суть, он что то наговорит, и исходя из ответов говорю ему что лучше сделать не так а вот так, а он мне - вы совершенно правы и начинает выдавать противоположный ответ :( Нафиг такой ИИ нужет? То так то эдак перевернет.

Правда я иногда развлекаюсь с ним, возьму урл с ЛОРА-форму и говорю ему проанализируй участников обсуждения - прикольно его характеристики людей по никам почитать :) Но это так баловство.

  1. Иишки наоборот упростят обучение.

Это противоречит самой идеи использования ИИ, если ИИ будет людей проще обучать то потребность у ИИ будет только у школьников, потом люди все меньше и меньше будут юзать ИИ так как уже научились.

anonymous
()
Ответ на: комментарий от anonymous

если ИИ будет людей проще обучать то потребность у ИИ будет только у школьников, потом люди все меньше и меньше будут юзать ИИ так как уже научились.

Неа.. Обучение длится всю жизнь по нарастающей сложности. Невозмоно научиться всему раз и навсегда.

А вот спросить характеристики юзеров это прикольно, да. Я сам эту фичу открыл пару неель назад.

Но Интересно, что чем умнее модель, тем меньше комплиментов юзеру и тем больше негативного выкапывает.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Неа.. Обучение длится всю жизнь по нарастающей сложности. Невозмоно научиться всему раз и навсегда.

Да согласен, но зачем всему учиться то?

Был у Шекли такой рассказ, смутно помню, прилетели к нам инопланетяне и кого то там похитили из людей, и оказалось что там в корабле солянка из разных инопланетян, у одних предназначение такое у других другое. Из людей получаются кто то там. Т.е. у людей какая то жесткая роль и не фига лезть во все подряд.

anonymous
()
Ответ на: комментарий от LightDiver

Потенциал ИИшек - бесконечно выше и бензина и электричества.

Это не тех ИИшек потенциал, не путай теплое с мягким. ИИшенкам до «тех ИИшек» как до луны (или до бензина с электричеством, которое они покамест жрут несоизмеримо с выхлопом).

Очень зачаточная, но все же.

Цельноворованная у сильного ИИ при помощи «маркетингомагии».

slackwarrior ★★★★★
()
Ответ на: комментарий от LightDiver

вот нашел если интересно:

https://ru.wikipedia.org/wiki/%D0%A1%D0%BF%D0%B5%D1%86%D0%B8%D0%B0%D0%BB%D0%B8%D1%81%D1%82_(%D1%80%D0%B0%D1%81%D1%81%D0%BA%D0%B0%D0%B7)

Это к чему? К тому что я считаю что у людей должна быть жесткая специализация, и не нужно изучать ВСЕ.

anonymous
()
Ответ на: комментарий от LightDiver

Вопрос не в том, что он скопировал, а в том что нуб, нихрена не понимающий технологии и языка, смог это сделать.

Вы либо такие же «нихрена не понимающие», либо да.

средневековому воину показали крестьянина с пулеметом.

Современные попаданцы, бредящие этим «с пулеметом в средневековье» просто не в теме за смерть цвета французского рыцарства на полях Пуатье, Азенкура и Креси — буднично и без «маркетинга». Когда время полного доспеха и так поджимало развитие артиллерии.

А приходит крестьянин с пулеметом и крошит стадо таких воинов, не напрягаясь и без обучения особо.

Божечки, просто йомены с луками пришли. А вы все бредите попаданством.

и без обучения особо.

Это уже басни про «страйкболистов», которые заменяют обучение военному делу пафосом и позерством.

slackwarrior ★★★★★
()
Ответ на: комментарий от slackwarrior

Это не тех ИИшек потенциал, не путай теплое с мягким.

А я не путаю. Они уже могут без прямых условий парсить абстрактную речь. Это само по себе невероятно. Лет 20 назад я бы посмеялся, если кто сказал, что такое возможно. Да и 10…

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Они уже могут без прямых условий парсить абстрактную речь

Они повторяются и в цикл уходят рано или поздно. Потому что это «не те ИИшки, которых вы ищете».

slackwarrior ★★★★★
()
Ответ на: комментарий от anonymous

Жесткая специализация не заменяет необходимости постоянного обучения во многих профессиях. Например у докторов. Очень хорошо это показано в сериале Клиника в одной из серий.

Да в любой профессии, которая развивается. Ты или развиваешься вместе с ней или тебя заменят тем, кто развивается.

Оооо! Я помню этот рассказ. Планета проводов итд. Да, Шекли гений.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от psv1967

ват? модели устаревают??? это как?! o_O

Даже свежие модели тренированы на устаревших датасетах, из-за чего могут советовать решения на API, которых уже не существует. И это совершенно свежая модель — потому что у неё устаревшие датасеты (типа «проверенные временем, эталонные»). А если в модель вообще не заливать ничего из 2025 года, то она не просто будет «советовать старое», но и даже при явном промте «напиши мне на новом API» будет смотреть на это API как баран на новые ворота. Или на запрос про поиск техники для покупки будет настойчиво говорить «такого продукта не существует, давайте я лучше вам расскажу, какие продукты лучше было купить 5 лет назад».

Частично от этого спасает тот факт, что питон не развивается последние 10 лет, JS — последние 5 лет, и так далее. Но если внезапно вся индустрия начнёт писать на Web Components и пачке новых фреймворков под него — БЯМ нужно будет переучивать. Есии ты не замечал — нынче БЯМ предпочитают писать на примитивном JS+HTML, в крайнем случае какой-то ортодоксальный React.js или Angular, но они плохо дружат с каким-нибудь Solid.js или, боже упаси, что-то на базе dom-expressions (десятки их) — всё, с новыми фреймворками ты спасаешь сам себя.

В том числе я потому так жутко недоволен БЯМ — их повсеместное внедрение значит, что использование любой новой технологии не выгодно, потому что БЯМ с ней не умеет работать, все ваши вайбкодеры с богатым опытом писания на курсоре оказываются по эффективности хуже джуна, если их посадить на новую технологию.

byko3y ★★★★★
()
Последнее исправление: byko3y (всего исправлений: 1)
Ответ на: комментарий от slackwarrior

Они повторяются и в цикл уходят рано или поздно. Потому что это «не те ИИшки, которых вы ищете».

+1

Не кого ни хочу обидеть но в Звездных Войнах есть такая фраза: Сила быстрее действует на слабых духом людей.

Это к тому что восторгаются нынешним ИИ сейчас только те у кого своего …

По мне как был ящик-комп цветным калькулятором так и остался.

anonymous
()
Ответ на: комментарий от slackwarrior

Они не уходят в классический цикл, как тебе это кажется. Они просто теряют контекст. Это вообще другое. Они считают, что части прошлой беседы не было и генерируют ее заново.

Просто не нужно превышать лимит контекстного окна.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Они не уходят в классический цикл, как тебе это кажется. Они просто теряют контекст. Это вообще другое. Они считают, что части прошлой беседы не было и генерируют ее заново.

Просто не нужно превышать лимит контекстного окна.

ну зачем так писать?

Они просто теряют контекст.

:( Что за ерунда :( Нужно писать так (к примеру)

так как вы не заплатили за этот ИИ (или заплатили мало) то через столько то слов программа обнуляет кеш. Комп-прога НЕ МОГУТ потерять контекст это не человек.

anonymous
()
Ответ на: комментарий от LightDiver

Они не уходят в классический цикл, как тебе это кажется. Они просто теряют контекст. Это вообще другое.

ну вот уже пошла стадия торга.

slackwarrior ★★★★★
()
Ответ на: комментарий от peregrine

Каждые 3 года цена одного и того же объёма вычислений падает вдвое. Когда хайп кончится, десяти раз не будет.

Я напоминаю, что совсем недавно закон Мура пытался говорить про удвоение каждые 2 года. Потенциал количественного роста на 2026 почти полностью исчерпан. Допустим, для тех же FP16 удвоение быстрее чем за 2 года происходило за счёт качественных скачков, как то TPU ядра. Допустим, у меня 3060 очень быстро инференсит FP16, но инференс в FP32 намного медленнее, а FP64 (для какого-то обучения) — это просто забей.

Для сравнения, в ЦП удвоение производительности происходит за 6-7 лет.

На данный момент Nvidia тратит десятки миллиардов (суммарно сотни млрд за годы) на разработку всё более специализированного железа и алгоритмов — когда вагоны денег перестанут идти, то все эти технологии станут замороженными, а EUV литография будет давать удвоение каждые 10 лет.

Да даже и в 10 раз, всё равно лучше чем джуну ЗП платить.

Вот тут соглашусь. То, что называлось «программирование» в COVID (вёрстка, эксель таблички, копипаста одинаковых строчек на PHP), вообще не должно было существовать.

byko3y ★★★★★
()
Ответ на: комментарий от peregrine

Каждые 3 года цена одного и того же объёма вычислений падает вдвое. Когда хайп кончится, десяти раз не будет.

Ничего там не падает, потому что ROI нет на горизонте «до 2030» года. Ишак, или падишах... Или Куртка.

slackwarrior ★★★★★
()
Ответ на: комментарий от anonymous

так как вы не заплатили за этот ИИ (или заплатили мало) то через столько то слов программа обнуляет кеш. Комп-прога НЕ МОГУТ потерять контекст это не человек.

Не говори в чем не разбираешься, размер контекстного окна зависит не от оплаты, а архитектуры сети и ресурсов компьютера, на котором она работает. Не ну при желании можно и от оплаты сделать, но смысл в том, что в трансформере трата памяти и и её объём растут квадратично от размера контекста. Фактически перемножение двух матриц.

Так что ещё как теряют. Сейчас придумывают разные хитрости, чтобы без квадратичности увеличить окно контекста, но решения частичные получаются.

anonymous
()
Ответ на: комментарий от peregrine

Все пользователи чатботов делают это бесплатно, просто натыкав туда своих запросов.

И да, и нет. Это совершенно разные наборы тренировочных данных: эксперты пишут развёрнутые пояснения хода достоверно правильного решения, обычные пользователи пишут что попало и ничего ен поясняют. Собственно, ключевой критерий отбора на роль эксперта-писателя датасетов — это способность развёрнуто пояснять ход решения.

byko3y ★★★★★
()
Ответ на: комментарий от anonymous

Не говори в чем не разбираешься, размер контекстного окна зависит не от оплаты, а архитектуры сети и ресурсов компьютера, на котором она работает. Не ну при желании можно и от оплаты сделать, но смысл в том, что в трансформере трата памяти и и её объём растут квадратично от размера контекста. Фактически перемножение двух матриц.

Вы по сути написали тоже самое. Просто я подумал что у платных клиентов и бесплатных размер контекстного окна больше. А оплата клиентов (частично) идет на вваливание в СОФТ и в ЖЕЛЕЗКИ.

Вот с вашей поправкой: ИИ в виду своей ущербности(читай софт+железо) не может вести диалог более чем 100 слов.

Так что ещё как теряют. Сейчас придумывают разные хитрости, чтобы без квадратичности увеличить окно контекста, но решения частичные получаются.

Т.е. все? кирдык? ИИ больше не может развиваться уперся в железо?

anonymous
()
Ответ на: комментарий от anonymous

Т.е. все? кирдык? ИИ больше не может развиваться уперся в железо?

Когда приходишь к какому то физическому пределу путем грубой силы, пора врубать мозги. Для иишек в данном контесте используются аппроксимации и хаки всякие. Например, читается не весь текст, а общий контекст, ключевые слова. Если читают код - по названиями, сигнатурам, но не весь код всех функций. Потому модель может и не знать где у тебя конкретно что сейчас используется, если специально не уточнить.

Физический тупой предел достигнут давно, а вот концептуальный врядли можно достигнуть. Всегда есть варианты как расширить.

Ну, то есть все как у человека. Ты точно так же можешь пробежаться по коду и выхватить основное сначала. Только разница в модели нейронов. Ты можешь остановиться, вчитаться, вернуться назад, а ИИшка должна за один раз прочитать все нужное и все.

LightDiver ★★★★★
()
Последнее исправление: LightDiver (всего исправлений: 1)
Ответ на: комментарий от LightDiver

Только разница в модели нейронов. Ты можешь остановиться, вчитаться, вернуться назад, а ИИшка должна за один раз прочитать все нужное и все.

Иными словами, для развития ИИ железо должно расти в геометрической прогрессии … ну ну.

Походу развитие ИИ скоро остановится, если уже не остановилось. (Если кто не понял я не про запихивание в ИИ новых данных)

anonymous
()
Ответ на: комментарий от anonymous

Ну для человека же размер мозга не должен был расти? Так и тут - есть варианты работы.

Например, агентная работа, когда есть один оркестрант, видящий общую картину и дающий задания другим ИИшкам, котоыре видят только свою небольшую часть, зато видят ее подробно. Декомпозиция задачи.

Технология очень молодая и пробуется разное методом тыка.

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Ещё сейчас много экспериментируют с разными архитектурами, пытаются найти что-то новое вместо трансформеров. Есть интересные варианты. Один из них: рекурсивные (не путать с рекуррентными) сети. Если в двух словах на пальцах, то обычные сети пытаются думать один раз, а рекурсивные длительно повторяя «размышления». Результаты интересные: на некоторых задачах очень маленькие сетки буквально в сотни тысяч параметров опережают сетки в сотни миллиардов.

anonymous
()
Ответ на: комментарий от LightDiver

Например, агентная работа, когда есть один оркестрант, видящий общую картину и дающий задания другим ИИшкам, котоыре видят только свою небольшую часть, зато видят ее подробно. Декомпозиция задачи.

Вот тут пример приводили с инетом. Пока ИИ будет закрытый и разрозненный, читай разные сетки а не инет, то фиг он продвинется куда то, будут одеяло тянуть на себя.

И мы вместо единой-бесплатной-электронной-почты, получим фигню в которую превратились сейчас инет-мессанджеры. Люди у себя ставят их штук по 6 и мечутся из одного в другой.

anonymous
()
Ответ на: комментарий от anonymous

а рекурсивные длительно повторяя «размышления».

ну я и писал, развитие железок в геометрической прогрессии.

anonymous
()
Ответ на: комментарий от Lordwind

Цены будут расти на те модели, которые регулярно дообучают на свежем.

Пусть растут. Китайцы их дистиллируют и выкатят в 10 раз дешевле.

Дорогие умеют сохранять контекст, меньше галлюцинируют, быстрее или точнее выдают результат на том же числе запросов. Это приводит к тому, что дешевые модели можно использовать только в жестких настроенных условиях и самому нужно разбираться в предметной области.

Это чепуха. Дешёвые модели прекрасно справляются с 99% тех же задач, что и дорогие модели, но не за один проход, а за 2-3, но тоже полностью автономно, т.е. тратят в 3 раза больше токенов на задачу, но учитывая в 10 раз более низкую цену за токен, всё равно получается выгодно.

А размер контекста у них у всех 1 млн., что означает, что сессия должна быть не больше 200К токенов, что довольно дофига для большинства задач.

yvv1 ★★
()
Последнее исправление: yvv1 (всего исправлений: 1)
Ответ на: комментарий от yvv1

не за один проход, а за 2-3... всё равно получается выгодно

Ты забываешь что у всех llm в длинных цепочках падает точность и растут галюны. Модель никогда тебе не ответит что чего-то не знает, не умеет или нет данных. Она придумает и нафантазирует. Поэтому дешевые модели и нуждаются в тонкой настройке и жестких ограничениях. Иначе от экономии токенов ты уже своего времени больше потеряешь и в итоге выйдешь в ноль. Мне дипсик придумывает несуществующие настройки и целые технологии прям постоянно, сколько им пользуюсь.

Lordwind ★★★★★
()
Ответ на: комментарий от Lordwind

Модель никогда тебе не ответит что чего-то не знает, не умеет или нет данных. Она придумает и нафантазирует. Поэтому дешевые модели и нуждаются в тонкой настройке и жестких ограничениях.

В этом смысле дешёвая модель не отличается от дорогой ничем. Её по-любому нужно ограничивать обвязкой и контекстом. А при правильно заданных условиях, она по- любому выдаёт однозначный результат, только за разное кол-во затраченных токенов, я сам проверял на разных моделях. Существенная разница есть между большими и маленькими моделями, но не между дорогими и дешёвыми.

yvv1 ★★
()
Ответ на: комментарий от peregrine

Там в запросах таких «руда от миллионов не ошибающихся мух». Куда проще сразу взять эксперта и дообучать на нем напрямую, чем искать его в потоке прошедшем через мясорубки «типа провайдеров LLM».

Поток закрепит «среднее» (и оно не понравится), а подбор экспертов позволит сразу в «верхний квантиль» выпрыгнуть.

psv1967 ★★★★★
() автор топика
Ответ на: комментарий от yvv1

Существенная разница есть между большими и маленькими моделями

Да вот нифига. Разверни локально любую модель на несколько лярдов и сравни с коммерческими. Размер и параметры влияют только на вариативность (влияние температуры), а вот обученность влияет на точность или минимальное количество запросов для достижения результата. Лучшая аналогия это клон человека, он по коду ДНК такой же сложный как оригинал, только у него в мозгах нихрена не будет, в лучшем случае получится ребенок или балбес, в худшем овощ.

Lordwind ★★★★★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария