В чём реальная проблема ЛЛМ

Так нормально делай - нормально будет

Кто ж спорит. И ЛЛМ тогда ненужно. Беда в том, что в реальном мире так получается редко.

И ЛЛМ тогда ненужно.

Ещё раз говорю - она может делать рутину, что в целом неплохо, правда не совсем дешево.

Не клади все яйца в одну корзину.

«С нашим ИИ ты просто пишешь что тебе нужно и получаешь результат без знания предметной сферы» - маркетинговый булшит.

Но если ты способен и сам решить задачу, которую хочешь от ИИ, то с ИИ есть возможность решить её в несколько раз быстрее. При этом, разумеется, нужно набить руку, чтобы заранее понимать какой вопрос нужно задать ИИ, чтобы понять не облажался ли он, подмечать всякие детали в ответах («ага, он не упомянул Х - надо спросить прямо») и т. п.

Это будет говно на палке.

Есть опенсорсные модели на ~700B параметров (дипсик, qwen), они похуже, чем антропики с ОпенАИ, но не настолько хуже, чтобы не имело смысл с ними работать. Другое дело, что оборудование для запуска их полной версии сейчас стоит слишком дорого и токены покупать может оказаться дешевле.

Однако тут так ещё. С одной обычной видеокартой, даже RTX 5090 возможности усечённых вариантов недостаточно для нормального кодинга, но по экспериментам, уже где-то на паре RTX A6000 с суммарными 96Гб VRAM более приемлемые варианты возможны. Хотя конечно, с нынешними ценами такой комп всё-равно сильно недешёвый.

Есть опенсорсные модели на ~700B параметров (дипсик, qwen), они похуже, чем антропики с ОпенАИ, но не настолько хуже, чтобы не имело смысл с ними работать.

Так эти модели не «на коленке» натренированы.

Другое дело, что оборудование для запуска их полной версии сейчас стоит слишком дорого и токены покупать может оказаться дешевле.

Речь же была не про запуск готовой, а про обучение своей… Для запуска-то оборудование как раз вполне доступное обывателю (да, не любому и с трудом, но это что-то, что при большом желании может себе позволить физическое лицо, а не только корпорация).

что чем больше ты с ними общаешься в одном чате, тем больше они галлюцинирует

Не то чтобы галюцинируют, но начинают нести пургу и винегрет из контекста, т.к. у них нет личности, чтобы использовать контекст разговора в рамках чего-то большего. Если в контексте были противоречивые утверждения, то модель не выбирает какой точки зрения придерживаться, а молотит оба два. Поэтому контекст нужно периодически сжимать до ключевых тезисов.

Зато, выигрыш очевиден:

1. Можно не думать о стоимости токенов и их количестве,
2. Воспроизводимость результатов. Тебе гугол не подсунет старую модель под видом новой, и слабую под видом сильной, когда у него нехватка ресурсов.

Ну ясно. Та же самая история, точь в точь, как с deep learning, от которого писали кипятком в 2010г.

Речь же была не про запуск готовой, а про обучение своей…

На конкурентном уровне и с нуля это вообще доступно сейчас, наверное, только паре десятков компаний в мире.

Слегка подфайнтьюнить, наверное, всё же и физлицо побогаче тоже может.

Та же самая история, точь в точь, как с deep learning, от которого писали кипятком в 2010г.

Не понял тебя, в 2010 от dl кипятком не писали ещё. Хотя в целом, примерно тогда лет на 10 получился период, когда тренировать передовые конкурентные нейросетки с нуля мог чуть ли не каждый, по крайней мере с точки зрения необходимых аппаратных ресурсов. AlexNet натренировали за пару суток на 4-х GTX 580. Одна карта стоила примерно $500.

Ну, в общем, скубенту, который может себе позволить разве что очень низкооплачиваемые подработки, чтобы сводить концы с концами, 1К талеров - это баснословное состояние по тем временам. А вот в универах уже строили кластеры на видеокартах, которые ни один отдельный бедный скубент позволить себе уже не мог.

Масштаб баснословности и невозможности позволить разный был. GTX 580 - это же просто игровая карта была. При большом энтузиазме наскрести 3 килобакса (2 на 4 карты и еще 1 на остальное железо) мог даже бедный студент, не надо про состояние. Это было дешевле даже дешёвого нового автомобиля. А вот сейчас цена железа даже для инференса 700B стоит как квартира.

P.S. Хотя если чисто на CPU с 1Tb RAM систему собрать, то будет жутко тормозить (~0.2 токена в секунду), но всё-таки работать и цена всё же ниже. Но по-любому, куда дальше от возможностей студента, чем $3000 на которых можно было даже с нуля натренировать, а не только инференс.

Университеты - нищие. Кластеры в них строили на каком-то таком убожище, умилительно вспоминать. Тряслись над этими кластерами как Кощей над яйцом со своей смертью. Это все со стороны вызывало только жалость.

При большом энтузиазме наскрести 3 килобакса (2 на 4 карты и еще 1 на остальное железо) мог даже бедный студент, не надо про состояние

Как, интересно, наскрести? По-черному вагоны ночью разгружать? Но не во всех странах разрешено работать по чёрному. Запросто могут и визу аннулировать.

Даже если там пару-тройкп Квадро, студенты, даже если в группе по три на них не заработают, если учатся как следует. В нормальном универе программа такая, что надо взламывать и лопатить литературу с утра до ночи.

Как, интересно, наскрести?

Вариантов наскрести скубенту 3 килобакса куда больше, чем сейчас 30 килобаксов только на дохлый тормозной инференс. Если в другой стране учишься, то значит уже имеется какой-то источник денег на учёбу и проживание, на фоне этих затрат найти оттуда же ещё 3 килобакса вряд ли невозможный вопрос. Если не сразу, то хотя бы в течение года. Если в своей, то про визы и разрешения вопрос не стоит.

В моём случае, там были какие-то дуальные Атлоны в каком-то мизерном количестве что-то около 8. Видеокарт там толи не было, толи о них говорить не о чем. Универ мало того что нищий, так там ещё всякие Т-платформы на этом буизнесс делали. Ты сам то своими глазами видел эти университетские кластеры?

целых 20 лет удавалось не тратить время на всякую херню, а решать более общие задачи. Это же замечательно.

И это время закончилось вскоре после окончания «гонки гигагерц». Когда для увеличения производительности процессоров в попугаях стали удваивать не частоты, а ядра. Тогда пришлось всерьёз задуматься об оптимизации.

У родителей стрельнуть. Внимание, говорит КЭП!

Так у меня не было задачи, чтобы их нагрузить.

Сейчас в Москве самый понтовый ВУЗ - ВШЭ, и там не только по экономике защищаются, но и по ИТ. Не может такого быть, что там каждый скубент у родителей на кластер клянчит.

Не может такого быть, что там каждый скубент у родителей на кластер клянчит.

Ты куда-то вообще разговор в странную сторону повёл про нищих студентов и ВШЭ.

Я заметил, что было «золотое» десятилетие, примерно с 2010-го (даже ранее), когда в нейросетях можно было добиться мировых достижений на настолько дешёвой технике (~$3000), что её при сильном желании мог позволить себе практически каждый. На автомобиль больше денег ушло бы! Это невозможно было до и стало невозможно после. Зачем формально докапываться до совсем буквальногос смысла «каждый», выискивая примеры с некоторыми студентами.