LINUX.ORG.RU
ФорумTalks

А что если хитрый план вкладывающихся в ИИ состоит в...

 


0

2

Ссылка на видео IXBT games, на ютубе искать лень ибо лень включать ВПН.

https://vkvideo.ru/video-192534154_456248028

для Ъ: в сфере ИИ надувается пузырь. Деньги гоняют по кругу шайка невидия-оракл-опенаи и прочие черти типа микрософта и меты. Денег этот пузырь не приносит и приносить не будет никогда при инерционном развитии событий. Этот пузырь должен лопнуть но!

А что если у этих поганцев есть хитрый план, и наблюдающееся подорожание дисков, флешек, памяти и т.д. - это не побочный продукт ИИ-пузыря, а часть хитрого плана как принудить всех людей платить за ИИ.

Что если вам будут давать вместо пекарни, ноутбука, планшета или смартфона некий «терминал для доступа к датацентру».


Может такое быть? После ношения намордников и овценации я нисколько не сомневаюсь что подобные планы могут начать внедряться глобально и прямо в глотку будут пихать этот ИИ.

Как это обставят - я не знаю, но например везде начнут пердолить этот ИИ даже если он невпихуем туда. Говорящие головы в телевизоре начнут вещать что да не нужны нам эти ваши компуктеры, мы уже оформили подписку на яндекс-зонд/гугл-зонд/что-тотамеще-зонд и он отлично сидит в заднице. И тут же совершенно случайно производители памяти и накопителей такие: ой на раз так, мы вообще уходим с рынка. Оставим самую малость для «терминалов», ну там гигабайта хватит.

Линукс здесь при том, что уже сейчас линуксоиды приходят в магазин обновить свое железо, смотрят на цены и уходят несолоно сосавши.

Ответ на: комментарий от seiken

Надёжность — не последнее качество для человека вообще, и для руководителя высшего звена в частности.

Откровенно говоря, я в былые годы относился к ВВП несколько иначе, чем теперь. Хотя из открытой печати знал о некоторых аспектах его трудовой биографии. С уважением. И только. Тут произошёл один случай (его подоплёку я опущу), который акцентировал моё внимание на этой его качественной характеристике — надёжности.

sparkie ★★★★★
()
Ответ на: комментарий от ckotctvo

вот в 2012м году некто Меланшон благодарит товарищей масонов из GLNF открытым текстом за то что назначили его главным по оппозиции. а вот он уже на выборах вовсю оппозирует другому члену GLNF некому макрону. Как ты думаешь, кто из них доводит до рядовых избирателей информацию о том, что все они - одна шайка?

Вот это правильное мышление! И если бы всё было так, то очень много проблем можно было решить на время, пока народ не взбунтуется. Примерно как в СССР. Но вот ведь как на самом деле. Всё было тихо-мирно, правил спящий Байден, подписывала автоматическая ручка законы не читая, вдруг приходит некто Трамп и первым делом отменяет, вновь без вникания в суть, все распоряжения предшественника. При этом придумывает новый гос. отдел по выкидыванию неугодных на мороз, типа для оптимизации расходов. Как только неугодных выгнали (тихо, под шумок, без помпы и пыли, так, пару чёрных пострадали от своего непонимания ситуации), всё вернулось, отдел закрыли, все продолжают зарабатывать деньги.

Это что за план такой крутой? Где массонская ложа и почему время от времени она себя рубит? Надо полагать, что лож таких масонских по крайней мере две. А может три. А может они вообще динамические - сегодня мы друзья, мы в одной ложе, завтра мы враги - один идёт на мороз.

Логичнее, чем ваша интерпретация?

VIT ★★
()

Что если вам будут давать вместо пекарни, ноутбука, планшета или смартфона некий «терминал для доступа к датацентру».

Это называется «облачная инфраструктура», да.

С планами деталями мировой элиты можно ознакомиться по ссылке https://docs.aws.amazon.com

Yustas ★★★★
()
Последнее исправление: Yustas (всего исправлений: 1)

План простой - «у вас ничего не будет и вы будете счастливы». Все уже давно известно.

qaqa ★★
()
Ответ на: комментарий от voltmod

Все в порядке, продолжайте смотреть телевизор.

ckotctvo
() автор топика
Ответ на: комментарий от Yustas

Это называется «облачная инфраструктура», да.

Можно предусмотреть план быстрой релокации в другое облако и хранение всех регулярных актуальных бэкапов в своей локальной инфре.

sanyo1234
()
Ответ на: комментарий от ckotctvo

Вы только мнения из прессы берете, своей головой совсем не пользуетесь?

OpenAI прежде всего машина для зарабатывания денег своим владельцам. А пресса пишет то, за что ей заплатили написать. Вам ли этого не знать.

VIT ★★
()
Ответ на: комментарий от VIT

OpenAI прежде всего машина для зарабатывания денег своим владельцам.

погодите, я щас кота возьму, лампу включу и тогда продолжайте

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

Если вы посмотрите на себя со стороны, то будет очень странная ситуация. Вы создаёте тему, пишите намеренно противоречивые вещи, вам отвечают, предлагают дискуссию, ссылки приводят.

Вместо этого вы начинаете хамить. Странно. Зачем тему открывали?

VIT ★★
()
Ответ на: комментарий от VIT

Я всё таки надеюсь услышать офигительную историю про то как опенаи приносит прибыль. Или под словами «машина для зарабатывания денег своим владельцам» вы имели ввиду то что эта контора - аналог МММ или финико? Те действительно зарабатывали денег владельцам за счет но был нюанс.

Или может быть мы про какой-то другой опенаи говорим, а не тот который «Artificial Intelligence Featured Startup Spotlight Startups Tech Startup News Tech Startups Technology News OpenAI is hemorrhaging billions: Microsoft filing reveals OpenAI lost $11.5B last quarter amid AI bubble hype». Вы уточняйте.

А этот genesis это вообще конечно ололо. посмотрел достижения ЫЫ в этой сфере, ну что сказать:

Достижения в симулировании черных дыр, кварков и прочих ненаблюдаемых чайников рассела, выдуманных для затыкания дыр в квантовой механике и релятивизме. Теперь помимо кожаных шарлатанов будет еще бредогенератор стараться.

Чо там еще: а глобальное потепление симулировали ахаха. Сlimategate теперь с аппаратным ускорением. Хорошо, а то враги ноуки из России еще в 2007м году посчитали с помощью экселя и raw данных что никакого потепления нет.

и всё в таком духе. Далеко пойдут.

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

Ну вот, уже что-то! Завтра подробно отвечу, а то у вас эмоции через край. Утро вечера мудренее, а у меня как раз семь вечера.

VIT ★★
()

Ну, тут немножко потеряны причины со следствиями. Вот, пользуюсь я гугловским gemini. Офигенная штука, закрывающая массу моих потребностей.

И тут, главное ИИ-шечке продержаться 10 следующих лет. Предпосылки имеются:

  1. Эта дрянь год от года становится лучше, и имеются теоретические предпосылки, что так оно ближайшие годы и останется.
  2. Эта дрянь реально удобна.
  3. Через 10 лет народ буде готов платить вдвое-втрое больше за устройства с ИИ. Устройства с ИИ будут выглядеть и ощущаться как кнопочный телефон без Т9 и без русификации в эпоху айфонов.

Т.е. да, звонить можно, но, чувак, ты не крут, купи себе айфон уже.

tiinn ★★★★★
()

Бояться же

Что если вам будут давать вместо пекарни, ноутбука, планшета или смартфона некий «терминал для доступа к датацентру»

не стоит. Облако от гугла/эппла действительно офигенно удобно, но им никто не заставляет пользоваться. И многие разворачивают своё облако на подкроватном сервере. Приносит облако гуглу/эпплу деньги, окупается? Я думаю, да.

tiinn ★★★★★
()

Об этом говорили еще 15-20 лет назад, когда только начали внедрять облачные сервисы. Ничего нового по сути.

dmitry237 ★★★★★
()
Ответ на: комментарий от ckotctvo

Artificial Intelligence Featured Startup Spotlight Startups Tech Startup News Tech Startups Technology News OpenAI is hemorrhaging billions: Microsoft filing reveals OpenAI lost $11.5B last quarter amid AI bubble hype

Ты хоть сам то эту статью читал? Майкрософт «мудро» купили акций опенаи на пике, потом цена упала и они потеряли 3 лярда. Автор статьи экстраполировал это и высчитал убыток опенаи)

goingUp ★★★★★
()
Ответ на: комментарий от tiinn

и имеются теоретические предпосылки, что так оно ближайшие годы и останется.

Да вроде как нет таких предпосылок. Скорее наоборот. Но некоторые верят, что может таки сработать метод грубой силы и произойдёт качественный скачок.

sabacs
()
Ответ на: комментарий от goingUp

чево? акции openai?

OpenAI is not a public company, which means there is no OpenAI stock symbol, and it cannot be bought in your typical brokerage.

That line — “our share of OpenAI’s income or loss” — carries weight. Microsoft isn’t marking OpenAI’s value based on market estimates; it’s reporting actual profits and losses. Under equity accounting, Microsoft’s share of OpenAI’s financial results directly impacts its own income statement, meaning OpenAI’s losses flow straight into Microsoft’s books

что непонятно в словах: it’s reporting actual profits and losses?

ckotctvo
() автор топика
Последнее исправление: ckotctvo (всего исправлений: 1)
Ответ на: комментарий от tiinn

да я не спорю что оно музыку делает, картинку может быстро накидать и т.д.

вот только денег эта хрень не делает. в рамках той экономики которая есть вотпрямща, эта модель не жизнеспособна. а вот если заставить каждого платить по подписке то может и взлететь

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

ты бы хоть диплом свой показал. только со справкой не перепутай.

usi_svobodi
()

намордников и овценации

После этого и читать не стал.

По теме - настольные компы уже давно стали своеобразной нишей. У рядового пользователя дома дай бог один на домохозяйство есть, и то скорее всего ноутбук с распаянной рамой. Поэтому не думаю что кто-то там что-то настолько тщательно планирует чтобы лишить 5% обывателей каких-то там плюшек или нажиться на них сказочно.

frunobulax ★★★★
()
Ответ на: комментарий от frunobulax

Ну надо же, даже хаосит Нургла прибежал. Не надо нам говорит ваших компуктеров, дайте намордник, ошейник и овцины побольше.

ckotctvo
() автор топика
Ответ на: комментарий от sabacs

Да вроде как нет таких предпосылок

Есть

Вместо подбора очередной скалярной величины (токена) в зависимости от ограниченного числа предыдущих Чэньцзэ Шао с коллегами предлагают предсказывать целый вектор, составленный из нескольких таких токенов. Таким образом, фраза на естественном языке моделируется нейросетью не как цепочка дискретных фрагментов (условно, отдельных слов), но как поток взаимоувязанных векторов. Достоинство такого метода — не только в совершенствовании семантики генерируемого текста, но и в сокращении числа уходящих на это операций: если в единичный вектор упаковываются K токенов, то количество шагов, необходимых для формирования ответа на операторский запрос, в среднем сокращается в те же самые K раз.

Типичный словарь сегодняшней авторегрессионной БЯМ не превышает 256 тыс. токенов, и это фактически аппаратно-обусловленный предел. Если расширять число токенов, делая их не отдельными словами и их частями, а семантическими единицами (словосочетаниями, целыми фразами), размер словаря экспоненциально разбухнет, и современные компьютеры с его обработкой не сладят: Гелсингер недаром ставит на квантовые вычисления! Однако если удастся обеспечить (почти) взаимно однозначное соответствие семантических единиц векторам — так, чтобы те, как и токены, с лёгкостью «распаковывались» обратно в означаемые ими фразы, — можно ограничиться куда меньшим объёмом векторных операций, да и галлюцинации по понятным причинам возникать в таком случае будут реже. В статье приведён такой пример: фраза «The cat sat on the mat» кодируется T токенами (в данном случае — шестью, причём «The» и «the» — разными), но она же может быть представлена двумя векторами (K = 2): «The cat sat» и «on the mat». Длина обрабатываемой последовательности сокращается тем самым в T/K раз, т. е. в данном случае втрое, и, хотя каждое действие выходит более сложным — обрабатывать придётся не скаляры, а векторы, — специализированные на ИИ-задачах вычислители с векторными операциями справляются очень даже хорошо. И поскольку нейросеть обучается выстраивать цепочки не полуабстрактных токенов, а семантически насыщенных векторов, результаты выходят более чем достойные — при ощутимом снижении требований модели к «железу». Да, доведение идеи CALM до ума потребует изрядных усилий — выработки эффективной организации открытого (т. е. не конечного) словаря для начала. Но если сравнивать с теми затратами, что необходимы для выведения тех же квантовых вычислителей на потребные для обработки современных БЯМ характеристики, у подхода группы Чэньцзэ Шао явно больше шансов воплотиться в жизнь первым.

Наглядное сопоставление явной и скрытой долей американского ФОТ, уходящих на оплату труда людей, которых уже сейчас может заменить ИИ. На поверхности — скромные 2,2%; по большей части в связанных с ИТ отраслях. «Подводная» же, скрытая от беглого взгляда, часть превышает «надводную» примерно восьмикратно — почти как у реального айсберга, кстати (источник: MIT) Наглядное сопоставление явной и скрытой долей американского ФОТ, уходящих на оплату труда людей, которых уже сейчас может заменить ИИ.

tiinn ★★★★★
()
Ответ на: комментарий от ckotctvo

У облачных сервисов, тоже, есть бесплатная замануха и платная версия

tiinn ★★★★★
()
Ответ на: комментарий от ckotctvo

Да и платные музыкальные сервис ы вполне себе прибыль генерируют, хотя, казалось бы, слушай себе с флешки - бесплатно

tiinn ★★★★★
()
Ответ на: комментарий от tiinn

Только делают они это в условиях контроля копирайтеров над музыкальными произведениями. Платишь за подписку и слушаешь музыку с выключенным экраном телефона. Эх удобно же было когда шторка брала фокус и Ютуб не видел гашения экрана…

далее помимо спроса на музыку есть ещё вопрос издержек. Стриминг и хранение музыки стоит нынче копейки.

А вот ЫЫ жрет электричество очень бодро. На датацентры взяты конские кредиты и по ним надо платить. Ах да ещё и инвесторы что-то хотят поиметь.

ckotctvo
() автор топика
Ответ на: комментарий от jura12

Не обязательно. Это всего лишь мантра для привлечения денег лохов: гони бабло завтра будет дороже

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

Не надо нам говорит ваших компуктеров

Просто по факту ситуацию озвучил. Сегодня вот буквально пару часов назад любовно пересобрал один системничек.

А насчёт масок и прочего - ежель посчастливится операцию делать попроси дядю хирурга маску не надевать. И перчатки тоже.

frunobulax ★★★★
()
Ответ на: комментарий от ckotctvo

That line — “our share of OpenAI’s income or loss” — carries weight. Microsoft isn’t marking OpenAI’s value based on market estimates; it’s reporting actual profits and losses. Under equity accounting, Microsoft’s share of OpenAI’s financial results directly impacts its own income statement, meaning OpenAI’s losses flow straight into Microsoft’s books

Тогда еще менее понятна эта цифра. В смысле майкрософт влили бобло туда, допустим в оборудование, строительство и ЗП, но пока еще оно не окупилось и они в минусе на три лярда? Ну это ожидаемо, так как там идут влошения на широкую ногу (прошу прощение за Трампа), было бы странно ожидать уже окупаемость.

goingUp ★★★★★
()
Ответ на: комментарий от frunobulax

а так мы несколько лет назад в хирургов играли?

держи 15 рублей и не воняй тут больше. и уколы не пропускай, Нургл не одобрит

ckotctvo
() автор топика
Ответ на: комментарий от goingUp

они не просто в минусе. они еще больше в минус уйдут. причем всем кагалом:

As per the report by The Financial Times, OpenAI has pledged a whopping $1.4 trillion to secure the energy and computing power needed for its future operations. However, it expects to generate only $20 billion in revenues this year.

A recent study by HSBC indicates that even if OpenAI’s revenues surpass $200 billion by 2030, it will still require an additional $207 billion in funding to stay afloat.

OpenAI’s partners, which include SoftBank, Oracle, and CoreWeave, have already borrowed $30 billion. Blue Owl Capital and Crusoe have taken out $28 billion in loans, with another $38 billion under negotiation with Oracle and Vantage and their respective banks, reports the outlet. https://finance.yahoo.com/news/openais-partners-rake-96-billion-192044975.html

То есть только напрямую ОпенЫЫ высосало из некрософта 11 лярдов, а есть долги висящие на всяких ораклах и софтбанках, которые в сумме доходят до уже 70 миллиардов и это трэш-шапито не останавливается. Нужны уже 200 лярдов даже с учетом всей возможной прибыли.

Туда даже goverment пытаются вписать:

OpenAI has spoken with the U.S. government about the possibility of federal loan guarantees to spur construction of chip factories in the U.S., but has not sought U.S. government guarantees for building its data centers, CEO Sam Altman said on Thursday.

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

Итак, первая часть.

Я всё таки надеюсь услышать офигительную историю про то как опенаи приносит прибыль.

этот genesis это вообще конечно ололо

Достижения в симулировании черных дыр, кварков и прочих ненаблюдаемых чайников рассела

Предлагаю развивать дискуссию в этих трёх направлениях независимо, поскольку каждое из них имеет своё место, цели, способы использования, и отношение к AI, и они разные.

Первое - коммерческие компании, которые занимаются разработкой и продажей моделей AI. В их число входят Google, OpenAI и Anthropic, которые продают продукты с названиями Gemini, GPT и Claude. Деньги появляются путём продажи контрактов с оплатой индивидуально за токен. Цена варьируется от 5 до 15 центов за токен для клиентов типа нас и до 80 центов для других клиентов. Чтобы понимать объём, о чём мы говорим, один запрос генерирует от 30 до 150 токенов.

Второе - научные организации, которые могут выбирать инструменты для своей работы, в том числе и основанные на AI. По роду своей службы, я продолжаю активно работать в области космологии, и мне доводилось работать с группой ребят, которые продолжают разрабатывать атмосферную модель проекта E3SM, они сидят на четвёртом этаже в моём здании, можем поговорить об их использовании AI более подробно.

Третье - это проект Genesis, не первая попытка государства признать, что AI разработка вышла из под контроля и нужно предпринимать какие-то шаги по созданию и управлению совместной работы компаний первого и второго типа. Особенно это нужно делать в тех областях, где лидерство ещё не потеряно и требуются большие инвестиции, например химия, материаловедение, моделирование климата, катализ, фармацевтика, ядерное топливо, и хромодинамика. Можно поговорить и про любую из этих областей.

Вот только предлагаю говорить не в терминах «ололо», МММ, шарлатанства, бредогенераторов, а по существу. Мне есть что сказать, конечно не вдаваясь в некоторые детали, связянные с коммерческими секретами.

VIT ★★
()

что если у этих поганцев есть хитрый план

Ты переоцениваешь возможности людской кооперации.

Но не надо забывать, что крыса всё же продолжает давить на рычаг, впрыскивающий ей в моз новые порции бабла.

ya-betmen ★★★★★
()
Ответ на: комментарий от ya-betmen

Ну хорошо, нет у них плана. Тогда возникает другой вопрос. Я его тут запостил но его модераторы снесли за оффтопик.

Когда этот пузырь лопнет, одним только ЫЫ дело не ограничится.

Ведь проблемма ОпенЫЫ гораздо шире чем даже то что я тут описал. В сша на фондовом рынке творится натуральный сатанинский шабаш. В ход идут даже средства пенс-фондов в нарушение всех ограничений. Как дерибанят тамошние пенсфонды вешая на них непродаваемую коммерческую недвигу, выводя деньги в прокладки типа microstrategy и т.д. - это уже сильный оффтоп. Поэтому просто скажу, что пузырь гораздо больше, чем ЫЫ.

Но этот пузырь который больше лопнет тогда же, когда лопнет и пузырь ЫЫ. ЫЫ может стать триггером, а может просто заодно схлопнуться обнуляя сотни миллиардов инвестиций. И ИЛИ рептилоиды каким-то финтом ушами делают ЫЫ прибыльным, облагая данью крестьян ИЛИ…

Линукс тут при том, что во втором случае компуктеры линуксоидам оставят но еду придется добывать на даче из грядки.

Компании владеющие критической инфраструктурой типа гитхаба, чатжопито, ютуба и пр. начнут дико резать расходы, увольнять сотрудников а то и вовсе валиться.

ckotctvo
() автор топика
Ответ на: комментарий от VIT

Я снимаю предложение о дискуссии. Продолжение считаю нецелесообразным. До свидания.

VIT ★★
()
Ответ на: комментарий от ckotctvo

Только делают они это в условиях контроля копирайтеров над музыкальными произведениями.

В каком месте? Всё, что звучит в эфире, можно скачать бесплатно.

далее помимо спроса на музыку есть ещё вопрос издержек. Стриминг и хранение музыки стоит нынче копейки. А вот ЫЫ жрет электричество очень бодро.

Верно. Но, и здесь наметились качественные прорывы

Разработчики же специализированных интегральных микросхем (Application-Specific Integrated Circuits, ASIC) для ИИ-задач идут ещё дальше, предлагая — как инженеры Google, например, — тензорные процессоры (ТП — tensor processing unit, TPU), которые загружают из сверхъёмкой памяти HBM матрицы целиком и производят операции сразу над двумерными массивами данных (а не одномерными, как в случае SIMT). Специфика ASIC — как раз в их чрезвычайно узкой специализации: если ЦП практически универсален (на нём можно даже БЯМ запустить, хватило бы оперативной памяти, — только инференс в этом случае будет идти крайне медленно), а ГП представляет собой способный решать довольно широкий круг разнообразных многопоточных задач вычислитель, то ТП «заточен» исключительно под матричное умножение. Впрочем, поскольку никаких других задач ASIC и не доверяют — он выступает чаще всего в роли специализированного сопроцессора, — у проектирующих такого рода чипы инженеров оказываются развязаны руки для сколь угодно глубокой оптимизации. Именно поэтому если известная модель Google, созданная, чтобы обыграть человека в го — AlphaGo, в 2015 г. требовала для своего исполнения целого серверного кластера с 1202 ЦП и 176 ГП, то уже в 2017-м её ещё более эффективный вариант с самообучением, AlphaGo Zero, довольствовался всего-то четырьмя ТП.

Другое дело, что удовольствие это недешёвое: само «железо», включая четвёрку специально для этой задачи разработанных и изготовленных тензорных процессоров, обошлось примерно в 25 млн долл., и ещё в 35 млн долл. оценивают стоимость 40-суточной тренировки этой БЯМ. Но зато энергопотребление первого Google TPU, выполненного по «28-нм» технологии, не превышало всего 40 Вт, что уже сопоставимо с показателями человеческого мозга (около 20 Вт «под полной нагрузкой»). Потом, правда, и здесь началась энергетическая гонка: TPU v4 под той же маркой рассеивает уже около 200 Вт мощности, но при этом производительность его достигает эксафлопсного (порядка 10 в 18-й степени операций с плавающей точкой в секунду) уровня. По сути, каждый такой тензорный вычислитель — суперкомпьютер с 4096 процессорами, соединёнными между собой сверхскоростными шинами данных: каждый чип из состава v4 содержит по паре ядер TensorCores, а каждое из них, в свою очередь, — по четыре модуля, реализующих собственно матричное умножение. Известны и более скромные специализированные сопроцессоры — нередко их называют нейропроцессорами, НП (neural processing unit, NPU), которые применяют совместно и с ЦП, и с ГП для решения особенно ресурсоёмких ИИ-задач (того самого перемножения матриц). Можно привести в пример Intel NPU 4 — интегральную часть центральных процессоров семейства Lunar Lake, что обеспечивает производительность на специфичных для себя задачах до 48 TOPS (трлн операций в секунду — правда, с данными в формате Int8), тогда как формальная нижняя граница для запуска, скажем, Microsoft Copilot на локальном «железе» — 40 TOPS.

А что если не ограничиваться паллиативами — и отказаться от матричного умножения как такового? И начать, если уж выкорчёвывать проблему с самого корня, прямо с этапа обучения БЯМ. Пионерами на этом поприще выступили исследователи из Калифорнийского университета в Санта-Круз, которые в 2024 г. предложили радикально пересмотреть саму основу кодирования и обработки данных для задач ИИ, перейдя от двоичной системы (логические «0» и «1») к троичной («−1», «0», «1»). В своей работе они описали созданную на новых принципах модель с 1,3 млрд параметров, производительность которой на специально под неё настроенной FPGA-плате с энергопотреблением 13 Вт (правда, здесь не учитываются аппетиты сопряжённого ГП, для которого эта плата выступала в роли ускорителя) оказалась сопоставимой с таковой «для наиболее современных предварительно натренированных трансформеров». Причём на этапе обучения требуемый объём оперативной памяти оказался на 61% ниже типичного для полагающихся на матричное умножение моделей такого класса, а в ходе инференса — и вовсе на 90%.

Вдохновила же калифорнийских разработчиков ещё более ранняя, 2023 г., статья «BitNet: масштабирование 1-разрядных трансформеров для БЯМ», в которой обосновывалась замена весов на входах нейросетевых перцептронов в привычных дробных или целочисленных форматах, упомянутых уже ранее — FP32, Int4 и т. д., — на двоичные либо троичные однобитные. В пример приводились нейросети мощностью до 3 млрд параметров: по заявлению исследователей, как минимум до этого предела качество работы ИИ от столь существенного урезания вариативности весовых коэффициентов не пострадает. Группа же из Санта-Круз пошла ещё дальше, отказавшись от матричного умножения на этапе реализации механизма самовнимания, self-attention mechanism (напомним, речь в этой работе идёт именно о трансформерах, а не о более крупных БЯМ, — впрочем, для тех архитектура трансформеров как раз и является сегодня ключевой), и заменив его на более простой, эффективный метод последовательной обработки словарных слов, не опирающийся на матричное умножение. Применение троичной системы счисления существенно здесь постольку, поскольку оно позволило исследователям с минимальными ресурсозатратами контролировать потоки информации внутри нейросети.

В самых общих словах, речь идёт о той самой семантике анализируемых ИИ текстов, которая в классическом подходе к реализации БЯМ выявляется на этапе операций над векторами заделок в латентном пространстве. Если семантическая связь между словами устанавливается в ходе определения взаимного расположения этих самых векторов через матричное умножение (в ходе этой операции выясняется, например, что вектор «king» более сонаправлен с вектором «man», чем с «woman»), то переход к троичному одноразрядному представлению весов резко упрощает соответствующую процедуру: векторы оказываются либо разнонаправленными («−1»), либо строго сонаправленными («1»), либо ортогональными («0»). В каком-то смысле это можно воспринимать как откат к простейшей кодировке embeddings по методу one-hot, но, поскольку здесь сопоставляются не отдельные токены, а уже преобразованные в заделки вектора, и операция сравнения семантических признаков сводится к выдаче результата «есть полное соответствие — есть полная противоположность — соответствие не определено», такой подход действительно может сработать.

Бесспорно, тут есть ещё над чем поломать голову: даже у GPT-4, которая на сегодня не может считаться самой передовой, насчитывается уже около триллиона параметров, а теоретическое обоснование калифорнийская безматричная модель получила пока лишь для 3 млрд. Впрочем, выгоды, которые сулит хотя бы частичный отказ от матричных операций для БЯМ, настолько велики, что на них наверняка обратят самое пристальное внимание разработчики всё более мощных и ресурсоёмких ИИ. Всё, что позволит в обозримой перспективе продолжать развиваться по этому направлению без необходимости вот прямо уже завтра снабжать каждый ЦОД ядерным реактором, вне всякого сомнения, окупится, и довольно скоро.

tiinn ★★★★★
()
Ответ на: комментарий от tiinn

я вот одного не пойму. нахрена мне читать всё это блаблабла про прорывы и рывки, если разговор идет про деньги

ГДЕ ДЕНЬГИ ЛЕБОВСКИ?

впрочем скоро мы узнаем ответ на этот вопрос. японския сиська ликвидности не резиновая.

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

я вот одного не пойму

Повышайте свой уровень, учитесь..

ГДЕ ДЕНЬГИ ЛЕБОВСКИ?

Там именно про деньги и написано

tiinn ★★★★★
()
Ответ на: комментарий от ckotctvo

Основная проблема OpenAI в том, что они потеряли лидерство. Последние модели от Google просто лучше. На пятах сидят Antropic, X, китайские модели, фейсбук, многие ещё и с открытыми весами.

При всём при этом Google делает свои ИИ-ускорители, ну и в целом это вообще владелец одного из самых крупных облаков. Ещё он владеет поисковиком, владеет почтой, владеет смартфонами, владеет рекламой. И всё это прям шикарно взаимодействует с ИИ. ИИ может иметь доступ к индексу всего интернета. ИИ может иметь доступ ко всей твоей почте, просто спроси. ИИ может иметь доступ ко всему твоему смартфону, всем твоим ватсапам, заметкам, звонкам, разговорам. ИИ будет тебе подсовывать рекламу максимально органично. Перспективы гигантские.

Т.е. пока всё выглядит так, что OpenAI некоторое время лидировали, но их быстро догнали и что им дальше делать - не понятно. Ну выпустят они ChatGPT 6 через два года, а через полгода гугл их опять догонит. Есть полуфантастические сценарии, когда ИИ становится таким хорошим, что начинает сам себя развивать и дальше уже уходит в экспоненциальный отрыв, но до этой точки развитие не дошло и дойдёт ли - совсем не понятно.

vbr ★★★★★
()
Последнее исправление: vbr (всего исправлений: 1)
Ответ на: комментарий от vbr

Ты ещё не сказал про то что гугл это и биотех, где очень сильно интегрирован их ИИ, но этим они занимаются не публично

Впервые с их ИИ я столкнулся в 2020 году, когда за пару секунд после обращения в их поддержку, он подключился к моему ноутбуку и выключил мне аппаратное ускорение виртуализации (я хромую с одного девайса, перелил на другой и немножко поколдовал чтобы у меня была виртуализация и crosvm а то они зажали на данный девайс)

Ответив что чел у тебя проблемы она не может у тебя работать ну ни как, иди проверяй (в это время сидел и активно юзал эту микровм)

Пруфы в виде видео работы я им скинул чо всё я портировал всё работает, не жмитесь и вкатите в релиз

RedTerror
()
Последнее исправление: RedTerror (всего исправлений: 2)
Ответ на: комментарий от RedTerror

Про это я вообще не в курсе. Я знаю про всякие AlphaFold, но это всё было ещё до всей истории с LLM и к теме относится слабо, это, так сказать, параллельная ветка, ну и которая публике не слишком интересна, да.

vbr ★★★★★
()
Ответ на: комментарий от vbr

их ИИ уже тогда отвечал на тикеты и рулил своей армией хромбуков по всему миру удаленно как рулит телефонами на андроиде где есть их сервисы, просто он делает это очень хитро и обычный человек ничего не заподозрит

Телефоны не плохо справляются со сбором мед данных как и браслетики в связке с ними (помнишь ковидные времена да? А еще в обновление новые приложения здоровья и так далее)

RedTerror
()
Последнее исправление: RedTerror (всего исправлений: 1)
Ответ на: комментарий от vbr

всё это здорово, но когда результатом работы компании является долг в почти 100лярдов + десятки лярдов прямых убытков + 200 потребуется в ближайшее будущее - так не работает. обещания что ЫЫ вот совсем скоро будет открывать открытия и создавать всякое «не булькают».

но тем не менее зачем-то опенЫЫ тянут за уши и деньгами заливают. то есть как будто по масонской линии приказано баблом накачивать.

возможно опенЫЫ это вообще операция прикрытия. например ЫЫ еще в 80х годах хотели приспособить для управления государством но тогда по понятным причинам это не заработало. сейчас идеи что править будет ЫЫ в открытую озвучиваются. даже симонянша в своем нахрюке «вначале было слово в конце будет цифра», который она не сама придумала, говорит об этом. Тогда понятно зачем столько датацентров невзирая на экономику строят. Это политика уже.

ckotctvo
() автор топика
Ответ на: комментарий от ckotctvo

всё это здорово, но когда результатом работы компании является долг в почти 100лярдов + десятки лярдов прямых убытков + 200 потребуется в ближайшее будущее - так не работает.

Конечно же работает. По крайней мере те, кто им эти деньги в долг даёт, считают, что всё приемлемо.

но тем не менее зачем-то опенЫЫ тянут за уши и деньгами заливают. то есть как будто по масонской линии приказано баблом накачивать.

Это уже теория заговора.

идеи что править будет ЫЫ в открытую озвучиваются

Вообще было бы неплохо. Мясные человеки явно с этим не справляются. Но про это пока можно только мечтать. С чего бы это власть имущим отдавать её каким-то непонятным алгоритмам.

vbr ★★★★★
()
Последнее исправление: vbr (всего исправлений: 1)
Ответ на: комментарий от RedTerror

ну хорошо. ЫЫ решал какие-то задачи. я же не спорю что ЫЫ работает.

еще раз: я обращаю внимание, что инвестиции в ЫЫ напоминают пузырь дот-комов. Тогда тоже в интернет все инвестировали. И что - интернет есть. Но куча народу погорела когда пузырь лопнул.

Только вот я не думаю что сейчас США могут позволить себе лопнуть этот пузырь. Слишком много бабла туда влили, это не 2000е когда только буратины с котлетами бабла встряли. Тут и пенсфонды и кто только не огребет. То есть пузырь надо спасать и мне показалась разумной гипотеза что для спасения пузыря всех просто заставят платить за ЫЫ.

Что касается того что ЫЫ вот совсем скоро начнет открывать открытия… нет.

Во-первых, ЫЫ может до усрачки развивать лженауку, в которой 26 мерное пространство было придумано чтоб списать туда бесконечные расходимости лжетеории. На выходе будет просто больше лженауки.

Во-вторых, то же самое я скажу про всякие климатические модели по целому ряду разных причин, включая физические. Включая такие которые очень даже наблюдаемы но «ноука отрицает».

В-третьих, я допускаю что в ряде отраслей типа фармы ЫЫ может работать эффективно потому что там лженауки меньше в определенных областях, но сама фарма заточена не на лечение а на доход и на выходе мы получим просто перераспределение доходов а не Profit.

Я не вижу, чтоб ЫЫ мог качественно улучшить жизнь как это сделало электричество, автомобиль, самолеты, компьютеры, интернет. ЫЫ привнес много полезного, но на существенное улучшение жизни пока не тянет.

Он бы потянул, если бы речь шла про автоматизацию труда. Чтоб роботы буквально вкалывали на заводах, на складах. И это уже есть. Но для этого не нужны датацентры. оно и без датацентров делается.

ckotctvo
() автор топика
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)