Сэм Альтман назвал несправедливым использование оперативной памяти

«Подонок, однозначно!» (с)

Напомнило веерные отключения эл-ва в европе в зимы начала 2020ых.

А его мнение кому-то важно?

Это когда все кинулись фармить?

Можно, конечно, о многом погоревать о том, что у нас не так как в идеальном мире…

А можно просто понять наконец, что идеал - это лишь поверхность пузыря, а вся настоящая жизнь всегда происходит внутри всего объема и надо уметь наслаждаться всем объёмом, а не какой-то там долей процента, которую составляет поверхность.

Это когда все кинулись фармить?

ну… скорее зерг-рашить…

… значительная часть мирового запаса оперативной памяти (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

Спасибо, кэп. Кто-нибудь, расскажите поциэнту про seti@home, lhc@home. Маркетологи придумают, как продавать RAM под обязательство использовать его на 13% для общественных задач.

Ну он всё правильно сказал, в облаке утилизация ресурсов гораздо выше, чем на личном девайсе. Только никого это не волнует. Люди готовы платить за прайваси.

Богаче мистера Илона Маска хочет стать мистер Альтман. Малореально.

Похоже он коммунист!

Даже если забить на прайваси, в облаке тебя в любой момент могут забанить.

Или переводчик бухает или этот мужик бред несёт. Где логика-то у него?

Если DRAM используется 5% времени в домашних компьютерах, то домашние компьютеры и надо догружать. В чём рациональность устраивать ещё больший простой DRAM в домашних компьютерах?

Я так понял, он хочет раскулачить юзверей локльных машин и всю память ставить в датацентровые. Ленчей даром не бывает, гонять память машин юзверей ему просто так никто в нынешние времена не даст. Но облако машин, расположенных в разных уголках нашего приплюснутого шарика, неэффективно – скорости не те. Значит, надо отобрать память у юзеров. Так думает он.

то домашние компьютеры и надо догружать.

не надо.

В данном случае эта «справедливость» вполне себе выражается в денежном эквиваленте. Дата-центр эффективнее использует дефицитные ресурсы железа, особенно на моэ моделях. Сейчас все кому не лень считают сроки окупаемости всяких DGX Spark и прочих модных инференс-погремушек против актуальных цен за токен у облачных провайдеров, и сроки выходят неутешительными. Так что да, если отбросить соображения приватности, локальный инференс - это крайне неэффективное распределение ваших мани на кармане

Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов.

Ему уже передали пожелание «пошёл нахер, тупой ублюдок! Забулькайся в борще!»? Если нет то как раз пора.

дефицитные ресурсы железа

дефицитные

<мем с гусем.jpg>

Можно, конечно, о многом прогревать

*fixed

Если DRAM используется 5% времени в домашних компьютерах, то домашние компьютеры и надо догружать.

У гоподина Альтмана другое решение: отобрать у тебя раму.

Где логика-то у него?

В логике как раз ему не откажешь.

Метан Сэма Альтмана расходуется крайне неэффективно.

И вновь ленин обсуждает чужие деньги :)

«И вновь продолжается бой,
И сердцу тревожно в груди.
И Ленин, такой молодой,
И юный Октябрь впереди!»

*ещё 1 день😊

Бывало, листаешь эти бесчисленные смищные «реальные» видео с котиками, или слоп-проекты на гитхабе, или сайты, наваленные ишечными текстами, и думаешь: как же хорошо, правильно и полезно используются мощности в облаках, надо им пару планок отправить, им нужнее.

Он хочет чтобы тебя обязали сдать ему твою оперативку, ибо она у тебя простаивает, а у него не будет! Вот то ему и важно, про то и говорит. Несправедливо что у тебя есть его оперативка =)

моя_прелесть.tiff

локальный инференс - это крайне неэффективное распределение ваших мани на кармане

На каком нафиг кармане? Деньги должны находиться в банках и эффективно ими использоваться, а не лежать по карманам и под матрасами. Тем более в условиях жесткого дефицита бабла.

Как он отберёт, если она там уже вставлена и в серверные компы она не подходит.

Как он отберёт

Очень просто. Он скупит все производсвенные мощности, цены взлетят в космос, и у тебя денег не хватит на следующий апгрейд.

Оно то на самом деле в облаке действительно выгоднее. Если не гонять 256 параллельных сессий 24/7. А ещё оно в облаке умнее.

Проблема в том, что сначала ИИ запрещали спрашивать про ядерное оружие, потом начали запрещать искать уязвимости, затем при вопросе про детальное взаимодействие двух лекарств уже может быть «our system flagged your request and routed to Opus 4.8», теперь вот реверс-инженерить запретили (хотя законом не запрещено)...

В общем, ценность локальных моделей не в цене и не в эффективном использовании ресурсов, а в том, что они тебя не забанят за неправильные вопросы.

А что, этого тупого говноеда ещё не посадили, что-ли? Или у меня просто машина времени барахлит?

так не нужен никакой следующий апгрейд ddr4 хватает всем и хватит ещё на фиг знает сколько

уже есть такие проекты которые позволяют задавать любые вопросы не помню точное название в закладках что-то валяется вечером посмотрю

А где это жесткий дефицит бабла? Антропик оценен в 2 трлн денег. И он их получит. Денег - море, ресурсов под них нет.

Explanation: Потому что кожаные мешки настолько пугливые, что это ваш так называемый ии скоро только рецепты пищи и погоду обсуждать сможет. В такой обстановке и Алиса перестанет тупой казаться.

Отнять и поделить! Слава КПИИ!

Отлично! Сэм наконец-то понял угрозу и включил стандартный «я знаю лучше как хранить ваши данные». Слушаем. Верим. Ага!

А где это жесткий дефицит бабла?

У васи. За антропик-то я совершенно спокоен.

Отнять и поделить!

Объединить же. Всё в колхоз, товарищи.

И он их получит.

лол.

Anthropic may not secure investment-grade rating after IPO, Blackstone tells investors

И юный Октябрь впереди!

И снова бабло впереди!

так масса долларов больше весит чем стоит в долларах фулл стойка ВерыРубин.
там гугол и амазон что-то придумывали, но это вроде all-internal-only. [npu/dpu].

ddr4 хватает всем и хватит ещё на фиг знает сколько

А чё не ddr2? Чтоб у Альтмана к тебе вообще претензий не было?

Ровно наоборот

Считаю несправедливым использование г-ном Альтманом его личных денежных средств. Я бы распорядился ими гораздо более эффективно. Удивительно, но его интуиция подсказывает ему ровно обратное.

С точки зрения владельца облачного сервиса оно конечно так. Но заплатив за оборудование для локального инференса я как минимум получаю его в собственность. А что я получаю закинув денег на счет в конторе Альтмана? Возможность пользоваться одной из лучших моделей с хорошей скоростью, но сегодня я ею пользуюсь, а завтра мне поблочили профиль и денег не вернут. И разговоры про эффективность использования памяти это балобольство. Пандемия показала что глобализация это конечно здорово, но до поры. И надо бы как-то поближе иметь важные сервисы

Проблема в том, что вменяемая открытая нейронка хотя бы близко приближающаяся к Claude/ChatGPT это GLM 5.3. А для её запуска требуется стойка из видеокарт стоимостью от полумиллиона до миллиона нерублей. И нет оснований полагать, что Claude/ChatGPT требуют меньше видеопамяти, чем она.

И вот на нижнюю границу стоимости этой стойки можно 6.5 лет подряд каждый день утром оформлять новую подписку на Claude Max x20, а вечером получать бан без возврата средств.

То есть у себя дома под подушкой серьёзные модели не окупаются ни разу. Только если ты будешь перепродавать эти мощности нескольким сотням других людей. Но это уже не хобби.

А то что можно запустить на обычной игровой видеокарте тебе только сортировку пузырьком напишет.

Отличное сообщение! Оно не обсуждает «зачем», оно обсуждает «как». Вопрос времени и рынка. Если «как» покрывает «зачем», то цена очень быстро установится.

А то что можно запустить на обычной игровой видеокарте тебе только сортировку пузырьком напишет.

Это уж ты обесцениваешь труды индустрии. Что само по себе некий звоночек.

А тезис про то, что для больших моделей нужно специальное оборудование вроде никто и не оспаривает. Только причем тут память в моем личном компьютере? Давайте Альтман будет считать утилизацию своей личной памяти, а не отпускать комментарии о том как нам лучше устроить вычисления

LLM по сути базы знаний человечества со встроенным устройством поиска и синтеза. То есть в нейронке в каком-то нечитаемом виде закодирована «Война и Мир», исходный код Linux и другие достопримечательности. И судя по всему вся вот эта фронтирная умность начинается примерно от полтерабайта-терабайта данных в этой базе знаний.

Урезать базу и оставить там 10 ГБ не потеряв СУЩЕСТВЕННО в качестве не получится. Это же не Архиватор Бабушкина.

Я скорее поверю в то что оперативка подешевеет и у каждого будет по терабайту RAM в смартфоне.

Я тут смотрел, сколько стоит сейчас две планки по 32, которые я купил за десять тысяч деревянных, и мне кажется, его план уже работает.

Кто ж его посадит, он на контракте у министерства войны.