LINUX.ORG.RU
Форум — Talks  

Сэм Альтман назвал несправедливым использование оперативной памяти

 ,


0

1

По его мнению

Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

Удивительно, но интуиция многих людей подсказывает им ровно обратное.

Кто ещё хочет оплачивать токены чатжпт?

К чёрту дата-центры. По ним могут беспилотники отработать. Децентрализация — наше всё!

Mischutka ★★★★★
()
Ответ на: комментарий от ant1

Философия это буквально набор логических выводов.

Во-первых, это просто неверно, а во-вторых, «набор логических выводов», т.е. «философия» и «правила вывода следствий из постулатов», т.е. «логика», – это две большие разницы. Иди четыре маленькие. Вы путаете типа как «Стандарт языка C++» и LxQt.

mister_VA ★★★
()
Ответ на: комментарий от ant1

Есть логика Гегеля, логика Маркса и логика Ницше. А уж логика Соловьева или там, Аристотеля - это ж прямо совсем другое. И основной вопрос философии, наверное, звучит так: «что логичнее»?

У тебя, наверно, логика солипсизма, лол.

Aceler ★★★★★
()
Ответ на: комментарий от sabacs

Похоже он коммунист!

Больше на гопника похож.

Память есть? А если найду?

her_s_gory ★★
()
Ответ на: комментарий от KivApple

Сегодняшние открытые модели, которые можно комфортно гонять на потребительском железе - на уровне фронтиров годовой (+/- пол года) давности. Т.е. это совсем не только сортировка пузырьком.

За год мы отвыкли принимать активное участие в работе агента, и хотим просто сказать «сделай зае..сь». Но если немножко напрячься, то локальный ИИ окажется не так уж плох.

Puzan ★★★★★
()

верно, но зачем платить за чатгпт?

green274
()
Ответ на: комментарий от VIT

Вот согласен. Было бы хорошо, если бы китайцы обучили какого нибудь квена чисто на кодинг.

Но тренировать в домашних условиях - это жирновато, особенно если это что-то более-менее толковое.

Puzan ★★★★★
()
Ответ на: комментарий от sabacs

коммунист

Скорее фордист. Он же не говорит что датацентры должны быть общественным достоянием и не призывает создавать ИИ-колхозы.

no-such-file ★★★★★
()
Ответ на: комментарий от Puzan

если бы китайцы обучили какого нибудь квена чисто на кодинг

Общаться ты с ним как будешь? Сейчас и так хайп на MoE модели, и там разумеется часть этих «E» заточены на кодинг. Объёмы моделей постоянно сокращаются благодаря оптимизации без особой потери качества.

no-such-file ★★★★★
()

Вот было замечательно если господин Альтман задонатил и кучу софта переписали бы так, чтобы им снова хватала 1ГБ ОЗУ.

Nurmukh ★★★★
()
Ответ на: комментарий от no-such-file

Общаться ты с ним как будешь?

Как обычно. Только мне не нужно, чтобы он знал, почему борщ на второй день вкуснее или какую роль играет образ Петербурга в романе Достоевского.

Объёмы моделей постоянно сокращаются благодаря оптимизации без особой потери качества.

Ну вот как раз уже видна полка. Тот же qwen3.8-27b не очень далеко ушел от qwen3.5-27b.

Puzan ★★★★★
()
Ответ на: комментарий от ant1

Материальная ?? Математическая ?? Или просто мат в смысле обсценная речь ??
Они будут несколько разных смыслов :)

pfg ★★★★★
()
Ответ на: комментарий от Aceler

Они отрабатывают защиту от БПЛА на одном иностранном для них полигоне и надеются что наработанный опыт поможет в дальнейшем:)

pfg ★★★★★
()
Ответ на: комментарий от pfg

Вряд ли. Скорее, полагают, что никто не отважится, никто не посмеет напасть на их драгоценные датацентры.

Aceler ★★★★★
()
Ответ на: комментарий от Puzan

Но тренировать в домашних условиях - это жирновато, особенно если это что-то более-менее толковое.

А если с рождения? Тихо, спокойно, но долго?

VIT ★★★
()
Ответ на: комментарий от DarkAmateur

glm-5.3 влезает только в 8xH200 в нормальной fp8. и это не подойдет для одновременной работы большого количества разрабов

loki_ ★★
()
Ответ на: комментарий от loki_

и это не подойдет для одновременной работы большого количества разрабов

Почему?

Puzan ★★★★★
()
Ответ на: комментарий от Aceler

Есть логика Гегеля, логика Маркса

Не-а, есть диалектика Гегеля, а есть диалектика Маркса-Ленина. Логика (в философии) – она одна, аристотелевская.

И основной вопрос философии, наверное, звучит так: «что логичнее»?

Тоже нет.

Прикол логики в том, что она формальна и отвечает за правила вывода, но не отвечает за истинность исходных постулатов. Т.о. логический правильный вывод будет формально верным, но фактически ложным, если делается из ложных предпосылок.

mister_VA ★★★
()
Ответ на: комментарий от mister_VA

Вот именно. Прикол в том, что философия это не только логика.

Aceler ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.