LINUX.ORG.RU
Форум — Talks  

Сэм Альтман назвал несправедливым использование оперативной памяти

 ,


0

1

По его мнению

Локальный инференс — это крайне неэффективное распределение дефицитных ресурсов. Многие хотят использовать локальный инференс, полагая, что раз появились модели с открытым исходным кодом, которые можно запускать на собственных компьютерах, то необходимость в мощностях дата‑центров отпадает. Однако, если смотреть на ситуацию в глобальном масштабе, это крайне нерационально: значительная часть мирового запаса оперативной памяти (DRAM) стоит на пользовательских компьютерах, где она используется лишь пять процентов времени. В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

Удивительно, но интуиция многих людей подсказывает им ровно обратное.

Кто ещё хочет оплачивать токены чатжпт?

Ответ на: комментарий от KivApple

Я категорически против «универсальных моделей», которые содержат в себе «Войну и мир», код Linux, и рецепт сырка из шоколада Баунти на сдачу. Я продвигаю идею персонального ассистента, где каждый пользователь тренирует свою собственную локальную модель.

VIT ★★★
()
Ответ на: комментарий от Aceler

Ну предыдущего альтмана-то посадили же. Как его там… Банкман-Фрид, что-ли, был. Такую же хрень только с криптой крутил.

Жадность доводит молодую поросль альтманов до того, что они начинают внаглую крысить у своих же. Ну и свои же их и сажают, в надежде что дойдёт. Видимо хреново доходит.

И контракт с пентаграммой, кстати, тоже легко может боком выйти, причём с более серьёзными последствиями, нежели фиктивное отбывание заключения в специальном обустроенном месте для альтманов формально считающимся тюрьмой.

Stanson ★★★★★
()
Ответ на: комментарий от VIT

Я категорически против «универсальных моделей», которые содержат в себе «Войну и мир», код Linux, и рецепт сырка из шоколада Баунти на сдачу. Я продвигаю идею персонального ассистента, где каждый пользователь тренирует свою собственную локальную модель.

«Я продвигаю» можно было бы сказать, если бы наблюдалось движение продвигаемого. Ну то есть чтобы в мире мы заметили N пользователей, реально увлечённых твоей идеей и делающих как ты сказал. А пока это только балабольство. И оно не взлетит. Можно начинать балаболить о чём-то другом уже, время поэкономить себе)

tcpfinhello
()
Ответ на: комментарий от Stanson

Ну предыдущего альтмана-то посадили же. Как его там… Банкман-Фрид, что-ли, был. Такую же хрень только с криптой крутил.

Возможно, и в этот раз будет такой же случай. Но не прямо сейчас.

Aceler ★★★★★
()
Ответ на: комментарий от tcpfinhello

Специализированные локальные модели существуют. Не знаю, на сколько они хороши, но существуют.

Aceler ★★★★★
()
Ответ на: комментарий от tcpfinhello

«Я продвигаю» можно было бы сказать, если бы наблюдалось движение продвигаемого.

А разве вы поставили свои деньги, чтобы требовать результат? Я простой американский учёный, мне платят за «знание», и поверьте (или не верьте, я не обижусь), у меня есть способы продвигать идеи.

VIT ★★★
()
Ответ на: комментарий от VIT

А разве вы поставили свои деньги, чтобы требовать результат? Я простой американский учёный, мне платят за «знание», и поверьте (или не верьте, я не обижусь), у меня есть способы продвигать идеи.

Продвигаю - это когда ты продвинул что-то. То есть, ты описал продвижение. Типа «я толкаю» - ну это когда движение толкаемого есть. А если ты просто на что-то облокотился, то спорно толкаешь ли ты это или это вообще не ощущает тебя в целом.

tcpfinhello
()
Ответ на: комментарий от tcpfinhello

Вы хотите начинать дискуссию о моей деятельности в структурах министерства энергетики США на публичном форуме?

VIT ★★★
()
Ответ на: комментарий от VIT

Я скажу проще. Если я говорю «я думаю», «я продвигаю», «я решил», это решение одного конкретного никому не известного индивида. Если я говорю «есть решение», «мы думаем», «мы видим», это не обсуждается, это в диси сказали и мы следуем.

VIT ★★★
()
Ответ на: комментарий от VIT

Вы хотите начинать дискуссию о моей деятельности в структурах министерства энергетики США на публичном форуме?

Она вовсю идёт уже.

tcpfinhello
()

Лол, уж вы то, как айтишники, должны понимать что он прав - многопоточный инференс эффективнее из-за того что не упирается в скорость памяти, работает 24/7, а еще локальные модели тупые как пробки.

Да и обычный хостинг тоже - иначе все бы держали подкроватные сервера, а не строили цоды. Вот где ваш ЛОР хостится? То-то же!

KillTheCat ★★★★★
()

Типичный коммунист который выступает против частной собственности на средства производства (свои компьютеры) и за общественную (сервисы в датацентрах).

X512 ★★★★★
()
Ответ на: комментарий от tcpfinhello

Вы хотите начинать дискуссию о моей деятельности в структурах министерства энергетики США на публичном форуме?

Она вовсю идёт уже.

Надеюсь вы на моей стороне? :)

Если шутки в сторону, я продвигаю идею полной независимости от онлайн моделей. То есть каждый человек с момента ношения ручных часов начинает тренировать своего личного ассистента, модель, которая потом работает как гугл или алиса. Конечно взаимодействие моделей, обьединение, совместная работа, всё это никто не отменял.

VIT ★★★
()
Ответ на: комментарий от X512

Типичный коммунист который выступает против частной собственности на средства производства (свои компьютеры) и за общественную (сервисы в датацентрах).

Сервисы в датацентрах не общественные, а частные. И не коммунист он, а ультралиберал. И выступает он не против частной собственности, а против ЧУЖОЙ частной собственности.

Bfgeshka ★★★★★
()
Ответ на: комментарий от Bfgeshka

Для меня и те, и те – враги, которые пытаются лишить личного владения. Мне не важно кто там владеет датацентрами – мегакорпорация или некое абстрактное общество. Главное что не я.

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)

На самом деле, покупать в личное пользование оборудование для серьезного иференса на данном историческом этапе просто экономически не целесообразно. Это тупо безумно дорого. Альтернатива облачным монополиям - большое кол-во инференс сервисов помельче. Т.е. покупать железо нужно в складчину, простаивающие мощности сдавать в аренду. И тут мы возвращаемся к таким формам собственности, как производственный кооператив, ака колхоз.

Кстати, те кто называют Альтмана коммунистом - сильно нездоровые на голову люди, ибо то что он делает как раз и есть тот самый эталонный загнивающий капитализм, про который ещё 100 лет назад твердил тов. Ленин.

yvv1 ★★
()
Ответ на: комментарий от cobold

но сегодня я ею пользуюсь, а завтра мне поблочили профиль

Завтра? Вообще-то ещё в начале месяца.

dimgel ★★★★★
()

Отнять всё и поделить. 640Кб хватит всем

D_Ima
()
Ответ на: комментарий от yars068

он хочет раскулачить юзверей локльных машин и всю память ставить в датацентровые

Так не получится, т.к. память для ПК и серверов разная. Он хочет снизить спрос, чтобы заставить производителей переориентировать дополнительные производственные линии под производство серверной памяти.

Либо он использует черный пиар.

i7
()
Ответ на: комментарий от X512

Нет, как типичный капиталист, он хочет, чтобы средства производста из личной собственности программистов, ушли к нему в частную в датацентры. Сервисы в датацентрах - не общественная собственность, а как раз частная. Ты путаешь личную собственность с частной, и не понимаешь, что такое общественная собственность.

lenin386 ★★★★★
()

Да-да, классическое: не дайте вас обмануть в другом месте — приходите к нам!

hargard ★★★
()
Ответ на: комментарий от lenin386

и не понимаешь, что такое общественная собственность

Не бывает никакой общественной собственности в принципе, это сказка для навешивания лапши на уши. На самом деле собственностью владеть будет организация «представляющая общество» с вполне конкретными начальниками, которые далеко не факт что будут слушать общество. Причём совершенно не важно какой номинальный тип этой организации: коммерческая компания, государство, компартия, колхоз и т.д..

X512 ★★★★★
()
Последнее исправление: X512 (всего исправлений: 1)
Ответ на: комментарий от X512

Общественная собственность - бывает. Это например школа, которую ты имел возможность посещать, а были бы они только частными, там училась бы только илита - бизнес и власть, и ты не смог бы тут спамить, по причине неграмотности. Общественная собственность - это улица, природа, и воздух, на который ты платил бы налог, за каждый вздох, если бы он был частным.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 2)
Ответ на: комментарий от lenin386

Это например школа, которую ты имел возможность посещать

И в которой промывали мозги марксизмом-ленинизмом. А сейчас путинизмом. Кто де-факто управляет собственностью, в тех интересах эта собственность и работает. Частные же школы могут учить по своей программе, а не государственной. И родители имеют возможность выбрать. А насчёт бесплатности это значит, что это вы – товар.

X512 ★★★★★
()
Ответ на: комментарий от X512

Думаешь, за деньги преподают чистоту и правду? Как бы не так. Просто некоторые предметы, некоторые науки - по сути, пропагандонство, и никакие это не науки. А «изучать» их - положено. Ну, а настоящие науки - философия, лингвистика, математика, физика - их крайне тяжело сфальсифицировать.

lenin386 ★★★★★
()
Ответ на: комментарий от lenin386

Ну, а настоящие науки

  • философия

Ржу в голос. Это как раз основа всей пропаганды и манипуляций. Фальсифицируется элементарно ввиду отсутствия чётких критериев истины. «Я так вижу» – основа аргументации.

С точными науками согласен, там есть чёткие критерии истины и проверка на практике. На пропаганде ракета в космос не полетит.

X512 ★★★★★
()
Ответ на: комментарий от i7

Не похоже. Потому что премия на HBM память всегда была, а для производителей не надо других сигналов. Просто платите больше и давайте больше твердых заказов и они сами все переориентируют. Поэтому эти его словесные интервенции преследуют иные цели

cobold ★★★★★
()
Ответ на: комментарий от X512

основа всей пропаганды и манипуляций

Вот чтобы эффективно заниматься в том числе и этими вещами нужна теоретическая база. И философия ее даёт

cobold ★★★★★
()
Ответ на: комментарий от cobold

Я чисто фигею от этого. Мне хочется узнать имя гения, который синтетические алмазы на рынок вывел. Это же бред, любой вменяемый ювелир скажет, что там блеск не тот и вообще.

lenin386 ★★★★★
()
Ответ на: комментарий от X512

Философия, товарищ, это наука о том, как вообще что-то либо доказывать. Без базовых знаний философии, любой научный, околонаучный спор превращается в словесную перепалку. И вот не понимание ценности философии, она у многих программистов прям сочится.

lenin386 ★★★★★
()
Ответ на: комментарий от lenin386

Люди работают, технологии развиваются. А блеск он и у натуральных алмазов разный

cobold ★★★★★
()
Ответ на: комментарий от lenin386

Философия, товарищ, это наука о том, как вообще что-то либо доказывать.

Во-первых философия – не наука по определению (даже математика номинально не считается наукой). Во-вторых как строго доказывать изучает математика (математическая логика, теория множеств), а не философия. Современная наука не нуждается в решении проблемы материализма/идеализма, существования Бога, онтологии и т.д..

X512 ★★★★★
()
Ответ на: комментарий от lenin386

любой вменяемый ювелир скажет, что там блеск не тот

  1. Типа ты обладаешь компетенциями отличать вменяемого ювелира от невменяемого или просто брехливого.

  2. Типа у натуральных алмазов есть какой-то один эталонный блеск и цвет.

И, главное, не будем забывать, что масс-маркет барыжит брюликами таких чмошных размеров, что их без тестов даже от стекла не особо отличишь, не говоря о заморочках по природности/фабричности.

thesis ★★★★★
()
Последнее исправление: thesis (всего исправлений: 1)
Ответ на: комментарий от X512

Математическая логика - это перевод языка философии в язык математики.

lenin386 ★★★★★
()
Ответ на: комментарий от X512

Современная наука не нуждается в решении проблемы материализма/идеализма, существования Бога, онтологии и т.д

Нет, это современные уч0ные полагают, что им это всё не надо. Поэтому, изобретается только различного вида оружие и ядерные бобмы. Об этике эти тела не слышали. Зачем им? Все институты - под военщиной.

lenin386 ★★★★★
()
Последнее исправление: lenin386 (всего исправлений: 5)
Ответ на: комментарий от lenin386

Учëным что-то там доказывать и изобретать как раз не надо, они работают не в интересах простых людей. Они изобретают способы и материалы, чтобы сделать капиталистов ещë богаче, а простых людей – беднее.

yars068 ★★★★★
()
Ответ на: комментарий от VIT

Я продвигаю идею персонального ассистента, где каждый пользователь тренирует свою собственную локальную модель.

Как такая модель вписывается в GDPR? Учитывая, что все натренерованное сливается хозяину. Да, даже если ты «сам» ее хостишь.

ant1 ★
()
Ответ на: комментарий от Aceler

Кто ж его посадит, он на контракте у министерства войны.

Каждый шаг по заигрыванию с властями увеличивает шанс посадки экспоненциально.

ant1 ★
()
Ответ на: комментарий от X512

Эээ… философия это просто другое название мат. логики =|

Много лун назад все ученые назывались философами и у меня в дипломе написано «магистр философии», хотя я математик.

ant1 ★
()
Ответ на: комментарий от ant1

Вопрос слива, это не технический вопрос, а вопрос принятия бизнес решений. Влиять на бизнес можно по разному.

VIT ★★★
()
Ответ на: комментарий от VIT

Но ведь бизнес окажется в суде очень быстро. Советую заглянуть в раздел «ответственость и штрафы» закона о GDPR. Там все прям очень больно – ответственность личная, уголовная, а для компании миллио(ард)нные штрафы.

ant1 ★
()

В условиях жесткого дефицита ресурсов необходимо стремиться к максимальной загрузке мощностей в облаке.

У чувака с аргументацией неочень, если речь про дефицит ресурсов, то он касается всего т.е. шансы добраться до чего-то далекого уменьшаются.

anc ★★★★★
()
Ответ на: комментарий от ant1

закона о GDPR

Почему меня должны волновать законы Европейского Союза? У тех, кто ведёт бизнес на её территории пусть голова пухнет.

VIT ★★★
()
Ответ на: комментарий от VIT

персонального ассистента, где каждый пользователь тренирует свою собственную локальную модель.

Это типа как мозг?

ugoday ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.