LINUX.ORG.RU
ФорумTalks

Прочитал в интернете мнение и ощутил смутные сомнения

 ,


0

1

Одно только обучение какого-нибудь ЧатЖПТ требует энергии, как небольшой город, и столько же уходит за месяц на его повседневную деятельность. Миллиарды запросов, знаете ли, сами себя не обработают.

Специалист я, конечно, невеликий, но, по-моему, это несусветная дичь. Интересуюсь мнением людей в теме.

Спасибо за внимание.

★★★★★

Последнее исправление: piyavking (всего исправлений: 1)

Один запрос к GPT-4 жрёт примерно 0.4 Вт*ч. Жрёт следующее - видеоускорители, которые загрузили в себя эту модель. И охладители для них, потому что загрузка ускорителя «в потолок».

Активных пользователей - порядка 100 млн. Если каждый делает в среднем (!) 10 запросов, то за 30 дней это 30 000 000 000 запросов. На «жор» умножьте сами.

Ещё есть запросы через API, а ещё их модели юзает Copilot. Так что (по мнению той же чатжпт) запросов в месяц примерно 100 000 000 000.

PPP328 ★★★★★
()
Последнее исправление: PPP328 (всего исправлений: 1)

это несусветная дичь.

Конечно же дичь. Всем известно, что это кочегары в топку лопатой байты закидывают. =)

ALiEN175
()
Ответ на: комментарий от ALiEN175

Я и так знаю, что не особо компетентен, не дави интеллектом)

piyavking ★★★★★
() автор топика
Ответ на: комментарий от mamina_radost

Ну обучение нейросетки на мой пещерный взгляд можно и на обычной тачке провернуть с мощным каналом. Мне бы, наоборот, набраться мыслей, чтоб было что раскрывать. В ветке ниже вот про мегаватчасы пишут, вот это что-то в этом роде и есть то, о чём я спрашиваю.

Собственно, подозрения в том, что моя интуиция меня подводит, и побудили меня написать этот пост. И я оказался прав - я оказался неправ)

piyavking ★★★★★
() автор топика
Последнее исправление: piyavking (всего исправлений: 1)

Конечно дичь, не указан промежуток времени для города. Обучение требует столько же, сколько город потребляет в год? Вряд ли. В секунду? Скорее всего, даже больше.

Метролог.

Aceler ★★★★★
()

Плохо, что ли? Хорошо! Надо ещё загнать агентов в бесконечные циклы и научить их себе квоты снимать для полного щастья

DumLemming ★★★
()
Ответ на: комментарий от piyavking

на обычной тачке провернуть с мощным каналом.

А проц с видяшкой не устанут пару сотен запросов к LLM в секунду обрабатывать? Или думаете у OpenAI там просто одна машинка в сеть смотрит?

ALiEN175
()
Ответ на: комментарий от mamina_radost

Он наверное про то что, суммарная затрата ресурсов на ллмки выше чем если бы всё то что делают они делали бы не они. (Хотя тут можно играть и манипулировать областями деятельности, для одних будет очень эффективно, для других будет катастрофически неэффективно с точки зрения итоговой затраченной энергии суммарной на решение той или иной задачи)

Например на содержание двух человек в день нужно сжечь две бочки нефти из сгорания которых формируется их зарплата, рабочее место и вообще всё. А если их работу заменить на ллмки то нужно сжечь 4 бочки нефти для обеспечения работы ллмки и 4000000 бочек чтобы ллмка под задачу вообще была. Иными словами количество калорий затрачиваемое на получения итогового результата может быть в теории выше при использовании ллмок вместо использования низкоквалифицированного рабочего которого можно ею заменить, мелкий аналитик, сортировщик почты и так далее.

Таким образом сиюминутная «выгода» из разряда «ллмка не спит и можно вместо оператора поддержки сунуть её» перекрывается неявными на неё затратами, которые пока что обоснованы исключительно «популярностью» ллмок в массах и бизнесах, которые пока-что готовы отдать всё за доступ к чуду-юду генерируя хайповые сверхприбыли.

Но нужно конечно посчитать, пока это просто пальцем в небо.

Ну и это не касается (вероятно, но не факт) просто узкоспециализированных просто нейросетей, которые по природе своей эффективны в своих узкозаточенных нишах, типа сортировка картошки тухлая/нормальная на траспортировочной линии по результатам рентгеновского снимка и типа того.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от Aceler

не указан промежуток времени для город

как же не указан, за месяц же

piyavking ★★★★★
() автор топика
Ответ на: комментарий от LINUX-ORG-RU

Хм. Вот не думал, что они такие жручие...

Но хоть просто узкоспециализированные просто нейросети, которые по природе своей эффективны в своих узкозаточенных нишах, не такие прожорливые)

piyavking ★★★★★
() автор топика
Ответ на: комментарий от piyavking

Умножать не ваш конёк, да?
100 000 000 000 запросов по 0.4 Вт*ч = 40 ГВт*ч в месяц

PPP328 ★★★★★
()
Последнее исправление: PPP328 (всего исправлений: 1)
Ответ на: комментарий от piyavking

сколько энергии потребляют твои серверы в месяц? ChatGPT сказал:

Отличный вопрос — особенно с учетом растущей озабоченности по поводу экологического следа ИИ. Прямого ответа нет, но вот что известно:

OpenAI не публикует точных данных о потреблении энергии своих серверов. Однако мы можем сделать оценку на основе общедоступной информации.

Приближенная оценка энергопотребления ChatGPT

Допустим, модель GPT-4 (или GPT-4o), на которой работает ChatGPT, размещена на GPU-серверах (например, NVIDIA A100 или H100). Один такой GPU потребляет примерно 300–700 Вт в зависимости от нагрузки. Упрощённый расчёт:

1 запрос ChatGPT (в среднем) потребляет от 0.1 до 1 Вт⋅ч (ватт-час).

100 млн запросов в день → 3 млрд в месяц — по оценкам, это может быть ~100–300 мегаватт-часов (МВт⋅ч) в месяц, а возможно и больше.

Для сравнения:

Обычная семья в США потребляет около 900 кВт⋅ч в месяц.

Значит, месячное энергопотребление серверов ChatGPT может быть сопоставимо с энергией, потребляемой тысячами или десятками тысяч домохозяйств.
ALiEN175
()
Ответ на: комментарий от ALiEN175

Обычная семья в США потребляет около 900 кВт⋅ч в месяц.

Вот это буржуины, етить. У нас 250-300, верхняя планка это если бойлер свой.

PPP328 ★★★★★
()
Ответ на: комментарий от LINUX-ORG-RU

То есть ОПа не устраивает циркуляция энергии. Эквилибриум для него, надо понимать, конец термоядерного и ядерного синтеза в звёздах, вымирание жизни(тратит чёртовы каллории) и вечный 0 по кельвину! Вот оно счастье и «не дичь».

mamina_radost
()

Так а что, городов очень много, а ChatGPT обслуживает юзеров по всему миру.

goingUp ★★★★★
()
Ответ на: комментарий от alysnix

к экологически чистому ИИ на велосипедной тяге.

На солнечной энергии - фотосинтез - растения - еда)

goingUp ★★★★★
()
Ответ на: комментарий от PPP328

Вот это буржуины, етить. У нас 250-300, верхняя планка это если бойлер свой

БОльшую часть года только на отопление мне нужно 500 (живу в ex-USSR)

geometer
()
Ответ на: комментарий от LINUX-ORG-RU

Тока человека нуно заделать, выростить, выучить сначала в школе, потом в универе, и только к 25 годам это чудо станет в лучшем случае джуном, а может и кассиром в пятёрочке или ваще цельный день гамающим и нигде не работающим. Посчитать сколько для этого тратится ресурсов - мама не горюй.

vtVitus ★★★★★
()
Последнее исправление: vtVitus (всего исправлений: 1)
Ответ на: комментарий от PPP328

Ну одноэтажная америка это отопление/кондиционер на дома в пару сотен м2, бойлеры на сотни литров, насосы из скважин и септиков, бассейны иногда с подогревом и электрички, а сейчас иногда и две в семье. И всё это на ээ. У нас квартиры с центральным отоплением, водоснабжением и канализацией. Когда я был в сша и про это рассказал - был вздох и типа вот везёт им 😁. Вообще тема электричества в сша прикольная - там очень много не так как у нас.

vtVitus ★★★★★
()
Ответ на: комментарий от Aceler

Зачем здесь промежуток времени? В цитате сказано про «повседневнюю деятельность» — то есть, речь не о каком-то обучении, которое было и закончилось, а о постоянном потреблении. Если предположить, что в день он в среднем потребляет столько же, сколько небольшой город (очевидно, что тоже в день), то и в месяц он потребляет примерно столько же, сколько этот небольшой город в месяц, а в год — сколько этот город в год, ну и т.д. Понятно, что тут могут быть всякие флуктуации на то, что у города зимой и летом потребление может быть выше из-за кондеев и обогревателей, а весной и летом ниже, но это явно за пределами погрешности, ведь речь идёт о примерном порядке величин, а не о точном равенстве.

Собственно по теме: насколько это правда, без понятия. Но прям дичью не звучит. Всё зависит от того, насколько мы хотим растянуть понятие «небольшой город».

CrX ★★★★★
()
Ответ на: комментарий от vtVitus

и только к 25 годам это чудо станет кассиром в пятёрочке в лучшем случае, а может и вообще джуном

Исправил :P

CrX ★★★★★
()
Ответ на: комментарий от CrX

и только к 25 годам это чудо станет кассиром в пятёрочке в лучшем случае, а может и вообще программистом пхп.

Так лучше 😀

vtVitus ★★★★★
()
Ответ на: комментарий от vtVitus

Ну я свой опыт рассказываю про частный дом (своя вода, отопление уголь)

PPP328 ★★★★★
()
Ответ на: комментарий от PPP328

Вообще, по-хорошему, надо со всей инфраструктурой и обслуживанием считать. Метро, троллейбусы, освещение улиц, внутреннее освещение, иллюминация, банкоматы, кассы, и т.д. и т.п.

seiken ★★★★★
()

Масштабы «города» неясны, но в целом порядок верный. Жрет оно как майнинг. Ибо работает на того же типа оборудовании в том же режиме.

pekmop1024 ★★★★★
()

Ещё про майнинг криптовалют напиши.

Merionet
()
Ответ на: комментарий от LINUX-ORG-RU

на содержание двух человек в день нужно сжечь две бочки нефти. А если их работу заменить на ллмки то

вопрос скорейшего внедрения биореакторов встает уже в полный рост.

thesis ★★★★★
()
Ответ на: комментарий от Aceler

Когда всё урбанизировано, любая дыра - город.

seiken ★★★★★
()
Ответ на: комментарий от vtVitus

Когда я был в сша и про это рассказал - был вздох и типа вот везёт им

только это не везение, а целенаправленный труд предков. Так и говори им.

seiken ★★★★★
()
Ответ на: комментарий от seiken

Нет это простое «хорошо там где нас нет» 😄 и оно общечеловеческое. А так, как человек имеющий и квартиру и дом, и там и там есть и плюсы и минусы. Тока и всего.

vtVitus ★★★★★
()

А у тебя не возник смутный вопрос: а кто и для чего бесплатно это оплачивает сейчас?

LightDiver ★★★★★
()
Ответ на: комментарий от vtVitus

Просто «повезло» - это когда в казино выиграл, или боженька манну небесную послал. Всё остальное - упорный осознанный труд многих поколений.

seiken ★★★★★
()
Ответ на: комментарий от mamina_radost

Ты гипертрофированно утрируешь, и специально сводишь неприятное для тебя мнение к абсурду, тем самым делая противоположное верным в любом случае.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от Seifulla

Не мифических. Ты и есть один из тех людей. Да нужно посчитать и это. Но нюанс, все энергозатраты в конечном итоге для людей и делаются, включая того самого, не мифического тебя. Человек тут выступает и как инструмент для достижении цели, цели которая существует сама по себе и достигается для того же самого человека.

Сухая математика тут летит в помойку. Её задача лишь подсчитать, а выявлять оправданность затрат иная задача. Иными словами, без людей смысла в достижении цели задачи просто нет.

LINUX-ORG-RU ★★★★★
()
Ответ на: комментарий от PPP328

Один запрос к GPT-4 жрёт примерно 0.4 Вт*ч.

Вообще-то это порядка килоджоуля. А килоджоуль это полсекунды нагревания двухкиловатного чайника(средний обычный чайник - 1.5-2.0 квт).

То есть 10 запросов в чатгпт в день от среднего клиента - это примерно 5-7 секунд работы домашнего электрочайника. Цифры конечно ужасающие.

alysnix ★★★
()
Ответ на: комментарий от alysnix

Цифры конечно ужасающие.

Ну первые автомобили тоже кушали будь здоров, тут надо на дистанции смотреть.

vtVitus ★★★★★
()

не чушь. но электроэнергии как какой-нибудь микрорайон он точно потребляет, но это для видюх, которые занимаются обучением. в оригинале, наверное, было town, а в английском - это все, что угодно. у нас бы это было что-то между селом и ПГТ (но есть села, где живут десятки тысяч человек типа Александровского в Ставропольском крае, где есть копия трона из «Игры престолов»)

rtxtxtrx ★★★
()
Ответ на: комментарий от LightDiver

Ты его обучаешь + продают твои запросы, чтобы тебе более точная контекстная реклама показывалась. Но никто тебе не мешает завести аккаунт с набором букв и заблочить всякие яндексы-адсенсы. Тем же самым, кстати, занимаются разрабы браузеров, но они еще продают всем желающим статистику по посещаемым тобою сайтам. Альтруизмом тут и не пахнет. Ты лишаешься личной жизни в обмен на пользование сервисами. Впихивание рекламы, наверное, было бы честнее, потому как с законами о поиске запрещенной информации в России или той же Велик-о-британии, эти данные в конечном итоге могут купить госы, чтобы штрафовать всех или наоборот выявлять и блокировать VPN-сервисы

rtxtxtrx ★★★
()
Последнее исправление: rtxtxtrx (всего исправлений: 4)
Ответ на: комментарий от vtVitus

я о том, что вскипятить один чайник - это как норма запросов к чатгпт на 10 дней. Ни о чем даже сегодня. Завтра будет еще экономней.

alysnix ★★★
()
Ответ на: комментарий от LightDiver

Обычный маркетинг для набора аудитории. У них тоже есть или буду платные тарифы, а бесплатные акки можно в любой момент подрезать, если что.

KillTheCat ★★★★★
()
Ответ на: комментарий от PPP328

Что-то мало. У меня компы только 500 в месяц потребляют.

firkax ★★★★★
()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)