LINUX.ORG.RU

Хочу обновить homelab'у

 , ,


1

2

Всем привет!

Хочу обновить хоум лабу и наконец-то переехать в rack, по факту это будет proxmox кластер, со следующей структурой:

  • net switch
  • pve1
  • pve2
  • pve3
  • HPC Node \ AI Node
  • nas ssd
  • nas cold hdd
  • ups

Почему 19" rack соблазнителен, так это потому что туда можно впихнуть сколько угодно оперативы по сравнению со всякими мини-пк.

Но тут как обычно проблема с шумом. Есть ли в 2026 году способы сделать сервер тихим? Особенно 1\2u? Может уже стало доступно водяное охлаждение или есть какие-то лайфхаки?

★★★★

Последнее исправление: hobbit (всего исправлений: 1)

Я так понимаю что для домашней лабы нет отдельного помещения? если это так - то выглядит как ошибка… И лучше всего таки понакупать mini-pc и сделать на них Вообще с этими mini-pc много красивых решений (визуально).

Так что два раза подумайте перед окончательным выбором, если отдельного помещения под серверное железа у вас нет….

gagarin0
()
Ответ на: комментарий от gagarin0

Вообще нет отдельного помещения, даже проверял на дальних комнатах квартиры, все что выше 30-40 децибел мешает спать =(

Были еще идеи купить Minisforum Ultra потому что он поддерживает 256гб ecc памяти, но хотелось бы еще больше и плюс чем больше каналов памяти, тем выше пропускная способность. Есть ли мини или компактные пк, которые могут держать 1тб рамы? Сомнительно.

Предвижу вопросы - нахрена столько, ответ - Privacy Preserving ML эксперименты. Да и разное. Все равно на текущих двух серверах с 128гб рамы каждый уже часто падаю по oom =(

Так же думал по поводу 4u корпусов с 120\140мм вертушками, но это минимум 19u шкаф нужен, места жалко =(

AntonyRF ★★★★
() автор топика
Последнее исправление: AntonyRF (всего исправлений: 1)

Есть ли в 2026 году способы сделать сервер тихим?

Так же как и десктоп - ставить башенный кулер с большим вентилятором и поменьше оборотами. Лучше подходят те у которых вентилятор кулера повёрнут к материнке, а не вбок - они влезают в 4U корпус, в отличие от.

Особенно 1\2u?

Не надейся.

Может уже стало доступно водяное охлаждение или есть какие-то лайфхаки?

Думаю в 4U влезает всё то же самое что и в несерверные корпуса.

firkax ★★★★★
()
Ответ на: комментарий от AntonyRF

но это минимум 19u шкаф нужен, места жалко

проверял на дальних комнатах квартиры

Как можно совмещать наличие «дальних комнат» и выкраивание одного квадратного метра площади - мне совершенно непонятно. По мне так стойке место найдётся даже если комната всего одна на 10 кв.м.

firkax ★★★★★
()
Ответ на: комментарий от Ololo_Trololo

А чем какой-нить МегаТауэр не канает? Туда как раз и воду можно провести.

Да хотелось бы ceph, а там надо 3 машины минимум, а это уже 3 мегатауэр и место в квартире закончится =)

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от AntonyRF

я знаю что для private ai буржуи очень котируют DGX spark https://www.nvidia.com/en-us/products/workstations/dgx-spark/

но советовать я не буду, в том плане что и ценник не гуманный, и не понятно что с этой железкой делать, она не «скейлится», а является законченным решением (точнее скейлится она покупкой еще одного DGX spark)

но хотелось бы еще больше и плюс чем больше каналов памяти, тем выше пропускная способность

да, желательно 4х канальную память в идеале, которая дает ~76 Gb/s

но это минимум 19u шкаф нужен, места жалко =(

без отдельного помещения где будет жить домашняя лаба я посоветовать ничего не могу…

разве что делать private AI workstation на видеокартах с водяным охлаждением…

весь вопрос всегда упирается в $$$ бюджет, и какие модели вы хотите запускать, я сейчас сижу на deepseek v4 vision exp (локальном), доволен как слон, пробовал запускать GLM-5.3-flash, но квант IQ4_XS (который мне максимально доступен) мягко говоря меня разочаровал…

gagarin0
()
Последнее исправление: gagarin0 (всего исправлений: 1)
Ответ на: комментарий от gagarin0

Privacy Preserving ML - это про шифрование в первую очередь, а не про погонять модельки. Там прикол в том, что чтобы нейронка не знала о данных пользователя должно использоваться гомоморфное шифрование, а оно накапливает шум после каждого умножения, чтобы удалить этот шум надо запустить процедуру бутстреппинга (научное название), которое может отожрать несколько сотен гигабайт оперативы.

Что касается отдельного помещения - есть гараж, но там влажность и 8 квт сеть только

AntonyRF ★★★★
() автор топика
Последнее исправление: AntonyRF (всего исправлений: 1)
Ответ на: комментарий от gagarin0

Да понятно, что тут противоречивые требования =( Но была надежда, что к 2026 хоумлаберы уже как-то решили вопрос шума в стойке

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от AntonyRF

понял, даже не знал о таком направлении, мой вам совет, собирайте в middle-tower корпусах свои конфигурации и гоняете там свои задачи, если вы вдруг все таки выберете rack железо, то это будут лишние $$$.

конкретно про ML станцию, рассмотрите такой вариант, выберите X99 материнскую которая поддерживает 4 канальную память ECC REG DDR4, забейте ее максимально (кстати так же рассмотрите вариант dual xeon). в теории вы можете получить 256GB ECC REG 4 на двух dual xeon. это наверное один из самых бюджетных вариантов.

P.S. материнская плата X99 с dual xeon 2.4 и 128GB ECC REG4 этой весной мне обошлась за смешные ~40k рублей с авито, правда память там двухканальная :(

gagarin0
()
Ответ на: комментарий от VIT

Терабайт

на этом мои полномочия все… даже не представляю конфигурацию такого железа, тут наверное нужно на профильные форумы…

1TB памяти это все же не домашняя лаба (без отдельного помещения под нее)? :)

gagarin0
()
Последнее исправление: gagarin0 (всего исправлений: 2)
Ответ на: комментарий от gagarin0

1TB памяти это все же не домашняя лаба

А какой смысл ему брать сейчас 512 GB, если у него два по 128 регулярно в OOM? Ну возьмёт, так завтра опять всё то же самое, и денег сожжёт, и проблема осталась.

VIT ★★★
()
Ответ на: комментарий от gagarin0

Спасибо за советы. 256гб думаю временно только решат проблему, а может и не решат вообще. Но раз других вариантов нет, рассмотрю обычные корпуса

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от gagarin0

А что там представлять? ThreadRipper (3945WX), можно не самый свежий или AMD Epyc sp3 учитывая цены на на ddr5

AntonyRF ★★★★
() автор топика
Последнее исправление: AntonyRF (всего исправлений: 1)
Ответ на: комментарий от AntonyRF

На 4 тб на каждую машину наверное денег не хватит =)

Я предполагаю, что интерес к Privacy Preserving ML не платонический. Что такое $15K на средство производства? Не на Warcraft же собираете.

VIT ★★★
()
Ответ на: комментарий от firkax

Зачем «чтобы не знала» если у тебя всё селфхост?

Затем, чтобы алгоритмы делать, а не чтобы использовать

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от VIT

В 8kW вы, допустим впишитесь, а вот за шум я не уверен. Давно не брал я в руки шашек, но если мне не изменяет склероз, меньше 70db я как-то и не припоминаю. Что-то мне подсказывает, что 70db в квартире немножко не камильфо.

VIT ★★★
()
Ответ на: комментарий от VIT

Я предполагаю, что интерес к Privacy Preserving ML не платонический. Что такое $15K на средство производства? Не на Warcraft же собираете.

Увы, все в рамках диссертации за которую стипендия 11 тысяч деревянных

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от VIT

Так 8квт в гараже, а не в квартире. Так же по шуму там наверное тоже без разницы. Но влажность 70% и выше =(

В квартире точно не получится стандартный сервер, хотя я вот почитал что некоторые меняют вентиляторы на noctua низкооборотистые и вроде становится в 2 раза тише, но сомневаюсь, что это сильно поможет

AntonyRF ★★★★
() автор топика
Последнее исправление: AntonyRF (всего исправлений: 1)
Ответ на: комментарий от AntonyRF

Я предполагаю, что интерес к Privacy Preserving ML не платонический. Что такое $15K на средство производства? Не на Warcraft же собираете.

Увы, все в рамках диссертации за которую стипендия 11 тысяч деревянных

Понял. Увы мне увы, Иван Васильевич. Ну ничего, все через это проходили. Потом вспоминать будете с улыбкой и нежной ностальгией.

VIT ★★★
()
Ответ на: комментарий от AntonyRF

Так 8квт в гараже, а не в квартире. Так же по шуму там наверное тоже без разницы.

В гараже обнесут, не вариант. А в квартире по счётчику вычислят.

VIT ★★★
()
Ответ на: комментарий от VIT

В гараже обнесут, не вариант. А в квартире по счётчику вычислят.

Гараж с охраной, да и что там что там по счетчику платить по полной

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от AntonyRF

Но хотя бы успехи есть, ждите после защиты на crates.io

Договорились, успехов!

VIT ★★★
()
Ответ на: комментарий от AntonyRF

гомоморфное шифрование

Там не будет эффекта как у битмап-картинки, зашифрованной мелкоблочным шифром (всмысле что содержимое пикселей надёжно спрятано, но силуэт прекрасно виден)?

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

Кто и зачем будет что-то вычислять?

Он понял, кто и зачем. 8kW шарманку не просто спрятать, а неограниченный тариф не всюду есть.

VIT ★★★
()
Ответ на: комментарий от AntonyRF

меняют вентиляторы на noctua низкооборотистые и вроде становится в 2 раза тише

У меня вообще другое, просто десктоп с медленными кулерами, но да, тише тикающего будильника, 50Гц из спикеров громче. И все крутятся. Поэтому присоединюсь к совету mid-tower с большими медленными вентиляторами - стойки это вообще для другого.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 2)
Ответ на: комментарий от firkax

Не, там огромные ключи, собственно по этому оно и жрет много памяти. Очень просто обьясню, условно каждое число помещается на огромный циферблат. Числа на нём идут по кругу, и после полного оборота мы снова попадаем в ноль. В ключе сказано сколько раз надо прокрутить стрелку часов по этому кругу, это случайное значение, плюс добавляется случайный шум в последние разряды числа, чтобы стрелка ровно не стояла ни на одном часу. И каждый символ шифртекста прокручен по своему ключу. Притом можно делать сложения, вычитания, умножения (почти без деления) и потом восстанавливать получившееся число с небольшим шумом. Что это дает?! Нейронка содержит веса, пришедшие данные не могут быть ни как расшифрованы сервером, данные проходят инференс и результат попадает клиенту, а тот уже расшифровывает. Т.е. вычислительные мощности остаются в датацентрах, а данные у клиентов. Естественно, это работает как минимум в миллион раз медленнее чем без шифрования и это прям научная проблема.

AntonyRF ★★★★
() автор топика

Почему 19" rack соблазнителен, так это потому что туда можно впихнуть сколько угодно оперативы по сравнению со всякими мини-пк. Но тут как обычно проблема с шумом. Есть ли в 2026 году способы сделать сервер тихим? Особенно 1\2u? Может уже стало доступно водяное охлаждение или есть какие-то лайфхаки?

Зимой можно выставить сервер на застеклённый балкон, на котором станет немного теплее. К лету придумаешь что-нибудь ещё.

Enthusiast ★★★☆
()
Ответ на: комментарий от AntonyRF

Через воду охладить всё можно, только вам самому придётся покупать водоблоки, соединять их, помпу подбирать. И помпа тоже может шуметь. И вентиляторы, которые будут радиатор с водой обдувать... Ну, и блок питания, наверное, лучше водой не охлаждать. А БП на 1U тоже шумные, там всё в притык, и вентилятор оборотистый и места прохода воздуха мало.

Наверное, можно запихать обычную материнку в 2U корпус, водоблоки туда запихать, а БП и радиатор снаружи, но трудоёмко.

А охлаждать вы как это собираетесь? Кондей тоже и электричество потребляет и шумит.

выше 30-40 децибел

Ну, такое вобще нереально. 30 дБА — это настенные часы. Этот шум будет не вентилятором создаваться, а поросто самим движщимся воздухом. Сейчас то у вас какой уровень шума от существующих серверов?

mky ★★★★★
()
Ответ на: комментарий от AntonyRF

а это уже 3 мегатауэр и место в квартире закончится =)

Колокейшн из 4-х можно оформить как дизайнерский стол..)

frunobulax ★★★★★
()
Ответ на: комментарий от anonymous

Одной железки в виде NAS реально не хватает?

Ну поначалу-то да.

А потом хочется покрутить то, покрутить сё. Потому что зачем платить за дохлую впску если уже есть своё? Ну и вот оно одно прижилось, другое. Уже и одно пользуешь, а для другого и друзьяшкм уже доступ дал.

Вот так и моргнуть не успел как уже стал жить в серверной)

frunobulax ★★★★★
()
Ответ на: комментарий от anonymous

для экспериментов очень хорошо подходит, я перенес много решений в рабочую инфраструктуру прежде протестировав и покрутив их в домашней лабе.

gagarin0
()
Ответ на: комментарий от mky

Ну, такое вобще нереально. 30 дБА — это настенные часы.

Сейчас замерил просто приложухой на телефоне, хз на сколько это точно, 60 показало без нагрузки. Так что извините, я наврал) Короче, звук пылесоса точно не нужно, легкий шум можно

Но на текущих серверах не серверные корпуса Jonsbo N5

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от anonymous

А в чём смысл вообще хоум лаб? Одной железки в виде NAS реально не хватает?

Под просто холодное хранилище да, можно было бы просто NAS обойтись, а так да заманало арендовать сервера если нужна vram или оператива.

AntonyRF ★★★★
() автор топика
Ответ на: комментарий от AntonyRF

Ну, так как в мегатауэрах ещё дофига места, можно туда запилить вторую матернку и БП. Так что, я бы ещё подумал. Опять же, некоторые есть в индустриальном дизайне 90-х - вообще как мебель смотрятся.

Shadow ★★★★★
()

За такие деньги проще купить готовую «квартиру, где деньги лежат» со всей аппаруторой и инфраструктурой под ключ, а отдыхать под 25 дБ в отдельном доме с хорошим фундаментом, звукоизоляцией, подальше от авто-, железо-, авиа-дорог.

Или эта тема про похвалиться - «смотрите, что могу я себе позволить!».

anonymous
()
Ответ на: комментарий от AntonyRF

Покупаешь целый этаж: в одном конце перфорируешь дроном на оптоволокне, в другом конце оперируешь дроном.

Профита больше в этой «нише»

anonymous
()

Хочу обновить homelab'у

Ну если в этом цель — нет препятствий энтузиастам.

Почему 19" rack соблазнителен

Техпаспорт на перекрытия в доме посмотри.

slackwarrior ★★★★★
()
Ответ на: комментарий от AntonyRF

Мои знакомые для такого покупали б/ушные оптиплексы. Маленькие и тихие.

leave ★★★★★
()
  • Markdown
Пустая строка (два раза Enter) начинает новый абзац. Знак '>' в начале абзаца выделяет абзац курсивом цитирования.
Внимание: прочитайте описание разметки Markdown.
Используйте Ctrl-Enter для размещения комментария