Proxmox: Или задача про козу, капусту и волка

А у него промох на раутере или кофеварке? Я что то пропустил это :(

Хм. А такие бывают?

пятый, но в данном случае это неважно, ибо всё равно упирается в скорость линейного чтения/записи всего диска

На самом деле, если вы это реально увидели — это они большие молодцы. Не знаю что уж они там делали — забивали нулями все диски в параллель, или пересчитывали только dirty zones, но это около 200MB/sec sustained только прочитать 1 диск.

Вообще то он и писал про добавление 1-го 8ТБ диска, я ступанул и сразу не сообразил что это не зависит от размера и типа всего массива.

если он будет смотреть это видео с утра до вечера то ему понадбится 100 лет.

Это не так много, как ты думаешь. У меня жена ударилась в мобильную фотографию, за полгода на свой старый samsung s22 ultra наснимала фото и чутка видосов на полтерабайта :)

Пришлось домашний nas колхозить и место в Google drive покупать.

наснимала фото и чутка видосов на полтерабайта :)

Это нормально, потому что фото и видео с мобил никто обрабатывать не хочет а там у видео (как минимум) плохое сжатие.

Недавно понадобилось что снять на самсунг для отправки … снял меньше минуты в мп4, слил там порядка 70мб, я просто ffmpeg in out. Хлоп а оно 8 мегов. С фотками такая же ботва, снимут в 50МП так и швыряют через инет :(

Могу пригласить в наш проект, может что-то предложите. Но мы ограничены не рукожопством, а тем что нет лучших методов в принципе

Ну теоретически ограничений нет, это просто разрешение и frame rate. Есть ли реальный продакшен видео в 16к вряд ли, как минимум нужен сенсор на 130 мегапикселей, да и скорее всего там большие проблемы со скоростью считывания с сенсора и перегревом.

Самая близкая камера к этому:

Blackmagic URSA Cine 12K

12K RAW: 12,288 × 6480 = 79,6 МП на кадр

До 60 fps в полном 12K

До 240 fps в 4K

чуть меньше 177мб/с, если аккуратно посчитать. просто 7200rpm диски без smr. ну и разумеется, они параллельно работают, хоть 1 диск, хоть 10, разве что в пропускную способность контроллера упрётся.

а пересчитывать или нулями забивать не так важно, таки не на 486 процессоре выполняется.

ZFS нельзя расширять?

Можно, с оговорками.

Диск добавляется в пул одиночных дисков, в зеркало и в raidz (openzfs >= 2.3). Для создания raidz требуется не менее 2х дисков. Поэтому, если хочется начать с одного диска и далее расширять пул, доступны только stripe, mirror, stripe+mirror. В случае с raidz, в зависимости от его уровня, минимум - 2-4 диска.

Недооцениваешь объемы нынешних сериалов, особенно в супер-хай-4к-резолюшн. :)

Недооцениваешь объемы нынешних сериалов

Вы их больше одного раза смотрите? Хранить то зачем? Я уж и забыл когда последний раз не онлайн что-то смотрел…

Смузихлёбам нравится. Обмазаться виртуалками и контейнерами с ног до головы.

Есть такая тенденция, начинают бездумно плодить виртуалки и другие контейнеры под каждый микро-микро сервис. Имхо причина в копипасте, т.е. кто-то, когда-то запилил какой-то микросервис в отдельную vm и у него тогда были на то веские основания, он это описал где-то на просторах инета, ну и после этого тысячи макак бездумно скопипастили этот вариант, ну а потом вошло в привычку.

Ну это звучит как шляпа и как я ранее говорил, что тупо один диск в raidz2 (аналог raid6) добавить не получится и это печально.

Ну что же, попробую сделать mdadm, там вроде degraded массив не так сложно сделать, всего одна команда:

$mdadm --create --verbose /dev/md0 --level=6 --raid-devices=6 /dev/sdb /dev/sdc /dev/sdd /dev/sde /dev/sdf missing

# Потом создаем файловую систему
$mkfs.ext4 /dev/md0
$mkdir /mnt/raid6
$mount /dev/md0 /mnt/raid6

# Потом копируем все
$mount /dev/sda1 /mnt/source   # если он не смонтирован
$rsync -avxHAX /mnt/source/ /mnt/raid6/

# И добавляем 6-й диск 
$mdadm --add /dev/md0 /dev/sda  

Пока план такой, да и mdadm показал себя явно шустрее на предыдущем домашнем сервере. Так попробуем

Есть такая тенденция, начинают бездумно плодить виртуалки и другие контейнеры под каждый микро-микро сервис. Имхо причина в копипасте, т.е. кто-то, когда-то запилил какой-то микросервис в отдельную vm и у него тогда были на то веские основания, он это описал где-то на просторах инета, ну и после этого тысячи макак бездумно скопипастили этот вариант, ну а потом вошло в привычку.

Ну если говорить про меня, то у меня постоянно живет только Gitlab отдельно в VM. Остальные виртуалки обычно проходят цикл «поднял - проверил - убил», если то же самое делать на хосте, то можно в мусоре утонуть. А Proxmox прекрасно позволяет для мелких сервисов и контейнеры запускать. У меня как минимум Jupyter в контейнере работает, уже год полет нормальный.

У них своя операционка под каждую задачу.

А нужно Debian на роутер, Debian на кофеварку, Debian на смартфон?

Нет там намек на то, что под каждый микросервис тянут отдельную вм там где это нафиг не нужно.

«Грянул» 2025-ый и один заход на МРТ+КТ == архив на 976.7Мб.

Это грубо гиг. Примерно в 100 тыс раз (чтобы вы нолики не считали) меньше чем ТС приспичило.

Я не случайно привел исторический экскурс, мы же не покупаем носители исходя и сиюминутных потребностей, берется на вырост, на сколько-то там лет хватит. Я вот несколько лет назад поменял в хранилке харды с 4Гб на 8Гб и вот уже из этих 8Гб свободно 55Гб. Там много бэкапов которые можно по версионности удалять чем периодически и занимаюсь, но тем не менее, 8Гб заняты, а когда-то и 4-х хватало.

Правильно. Тот же юпитер, кому нужно в этой куче питона разбираться? А так заюзал контейнер и все.

Вообще то там был намек на то что в любой ось это база и доступно из коробки. Про какие микросервисы тут, я х.з.

К примеру если мне нужны виртуалки я просто сделаю dnf install libvirtd. Зачем мне менять систему на promox ve?

Абсолютно верно, цель попасть в RAID6 в идеале. У меня практически нет опыта с mdadm, можете в нескольких словах описать как правильно это сделать?

В двух словах это:
mdadm --create /dev/md0 --level 6 --raid-devices=N /dev/sda[M] /dev/sdb[M] ... /dev/sd(X)[M]
mdadm -Es > /etc/mdadm.conf
вот вроде и всё.

А в чем профит 6ки? Что то я забыл. Больше места чем 5ка на 4 дисках?

Потому что в проксмокс есть вебуи и настроено из коробки.

Для сравнения можно использовать тот же Debian на роутере и настроить всё через iptables. А можно установить Openwrt с преднастроенным файрволом и вебней. Или оно тоже для смузихлебов?

за полгода на свой старый samsung s22 ultra наснимала фото и чутка видосов на полтерабайта :)

Забывает камеру отключить когда убирает телефон в сумочку? :)

Поэтому я там же написал, теперь в дистрах, специально есть для этого кокпит. Если чел. без гуя не может.

Кстати про опенврт плохой пример, я юзаю опенврт и чтобы разобраться в его вебуи нужно быть спецом по нему. Мне там проще в разы в кли.

В прокмокс, думаешь, вебуи проще? И далеко не всё там можно сделать в вебуи.

У меня до этого стоял и арч, и дебиан, и никсос на сервере (насе). Сейчас Проксмокс долго живёт, потому что в нем можно использовать разные ос. А я иногда хочу подистрохопить. У меня в разных контейнерах разные дистры, например.

Извините, вас не понимаю. Почему в прохмох можно использовать разные ос а в обычном дебиане нельзя?

Можно. Можешь хоть в Винде использовать.

Вопрос в желании использовать, настраивать, изучать, разбираться. Желании и времени.

Ещё плюсом, что под проксмокс много гайдов, почти всё можно нагуглить.

А Proxmox прекрасно позволяет для мелких сервисов и контейнеры запускать.

А не proxmox не позволяет?

Он просто поленился в debian, поставить: apt install cockpit cockit-podman

Где удобнее запускать условный cosmic de? В Gentoo, Ubuntu или Fedora? В Fedora. Потому что он есть в репозиториях и есть даже отдельный образ с ним.

Тоже и с проксмокс. Просто удобнее.

Тут недавно кому то доказывал (он юзает докер+lxc на компе а на сервере докер+кибер) что пора уже почитать про новые технологии и выбраться из крио-камеры (и там и там выкинуть докер), вроде доказал ;)

Ну это нормально, со временем вы поюзайте кокпит в своем привычном дистре и тоже все поймете;)

А ещё zfs, qemu, novnc

Ну zfs если нужна для использования. Если квм юзать то ставиться плагин cockpit-mashine и новнц там внутри типа.

У меня есть кокпит в одном из контейнеров. Использую.

Докер в контейнерах, да, не использую. А виртуальные машины для тестов больше. Постоянных нет. Постоянные сервисы в LXC крутятся.

Хм, управлялка контейнерами внутри контейнера? Хм, однако.

Кокпит - это не управлялка контейнерами.

К примеру если мне нужны виртуалки я просто сделаю dnf install libvirtd. Зачем мне менять систему на promox ve?

Вот и я придерживаюсь такого же подхода.

А в чем профит 6ки? Что то я забыл. Больше места чем 5ка на 4 дисках?

У шестерки вероятность пролюбливания меньше.

Для сравнения можно использовать тот же Debian на роутере и настроить всё через iptables. А можно установить Openwrt с преднастроенным файрволом и вебней. Или оно тоже для смузихлебов?

Если речь про железку на которую можно накатить как обычный дистр так и openwrt, то да, для смузихлебов.

Тоже и с проксмокс. Просто удобнее.

В других дистрах libvirt депрекейтнули? Имхо нет. Или вы про какое-то ещё более другое удобство говорите?

А в чем профит 6ки? Что то я забыл. Больше места чем 5ка на 4 дисках?

Может два диска помереть и меньше вероятность потерять данные. К надежности 5-ки вопросы

У него есть куча плагинов для управления контейнерами это называется cockpit-podman.

(зачем я пишу одно и тоже по нескольку раз).

тупо один диск в raidz2 (аналог raid6) добавить не получится и это печально.

Сделать raidz2 из одного диска не получится, а добавить 1 диск в пул, где уже есть, например 5 дисков(в пределах одного raidz2 vdev) - получится.

Ну там обычно спаре добавляют, я так понимаю при 4х тогда проигрываешь сильно в общем размере. При 16 дисках в раид5 там это будет не сильно заметно.

Кстати прикольно, 3 диска в раид5, 2 подохло - вопросы к надежности. 2 диска в раид1 - два подохло - вопросов к надежности уже нет;)

Вы их больше одного раза смотрите?

Лично я их даже по одному разу не смотрю, потому что это в основном пустая ментальная жвачка и лишняя трата времени. :)

Но когда с супругой смотрели было в принципе удобно новую серию днём поставить сливаться и спокойно вечером посмотреть независимо от наличия\качества интернета (и даже электричества в некоторых случаях).

Мой поинт в основном в том, что видеоконтент - это очень много байтиков. И сам он генерится в бешенных количествах. У кого-то коллекция дтп с камер наблюдения, у кого-то - архив кейпоп концертов. Дело вкуса, в общем-то)

Ну тут у меня два любых диска может умереть, обьем 4х сохраняется, в raid5 таки один если умер велика вероятность, что пока будешь синкать новый диск умрет и второй сделав из твоих данных тыкву

Да да я понимаю, смерть 2го диска во время синхронизации нового при раид1 из 2х дисков. ;)