Proxmox: Или задача про козу, капусту и волка

но как я понял ZFS нельзя расширять?!

Да, вроде, можно. Протестируй. У тебя ж много дисков. Добавляй по одному.

Мне больше нравится работа proxmox с zfs. Но можно и btrfs или lvm использовать.

У меня есть 6 дисков HDD по 16тб

Хм. Однако …

Для хоум видео мало места не бывает.

Для хоум видео мало места не бывает.

если он будет смотреть это видео с утра до вечера то ему понадбится 100 лет.

P.S. Кстати у сериала чужих будет 9 серия?

Можно ж сразу несколько смотреть. Несколько мониторов, тайлинг.

P.S. Кстати у сериала чужих будет 9 серия?

А должна была?

Да х.з. я типа жду, а колега сказал все кирдык, конец сезона ;(

Кстати вопрос, почти в тему, а зачем нужен Proxmox если можно юзать свой привычный дистр?

Ну, в 1-ом сезоне 8 серий, и 8-ая серия явно конец сезона.

6 дисков – значит цель это RAID6 (4+2)? Или RAID5 (5+1)? Или RAID10 (3+3)? Кажется mdadm позволяет массив любого из этих типов создать с одним missing диском. Создаешь массив, на нём файловую систему, копируешь данные с одинокого диска, добавляешь одинокий диск в массив вместо missing. Тогда не потребуется рестрайпинг при добавлении, только синхронизация.

если он будет смотреть это видео с утра до вечера то ему понадбится 100 лет.

Чушь. Пересчитывай.

Просто интересно, чем таким важным и интересным можно забить такое пространство?
У меня счас примерно 15ТБ музыки в лосслесс, но уникальной реально в 2 раза меньше, ибо есть куча разных рипов одних и тех же альбомов. Когда корешу сказал об этом, он скачал, что я упорот.

Можно качать все нейронки подряд с huggingface или какого-нибудь civitai. Кто-то плакался о таком недавно в r/DataHoarder.

Музыкой и правда сложно забить, у меня у самого всего 1.5 ТБ (но да, я только то, что нравится храню, а не всё подряд).

Но можно забить дофига чем, в том числе например своим контентом, если пишешь музыку и сохраняешь разные варианты дорожек и т.д. — целиком проекты, и тем более если пилишь, скажем — довольно много в итоге весит всё. Особенно если всё подряд сохранять, включая «неудачные» штуки, к которым может потом захочется вернуться и переосмыслить. Видосы какие-нибудь для ютуба. Накапливается много разного монтажного материала, начиная от просто съёмки своей рожи, заканчивая иллюстративным (ну там, не знаю, если по видеоиграм делаешь что-то, будут футажи геймплея на несколько часов записанные, дабы потом фрагменты в видео нарезать).

Сами игры ещё нынче большие стали. Вон недавно Train Simulator мелкомягкий кое-где появился весом 420 ГБ одна игра. Это, конечно, исключение, но всякие AAA-проекты 100+ гигов нынче.

Но тут речь шла про видео. Ну вот кино, например. Один блюр где-то 40 ГБ. В 4к на деле больше, но пусть так. 16000 × 6 / 40 = 2400 фильмов. Если смотреть по 2-3 в день (а это не с утра до вечера, как выше неверно было посчитано), то это на 6.5 лет просмотра, а никаких не на 100. С утра до вечера вообще можно за пару лет управиться. И это если именно смотреть, а ведь может не понравиться, и дропнешь через 10 минут, перейдёшь к следующему. Учитывая, какое нынче кино, такой вариант весьма возможен.

В общем, много чем можно забить, особенно смесью всего перечисленного и ещё дополнительно чем-нибудь. Включая мелочёвку вроде пары терабайт музыки и прочего.

но как я понял ZFS нельзя расширять?!

Нет, её можно расширять. А вот уменьшать — нельзя, не предусмотрено.

Один блюр где-то 40 ГБ. В 4к на деле больше, но пусть так. 16000 × 6 / 40 = 2400 фильмов

Чтоб столько фильков скачать, надо, кмк, столько же времени.

Если смотреть по 2-3 в день (а это не с утра до вечера, как выше неверно было посчитано), то это на 6.5 лет просмотра,

Ну, если не иметь других интересов и вообще ничем другим не заниматься.

Чтоб столько фильков скачать, надо, кмк, столько же времени.

Вовсе нет ;)

Ну, если не иметь других интересов и вообще ничем другим не заниматься.

Да, это, конечно, всё ещё не нечто реальное. Но это же был ответ на «если смотреть с утра до вечера, уйдёт 100 лет», что является чушью. На деле, ясное дело, никто таким не занимается. Хотя, если взять написанное далее… В любом случае, 6 HDD — это обычно в первую очередь RAID, то есть общий объём несколько ниже простого умножения 16 на 6, ну и контент может быть смешанным.

6 HDD — это обычно в первую очередь RAID, то есть общий объём несколько ниже простого умножения 16 на 6

Меня одного здесь пугает мысль о том сколько оно будет синхронизироваться? Никогда не понимал нафига такие объёмы нужны в домашних условиях…

Можно ж сразу несколько смотреть. Несколько мониторов, тайлинг.

Угу, а звук выводить через разные звуковухи на разные колонки, типа для правого монитора звук в правой колонке, для левого в левой, для центрального на фронтальной.

Музыкой и правда сложно забить, у меня у самого всего 1.5 ТБ (но да, я только то, что нравится храню, а не всё подряд).

У меня только 471Гб (того что мне нравиться) и то с дупами. Дупы это:
1. Есть немного в alac (да я знаю, что заднеприводный)
2. В 2021-ом году провел акцию и выкачал полные дискографии тех кто мне нравиться не заморачиваясь на тему есть у меня этот альбом или нет.

Чтоб столько фильков скачать, надо, кмк, столько же времени.

Все зависит от ширины вашего канала :)

Больше про выбор скачиваемых фильмов, чем про качание.

6 HDD — это обычно в первую очередь RAID, то есть общий объём несколько ниже простого умножения 16 на 6

Меня одного здесь пугает мысль о том сколько оно будет синхронизироваться?

Вот ниразу не смертельно долго.

Никогда не понимал нафига такие объёмы нужны в домашних условиях…

Такие это такие? И когда никогда? Беру свой пример, в 96-ом я жил в дуалбуте на 170Мб харде. «Грянул» 2025-ый и один заход на МРТ+КТ == архив на 976.7Мб. В современных условиях одну копию хранить низя, харды как мухи мрут, т.е. умножаем этот объем ещё минимум на 2. Итого один заход к врачам обходится в 1953,4Мб.

Больше про выбор скачиваемых фильмов, чем про качание.

Даже про выбор могу накинуть, например где-то из достоверного источника услышал что фильм годный ну и скачал его на будущее.

Proxmox: Или задача про козу, капусту и волка

«Слёзы капали».
Что только люди не выдумывают лишь бы разработкой не заниматься …
Лень людей винчестерам не победить.
Их всегда будет мало!

Дам хороший и добротный совет про «про козу, капусту и волка» - займитесь разработкой, а всю чушь на винчестерах удалите.

ну и скачал его на будущее.

Это что-то из жизни на потом или я буду жить вечно.

ну и скачал его на будущее.

Это что-то из жизни на потом или я буду жить вечно.

Ну да. :)

Дам хороший и добротный совет про «про козу, капусту и волка» - займитесь разработкой, а всю чушь на винчестерах удалите.

Что взамен?
Создайте 2KB файл с ссылками на контент помойки и займитесь работой.

Смузихлёбам нравится. Обмазаться виртуалками и контейнерами с ног до головы. Они по-другому не умеют. У них своя операционка под каждую задачу. Говорят для безопасности файлопомойки неуловимого Джо 😂

У меня mergerfs+snapraid на домашнем сервере. Ну а сами диски в ext4. Не знаю зачем zfs дома, от него только проблемы будут.

Можно, если задаться целью, а нужно ли?

Фильмы как смотрел в 720p, так и смотрю. Хотя телевизоры нынче 4к. Просто глаза немолодые, им столько детализации не нужно.

Для музыки дорогой акустики не использую, так что mp3 прекрасно подходит.

Современные игры по большей части хлам. А во всякую классику рубиться много места не надо.

Нейронки это вообще паралич мозга. Такое коллекционировать себя не уважать.

Кто 3д графикой занимается или монтажом видео, им да, места много не бывает.

Можно, если задаться целью, а нужно ли?

Тебе — нет. Почему — ты сам же и разложил ниже.

Другим — зависит от ответов на те же вопросы (и ещё некоторые) для себя.

А я уж подумал что это из того что бывший виндузятник и не предтавляет как можно в серевере не тыкать в гуй. Ну так вот давно уже для таких выпустили кокпит, так что промох уже нафиг не нужен.

4K классика кино (посмотрел классического 007 пересканированного - шикарно!), игры для свича, да мало ли чем...

Для музыки дорогой акустики не использую, так что mp3 прекрасно подходит.

Сони зачем-то в серии mbr xb настоящие наушники выпускает (в дешёвом дизайне, но сами - более чем ок). Так что, дорогая акустика для меломанства не обязательна.

Я вот раньше тоже думал что 4к на 4к тв это круто, потом поймал себя на том что главное нормальное качество и если фильм интересен то уже не замечаешь 4к, а если начинаешь замечать то значит отвлекся от фильма, то такое нафиг тогда смотреть?

Нет, есть нюансы, особенно, когда режиссёр понимал, что он делал, как это будет в кинотеатре...

У меня zfs, но без raid. Просто разные пулы для разных дисков. Всего лишь их два. Три, если считать системный. Снапшоты использую, а так бы ext4 тоже б хватило, думаю.

У них своя операционка под каждую задачу.

А нужно Debian на роутер, Debian на кофеварку, Debian на смартфон?

«Грянул» 2025-ый и один заход на МРТ+КТ == архив на 976.7Мб.

Это грубо гиг. Примерно в 100 тыс раз (чтобы вы нолики не считали) меньше чем ТС приспичило.

Вот ниразу не смертельно долго.

На SATA’шных скоростях 2TB винт клонируется часов 5. Вот и считайте сколько суток это займёт. А не дай бог навернётся - вытаскивать данные оттуда будет ух как весело…

6 дисков – значит цель это RAID6 (4+2)?

Абсолютно верно, цель попасть в RAID6 в идеале. У меня практически нет опыта с mdadm, можете в нескольких словах описать как правильно это сделать?

если он будет смотреть это видео с утра до вечера то ему понадбится 100 лет.

Если смотреть 16к разрешение и в 144fps, то влезет в мой будущий Raid6 всего-то 152 часа.

Proxmox: Или задача про козу, капусту и волка

Э нет, это задача о том как козёл искал капусту, а напоролся на волка.

Просто интересно, чем таким важным и интересным можно забить такое пространство?

Да все как у всех:

1. Виртуалки
2. Файло-помойка
3. Фоточки и видео в raw

Ну и исследование по диссертации: В 64 ТБ памяти можно обучить нейросеть с примерно 30–35 миллионами параметров в гомоморфном CKKS виде и это в идеальных условиях, возможно получится в разы меньше.

У меня mergerfs+snapraid на домашнем сервере. Ну а сами диски в ext4. Не знаю зачем zfs дома, от него только проблемы будут.

А расскажите подробнее? Какие обьемы? Что делать если один диск умер?

Ну и исследование по диссертации: В 64 ТБ памяти можно обучить нейросеть с примерно 30–35 миллионами параметров в гомоморфном CKKS виде и это в идеальных условиях, возможно получится в разы меньше.

Пошучу

Аааааааааааа, наконец-то понял для чего копирасты придумали ИИ и публикуют исходники.
Догадались?

Теперь по делу

Алгоритмы бывают:

• обычные;
• оптимальные;
• пригодные для работы с big datas.

Скорее всего нынешние алгоритмы, реализующие ИИ - «обычные».
ИМХО имеются иные алгоритмические реализации ИИ.
Пока (если не ошибаюсь) их можно отнести к «оптимальным».
Сказано не голословно, так как вообщем-то знаю как разработать «оптимальные» алгоритмы.
Впрочем железяки становятся всё более быстродействующими и им под силу проекты, разработанные с использованием «обычных» алгоритмов выполнять весьма эффективно.
Всё же лучше разработать «оптимальные» алгоритмы по многим причинам …

На SATA’шных скоростях 2TB винт клонируется часов 5. Вот и считайте сколько суток это займёт. А не дай бог навернётся - вытаскивать данные оттуда будет ух как весело…

Около от 30 часов до двух суток выходит, ну надо бесперебойник иметь и на самое важное бекапы делать, увы их ни кто не отменял

Около от 30 часов

Это вы просто супер-оптимистичны. Я думаю дней 5-7 ждать будете. Ну, потом расскажете :)

рейд (md) на 8тб sata винтах собирается 12 часов, держу в курсе

На форуме постоянно какие-то «разборки» с модераторами.

Пошучу

«Наши модераторы самые гуманные модераторы во всём мире».
Весьма жаль, что этого многие не понимают.