LINUX.ORG.RU

Хранение данных в локальной сети

 , , ,


0

1

Потихоньку осуществляю давнюю мечту о домашнем сервере и плавном уходе от облаков чужих к своим.

Итого имеется сервер на базе китайского partaker b11 с i5-6200U

На него установлено 16Gb RAM / 128Gb SSD

На нем пока что крутится Debian, в нем несколько lxc-контейнеров в которых пока что бегают kodi и google-chrome для просмотра видео из интернета. В будущем планируется поднять там еще ряд сервисов - в частности, nexcloud или аналоги - и вообще сделать из этой машинки центр домашней медиа-сети, умного дома, песочницу и так далее.

Хочется иметь в районе 3TB под «облако» и еще место под хранение снапшотов контейнеров, под домашний репозиторий (не все хочется держать на гитхабе) и фотографии. Естественно хочется держать все это на RAID. Кроме всего прочего, винты, скопившиеся после перехода на SSD нескольких ноутбуков, хочется объеденить в, например, JBOD и использовать под временное хранилище маловажной информации - для торрентокачалки и подобного. В связи с этим уже месяц размышляю как организовать хранение данных.

Опций я вижу три:

- отдельный NAS

- DAS, сообщающийся с сервером через,например, eSATA

- SAN для дома

По первому варианту рассматривал QNAP, но не нашел в продаже моделей, поддержка debian для которых была бы заявлена ил хотя бы упоминалась. Не уверен, если выискивание старых Б/У моделей того стоит. Смотрел на, опять же, китай и наполнить это чем-то вроде WD RED (опять же, готов выслушать советы). Всякие дешевые варианты на малинке не рассматривал, потому что упрется все в сетевой адаптер. Вообще минусом NAS вижу органичение на скорость во внутрисетке, eSATA будет определенно быстрее. Но я не уверен, если это действительно критично.

По второму варианты вообще не нашел какой-либо адекватной информации. Есть ли внешние кредлы с RAID контроллерами? Не сильно ли потеряю я в производительности, взвалив заботы по IO на главный сервер?

SAN в домашних условиях это, наверное, оверкил. Но вариант все же присутствует.

Ну и по более высокоуровневой реализации: lvm+xfs/zfs/etc тоже послушал бы советов мудрых.

Ах да, сеть управляется Микротиком RB2011UAS, так что натсоящий гигабитный LAN организовать получится с большой вероятностью

послушал бы советов мудрых

самый мудрый совет — не мудри.
один диск на 3TB с рандомной ОС и рандомной ФС мало чем будет отличатся
если проведёшь ревизию «важных»\«невосполнимых» файлов, 99% они все на флешку влезут.
но ты не хочешь делать ревизию, риски оценивать и т.д. ты хочешь играть с сервером как вон те большие дяди на работе. и вот уже RAID 50, fibre channel и zfs поверх lvm(sic)

system-root ★★★★ ()

А я бы посоветовал посмотреть в сторону HPE ProLiant MicroServer Gen8. За свои деньги (базовая модель дешевле 20 000 руб.) - отличный домашний сервер.

ravdinve ()
Ответ на: комментарий от system-root

ты хочешь играть с сервером как вон те большие дяди на работе.

я не скрываю и не отрицаю что домашний сервер для меня это на 50% хобби и уже точно не решение, которое я выбрал под давлением обстоятельств.

99% они все на флешку влезут.

нет. За 10 лет у меня накопились фотографии и редкие видео из походов в подземелья (в том числе и RAW исходники) которые на флешку уж точно не влезут. 65Гб это то, что сейчас лежит на ноуте. Часть старых фото копится на двух внешних жестких дисках. 1.5Тб облака попросила жена.

ты не хочешь делать ревизию, риски оценивать

зачем? это же не данные, в которые я впрягаюсь деньгами. Это просто вещи, которые хотелось бы сохранить. Сейчас с этим справляются внешние HDD. Но после каждого похода люди просят выслать им фоточки. Иногда требуется на старых фото что-то показать и так далее. Потому хочется часть архива сделать доступным через интернет без постоянного «сейчас найду куда выложить»/«как тебе удобно файлы принять?»

Nicholass ★★★ ()
Ответ на: комментарий от targitaj

О, вас я и ждал! Спасибо, правда часть ссылок светится visited, но все равно есть что почитать

Nicholass ★★★ ()
Ответ на: комментарий от ravdinve

Сервер-то уже есть. Для NAS это оверкил - у нас нашел за ~360$ без хардов и с 4Гб RAM.

Nicholass ★★★ ()
Ответ на: комментарий от Nicholass

очевидно глупо будет экономить на хобби (каким бы оно ни было).
расскажи, если не трудно, чем тебя не устроили сотни сервисов, которые разве , что на коленях не умоляют хостить у них видео\аудио\фото контент?
я хочу это знать для расширения представлений о мире.

system-root ★★★★ ()
Последнее исправление: system-root (всего исправлений: 1)
Ответ на: комментарий от ravdinve

А я купил QNap за те же деньги, включил и он работает.

UVV ★★★★★ ()
Ответ на: комментарий от UVV

И где-же вы купили 4-дисковый QNap за 20 т. руб.? У нас он минимум 26 т. стоит и характеристики железа у него смешные (проц ARM 1700 Мгц и 1 Гиг памяти). А HP Microserver стоит 17500 и там нормальное железо (проц Intel и памяти 4 Гига, кроме 4 внешних дисков - еще место под DVD, куда отлично ставится SSD). А если заказать его на computeruniverse.ru - там он вообще 13000 стоит. Во общем - для домашнего админа трудно найти более подходящее железо.

sigurd ★★★★ ()
Ответ на: комментарий от sigurd

А у меня 2-х дисковый, и проц там не arm, а intel и памяти 2 гига (а в новой модели и вообще 4). Моделей с гигом я не видел.

еще место под DVD, куда отлично ставится SSD).

Зачем там что первый, что второй?

Во общем - для домашнего админа трудно найти более подходящее железо.

В общем, я не одмин и копаться с поднятием всего с нуля мне не усралось (времени нет). А в qnap'e (почти) всё работает из коробки. Да, нюансы тоже есть, конечно. Если qnap дорого, то можно посмотреть synology, хотя он не намного дешевле.

По твоей логике экономия получается ~$150. Стоит оно того или нет, решает каждый сам.

UVV ★★★★★ ()
Ответ на: комментарий от Nicholass

Чего мудрить. Купить два 3ТБ диска в USB 3.0 коробках, подключить к «серверу», объединить в зеркало с помощью mdadm, и успокоиться. Например, WD Elements Desktop по 6 килоруб штука. Преимущества перед двухдисковым NAS-ом есть:

  • Будет один комп, а не два — меньше администрирования.
  • В двухдисковых NAS-ах вентилятор, а в USB-коробках нет — меньше шума.
  • USB 3.0 это 5 Gbps, GbE это 1 Gbps — выше пропускная способность и ниже латентность.
iliyap ★★★★★ ()
Последнее исправление: iliyap (всего исправлений: 1)
Ответ на: комментарий от UVV

А ты не пробовал читать исходный вопрос? Если ты - не «одмин», то автор - явно админ! Цитирую - «рассматривал QNAP, но не нашел в продаже моделей, поддержка debian для которых была бы заявлена ил хотя бы упоминалась». И хвалится, что ты за стоимость 4-х дискового полноценного сервера купил 2-х дисковый NAS смешно (особенно на данном форуме)

sigurd ★★★★ ()
Последнее исправление: sigurd (всего исправлений: 1)
Ответ на: комментарий от sigurd

А ты не пробовал читать исходный вопрос?

нет, конечно. Не предствляю, зачем мне там debian.

И хвалится, что ты за стоимость 4-х дискового полноценного сервера купил 2-х дисковый NAS смешно (особенно на данном форуме)

Если докупить винтов, то разница в цене будет минимальна. А так, не представляю, зачем дома 4 винта.

UVV ★★★★★ ()
Ответ на: комментарий от iliyap

В двухдисковых NAS-ах вентилятор, а в USB-коробках нет — меньше шума.

В NAS'ах шум идёт скорее от работы винтов, чем от вентиляторов.

UVV ★★★★★ ()

Если хочется вкорячить Debian, то WD My Cloud EX2 Ultra, например. Железо там такое же днищенское, как у QNAP и Synology до 20 т.р., зато не сильно переплачиваешь за глючную прошивку. My Cloud Mirror Gen2 с дисками выгоднее выходит, но там памяти вроде поменьше.

anonymous ()
Ответ на: комментарий от system-root

а я и не собираюсь экономить - я ж не колхожу на пишке.

Дропбокс/Гуглдрайв/этц меня не устраивають размером (причем не сколько меня, сколько жену)

Из сервисов хостинга фотографий пока самым адекватным был Яндекс Фотки. Загружает альбомами и дает сразу набор размеров картинки под разные цели. Можно создавать альбомы под паролем и такое прочее. Но параллельно я хочу хранить исходные изображения. Заморачиваться создавать под каждый поход альбом с тремя подальбомами (исходники, фото под публикацию, приватные фото/фото без копирайта) мне не понравилось. Ну и я лучше буду дублировать на ЯФото то, что буду хранить на рейде

Место на телефоне забилось под отказ, гуглдрайв забился под отказ фотками с телефона и удалить/скачать их все скопом невозможно.

Я бы свою библиотеку хранил в виде OPDS - это удобно с зоопарком читалок/телефонов. Но такого под ключ никто не предоставляет.

Свои org файлы я бы хранил на WebDAV но не публично - у дропбокса были какие-то конфликты с мобильным клиентом, когда я пытался настроить. Гдрайв забит. Заводить еще одно облако под свои org-agenda я рехнусь.

Nicholass ★★★ ()
Ответ на: комментарий от UVV

нет, конечно. Не предствляю, зачем мне там debian.

я сразу подстилаю солому на месте падения. Как я понял из беглого знакомства с рынком, современный домашний нас это «фоточки синхронизация аклауд вебинтерфейс». Мне нужно что-то более низкоуровневое - сетевая файловая система разные части которой будут использоваться разными сервисами под разные цели: бекап, файлопомойки различных мастей. Я переживаю, что в новомодных коробках настроить это через родную прошивку будет сложновато или вовсе невозможно. На такой случая я готов доплатить за возможность просто поднять там привычный мне дистрибутив и руками настроить хранилище.

Nicholass ★★★ ()
Ответ на: комментарий от iliyap

А IOPS там не просядет из-за того, что все одна машинка считает? Вот я о чем переживаю.

Nicholass ★★★ ()
Ответ на: комментарий от anonymous

смотрел на них. Вроде ок, но только два винта. Я конечно не уверен что мне дома нужен RAID5, но как минимум пристроить в последнее плаванье старинные винты куда-то хочется (я там про JBOD помойку писал выше). А это предполагает что к этому хранилищу придется еще колхозить хранилище. Или приделывать его к «ведущему» серверу. Не уверен что выигрыш по деньгам того стоит.

Nicholass ★★★ ()
Ответ на: комментарий от Nicholass

винты,
ноутбуков

А IOPS там не просядет из-за того, что все одна машинка считает?

я бы на твоём месте не за это беспокоился.

anonymous ()
Ответ на: комментарий от Nicholass

Зеркалирование ресурсов цпу практически не тратит. Остается только сравнить io. Не понятно, как может io по usb 3.0 быть ниже, чем io по GbE.

Вообще странный конечно «сервер», в который внутренние диски не подключишь, потому что места в корпусе нет, а внешние диски можно подключить только по usb или gbe, потому что esata на нем нет. Но процессора то в нем поболее чем в любом домашнем NAS-е, поэтому ставить с ним рядом NAS как-то глупо.

iliyap ★★★★★ ()
Ответ на: комментарий от anonymous

нет, ты путаешь немножко. Ноутбучные винты в JBOD'е это приятный бонус, который тоже хочется куда-то использовать. Основной NASа станут новые винты вроде WD RED

Nicholass ★★★ ()
Ответ на: комментарий от iliyap

там докинуть eSATA на mini-PCI можно, я заранее о таком подумал.

Зеркалирование ресурсов цпу практически не тратит.

а вот тут спасибо, действительно дельный совет и + в сторону DAS

Nicholass ★★★ ()
Ответ на: комментарий от ravdinve

А я бы посоветовал посмотреть в сторону HPE ProLiant MicroServer Gen8. За свои деньги (базовая модель дешевле 20 000 руб.) - отличный домашний сервер.

Не то что бы плохой совет, но как обладатель более старой модели еще на amd turon могу сказать, что сервер не тихий, почти все разъемы проприетарные, в том числе вентиляторы, в 4-х пиновом разъеме специально «перепутаны» провода. Сопротивление бесполезно :) cервер не запустится если вентилятор не наберет минимально необходимые обороты. Остается только шить левой прошивкой. Чтоб левую ITX поставить нужно повозиться, ограничиться парой вырезов в корпусе не получится, там специально крепежные отверстия под плату сделали зеркально стандарту ITX.

Aber ★★★ ()
Ответ на: комментарий от Nicholass

Можно выделить раздел на ссд гиг на 30 и использовать его как ссд кеш для зеркала с помощью dm-cache. Тогда для воркингсета в пределах этого кеша можно поднять иопсы с массивом практически до ссдшных.

iliyap ★★★★★ ()

В молодости занят фотографированием. В среднем возрасте занят упорядочиванием отснятого материала. В зрелом возрасте сниматься и снимать других пузанов как-то стрёмно, так что переходишь в режим ностальгирования по былым годам. К старости уже и это ни тебе, ни другим неинтересно. Нафига, спрашивается, копить цифровой хлам?! Отдавать кучу часов жизни на организацию того, что по большому счёту нафик никому не нужно?! Вы перед кем собрались «отчитываться»?

iZEN ★★★★★ ()
Ответ на: комментарий от Nicholass

Именно всё это я сделал на QNAP'e. Бэкап /home через ssh+rsync. Есть правда косяки местной прошивки, аля отсутствие доступа для не-рут пользователя через стандартный ssh.

UVV ★★★★★ ()
Ответ на: комментарий от Nicholass

Nicholass

Сервер-то уже есть.

Прошу покорнейше простить, но сервером то, что есть у вас, назвать очень сложно... Продайте его и купите нормальное железо... Ну, я бы именно так и сделал.

ravdinve ()
Ответ на: комментарий от UVV

UVV

А я купил QNap за те же деньги, включил и он работает.

Логично, что он работает, я бы сильно удивился, если бы NAS, ценою в полноценный сервер, не работал. Что вы этим сказать хотели?

ravdinve ()
Ответ на: комментарий от Aber

У меня новая модель. Сервер тихий, а вот жесткие диски WD Re - нет. То, что разъемы проприетарные и крепежные отверстия под материнскую плату нестандартные - так это нормально. Производитель допускает замену процессора, оперативной памяти и жестких дисков. Остальное - от лукавого. Я против таково жесткого customising-а, о котором вы здесь говорите, впрочем, каждому свое.

ravdinve ()
Ответ на: комментарий от UVV

UVV

По твоей логике экономия получается ~$150. Стоит оно того или нет, решает каждый сам.

Экономия куда больше. Да и гибкость тоже. То, что оно вам не нужно - это нормально. Но ТС же любит сервера поадминистрировать...

ravdinve ()
Ответ на: комментарий от ravdinve

Gen8 гораздо громче Gen7. Погугли обзор на SPCR. Во всяком случае для установки в жилом помещении не годится.

anonymous ()
Ответ на: комментарий от anonymous

anonymous

Gen8 гораздо громче Gen7. Погугли обзор на SPCR. Во всяком случае для установки в жилом помещении не годится.

Зачем мне нужно что-то там гуглить, если у меня он стоит дома, в коридоре, работает 24/7? В спальне бы не поставил, это факт.

ravdinve ()
Ответ на: комментарий от ravdinve

Сервер тихий

Еще один! Он тихий только в твоей кальянной, в которой ты не живешь, и только в твоей голове. Я бы этим «инженерам» из HP руки бы поотрывал. Всё классно. Всё разбирается. Удобно. Доступно. Но вот с вентилем они конкретно подложили... С этими 6-тью пинами и непонятно каким управлением через iLO.

roiman ()
Ответ на: комментарий от roiman

roiman

Он тихий только в твоей кальянной, в которой ты не живешь, и только в твоей голове.

Ванга, ты, что-ли?! С чего ты взял, что у меня такой сервер в единственном экземпляре?

roiman

Но вот с вентилем они конкретно подложили... С этими 6-тью пинами и непонятно каким управлением через iLO.

Зачем тебе управлять вентилятором? Вот объясни?

ravdinve ()
Ответ на: комментарий от iZEN

Поражаюсь вашей осведомленности о моем возрасте и объектах фотографирования. Только фотография фотографии рознь. Я не снимаю «других пузанов» (ну разве что для масштаба). Предмет моей фотографии узок и специфичен.

Вы перед кем собрались «отчитываться»?

недавно часть своей фотоколлекции передал в МГУ, как материалы для диссертации по геоморфологии хорошему другу. Достаточно часто я передаю фотографии аварий и проблемных участков коммунальным службам.

Иногда разглядываю фотографии «в режиме ностальгирования», потому что сооружения и места остались ныне только на фотографиях.

Ну и фотография - не первоочередная причина, по которой мне нужен NAS, просто когда он будет я, ожидаемо, сгружу туда разрозненную коллекцию.

Nicholass ★★★ ()
Ответ на: комментарий от ravdinve

В спальне бы не поставил

Ну вот ты и понял, что он очень шумный. Любой компьютер дома является шумным, если ты его слышишь на расстоянии менее метра.

anonymous ()
Ответ на: комментарий от roiman

С этими 6-тью пинами и непонятно каким управлением через iLO.

Без дополнительной лицензии BMC вентилятором особо не управляет.

anonymous ()
Ответ на: комментарий от ravdinve

нет, просто сервер у меня уже есть - я писал об этом несколько раз. Как сервер чисто для NAS твой HP проигрывает конкурентам по причинам, которые я тоже описывал.

Nicholass ★★★ ()
Ответ на: комментарий от anonymous

anonymous

Ну вот ты и понял, что он очень шумный. Любой компьютер дома является шумным, если ты его слышишь на расстоянии менее метра.

В спальне я бы вообще ничего, кроме кровати, не поставил, но суровая реальность потребовала от меня повесить на стену телевизор и PS4, что меня жутко раздражает - не поиграешь ночью только, свистит она, как заправский пылесос. Жена терпит, конечно, но мне ее жалко.

ravdinve ()
Ответ на: комментарий от anonymous

anonymous

Без дополнительной лицензии BMC вентилятором особо не управляет.

О какой лицензии речь? Что-то я такого там не встречал...

ravdinve ()
Ответ на: комментарий от Nicholass

Nicholass

Как сервер чисто для NAS твой HP проигрывает конкурентам по причинам, которые я тоже описывал.

А можно ссылку, или продублировать, а то я слепой, не могу найти комментарий?

ravdinve ()
Ответ на: комментарий от Nicholass

Я брал 253-Pro. Сейчас появилась поновее, 253-A. В смысле в продаже появлась, а не у меня =)

UVV ★★★★★ ()
Последнее исправление: UVV (всего исправлений: 1)
Ответ на: комментарий от Aber

n54l.

Поменял вентилятор в блоке питания и основной (провода в разъёме переставил как нужно). Так вот, основной шум идёт от самих винтов - у меня смесь из гринов и редов.

onlybugs ★★ ()
Последнее исправление: onlybugs (всего исправлений: 1)
Ответ на: комментарий от ravdinve

Единственным мотивом моего поста было реагирование на заведомо ложную информацию. К сожалению, благодаря таким как ты, инет перестал иметь хоть толику истинности в своём содержании. И объснять я ничего не собираюсь. Просто прекрати вводить людей в заблуждение. Это, в конце концов, их возможные фин.траты, потери, разочарование и в итоге нерешенная поставленная задача.

roiman ()
Ответ на: комментарий от anonymous

Что-то путаешь. Никакая лицензия не даёт возможности управлять вентилем. Это делает iLO самостоятельно. На основе каких-то непонятных алгоритмов. Таких, что у одних в жарком шкафу он еле крутится, а у других, в холодном помещении разгоняется до 30 %. И никакой закономерности. И заменить его нельзя на более тихий. Я посмотрю на хозяина кальянной, когда его «тихий» вентиль запоёт и нужно будет менять. Сервак, к сожалению, действительно, не для домашнего применения обычным пользователем.

roiman ()
Ответ на: комментарий от roiman

Никакая лицензия не даёт возможности управлять вентилем. Это делает iLO самостоятельно.

Лицензия на полную версию iLO. Там из коробки демка, которая даже не даёт использовать KVM после передачи управления загрузчику. Или что-то изменилось?

И заменить его нельзя на более тихий.

Можно, но с некоторым колхозингом :)

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.