LINUX.ORG.RU

какую фс выбрать

 ,


0

2

Имеется микросервер hp 4 хдд*2тб + 256 гб ссд под систему

Что планируется: - запись с камер видеонаблюдения - ежедневный бэкап сайта - фильмы, музыка и т.п.

Думал изначально так: один диск под камеры (т.к. туда пишется постоянно, чтобы не мешать другим..). Немного жалко, правда 2тб под это, может быть даже разбить его и на часть диска как раз писать бэкапы сайта (хотя диск будет нагружен постоянно, но не сказать, что супер важны эти бэкапы). Под фильмы и т.д. - объединить 3 диска.

Мысли какие: Изначально думал поставить zfs на диск под камеры и бэкапы - под камеры это не особо нужно, но под бэкапы хотелось бы, чтобы ничего не развалилось, но не понимаю, можно ли поставить на один диск + куда-то писать доп инфу, на тот же ссд Под фильмы - там же вообще не важно даже если все рассыпется, не буду никак увеличивать и т.п., поэтому важна скорость скорее - тогда мне видимо zfs не нужен, а сделать на mdadm?? или вообще на встроенном Marvell 88SE9230 PCIe to SATA 6Gb/s Controller С другой стороны, память ецц 16гб и проц нормальный - они особо больше ни для чего не нужны, можно их грузить :)


но не понимаю, можно ли поставить на один диск + куда-то писать доп инфу

что ты имеешь в виду?

system-root ★★★★★
()

Бери любую без журнала.

r3lgar ★★★★★
()

Изначально думал поставить zfs на диск под камеры и бэкапы - под камеры это не особо нужно, но под бэкапы хотелось бы, чтобы ничего не развалилось, но не понимаю, можно ли поставить на один диск + куда-то писать доп инфу, на тот же ссд

Какую доп. инфу? ZIL что ли? Летчик.жпг

4 хдд*2тб + 256 гб ссд под систему
поэтому важна скорость скорее

Посоветую btrfs на одиночных дисках и btrfs on mdadm raid5 на трех оставшихся дисках.

Deleted
()
Ответ на: комментарий от Deleted

Сумбур :) Имел в виду выделить какой-то объём на 2 тб диске и какой-то (такой же?) на ssd. Мне под бэкапы много не надо Про btfrs и zfs - не сильно понимаю что они мне дадут для фильмов/музыки и файлопомойк если: - резервное копирование не нужно - данные не особо важные (не хотелось бы, конечно, чтобы все похерилось - такое возможно на ext4 например?) Вроде как cow может создавать фрагментацию? Вот это то, чего точно не хотелось бы :)

madbot
() автор топика
Ответ на: комментарий от madbot

Имел в виду выделить какой-то объём на 2 тб диске и какой-то (такой же?) на ssd

Если я все правильно понял, то ты имеешь в виду субтома(subvolume), в это умеют btrfs и zfs (вероятно, что когда-нибудь научится xfs).

Про btfrs и zfs - не сильно понимаю что они мне дадут

Btrfs очень хорош в плане производительности как обычная фс, ZFS с твоими хотелками скорее всего не потребуется.

не хотелось бы, конечно, чтобы все похерилось - такое возможно на ext4 например?

Возможно где угодно, если питание пропадет, диск посыпется или память убьют страшные лучи из космоса. Все это купируется ибп, рейдом, ecc-памятью с регулярными скрабами фс (btrfs/zfs) и смарт-тестами по расписанию. А просто так фс скорее всего не навернется, если самому что-то странное в fstab в опции монтирования не написать.

Вроде как cow может создавать фрагментацию?

У btrfs есть дефраг, впрочем я им за 2 года на файлопомойке так и не воспользовался.

Deleted
()
Ответ на: комментарий от madbot

а это не сумбур? что-то куда-то выделить, какую-то доп инфу куда-то писать.
если ты не понимаешь что тебе даст zfs, то зачем про неё спрашиваешь? не хочется чтобы всё похерилось, но и не хочется ничего делать чтобы не похерилось?
короче, если надо zfs, не парь мозг и сделай raid-z на все четыре диска.
а если хочется чтобы не хочется но хочется но не хочется, не надо тут про cow троллировать, делай как хочется куда-нибудь и какой-то, (такой же?)

system-root ★★★★★
()
Последнее исправление: system-root (всего исправлений: 1)

Я бы делал lvm+ext4, простое и проверенное решение. lv с бекапами сделать зеркалом на двух дисках, lv под видео сделать на целый pv, остальное как попало.

legolegs ★★★★★
()
Ответ на: комментарий от legolegs

Да, вот тоже думаю :) Понимаю, что тут много нервных, но последний вопрос: Правильно ли выделить под камеры отдельный диск?

madbot
() автор топика
Ответ на: комментарий от madbot

Правильно ли выделить под камеры отдельный диск?

Неправильно. Одиночных дисков вообще не должно быть, чтобы при их сбое Ваш сервер не рухнул.

А правильно, на мой взгляд, разбить все диски на разделы и из них средствами mdadm собрать разные массивы. Например, под фильмы и прочее ненужный мусор raid0, под бекапы и видео - raid5, ну и так далее. Ставить систему на SSD тоже довольно странно - сама система создает мин. нагрузку на диски (если, конечно, в своп не упирается, но тут уже ничего не поможет, кроме увеличения RAM)...

Serge10 ★★★★★
()

Из 4х дисков нарезать zfs сколько надо, а на ssd сделать 2 раздела под l2arc и logs.

Deleted
()
Ответ на: комментарий от vasya_pupkin

Домашний nas и несколько рабочих серваков так и работают, всё отлично.

Deleted
()

Еще как вариант вариант - raid10 и lvm из 4х дисков. И выделть под камеры, видео, бекапы столько, сколько требуется, не хватает, добавлять. ФС - ext4 и не париться особо. Так не проще?

Ну или zfs, как предлагается ранее.

А ssd можно использовать либо по предыдущему совету, либо под что то критическое по скорости, либо попробовать использовать ssd в качестве кеша.

samson ★★
()
Ответ на: комментарий от Vsevolod-linuxoid

Авторы, поправьте бота — он уже заговаривается, как ФС для Linux сервера NTFS советует.

Послушай бота и сделай наоборот. Вместо NTFS выбирай Ext4, Xfs. Вместо Fedora выбирай Ubuntu, Debian.

isa28u238
()
Ответ на: комментарий от isa28u238

долго еще читал про всю эту хрень, не понял (назло всем злопыхателям :)) действительно зачем мне все это и поставил на ext4 на raid0 :) Единственное что так и не понял - почему под камеры не выделить именно отдельный физический диск. Ведь там будет постоянно литься поток, ну не сильно большой, конечно, но типа 15 мбит (ясно, что ерунда для жд), ну и постоянно перезаписываться и т.д. А остальное - относительно редко будет пользоваться и меняться.

madbot
() автор топика
Ответ на: комментарий от madbot

У вас 4 диска. Почему бы тогда не raid10? Быстрее и достаточно надежен. Ни и lvm лишним не будет - очень удобно, функционально.

Отдельный диск под видео может быть и не плохая идея, если у вас остальной нагрузки не много и данные с камер не критичны. В таком сдлучае остальные диски с более важными данными будут меньше изнашиваться, а этот если и навернется, то ничего страшного не произойдет. В случае 3х дисков так и надо было бы собирать - из двух зеркало под важные данные, а третий под видео и файлпомойку. Но это только в том случае, если данные с камер не критичны!

samson ★★
()
Ответ на: комментарий от madbot

У тебя хоть какие то требования к этому видеопотоку с камер есть? Ну там круглосуточная запись, чтоб дропов не было и т.д.? Если таких требований нет и всё идёт в режиме: записались видеоданные — хорошо, не записались — ну, и х.. с ними. Тогда, как ты и хочешь, достаточно будет выделить под запись отдельный диск, для того чтобы поменьше мешать своими будничным делам. Если же требования всё-таки есть, то будничные дела тебе придётся делать очень аккуратно: Дотку запускать нельзя, а вдруг зависнет; комп перегружать/отключать нельзя; Интернеты просто так смотреть нельзя, а вдруг хромой скушает всю память и всё станет тормозить; Рассчётные программы запускать нельзя — они же всё цпу скушают и всё станет тормозить, по той же причине компилировать тоже ничего нельзя; А ну и эта... систему обновлять тоже нельзя, вдруг там какой-нибудь libstdc++ обновиться, и твои видео потоки перестанут писаться по непонятной причине и пока ты не откатишь обновления или не разберёшься в вопросе записанных видео не будет.

Соответственно, собрать крутой комп, а потом ходить вокруг него на цыпочках и не дышать — так себе идея. Поэтому лично я предпочитаю под DVR собирать отдельный комп с минимальными характеристиками, потом туда ставится система, и больше ты его не трогаешь. Всё работает круглосуточно и автономно.

justAmoment ★★★★★
()
Ответ на: комментарий от iZEN

можно и так. Основное, что имел ввиду - есть 4 диска + ссд и смысл собирать просто зеркало...

samson ★★
()
Ответ на: комментарий от justAmoment

дык нет, я вроде и начала с того, что под это все отдельный hp microserver. Там стоит ubuntu server, какие там на нем игры я буду запускать :) Короче, для работы - отдельные компы. Это только как нас, запись с камер, dlna сервер, ну может там еще пару функций навешу потом. Данные с камер не на столько важны. И уж точно не хочу зеркалировать фильмы и музыку (ну по крайней мере до того момента, пока не прикрыли окончательно торренты :)) Вопрос был скорее в том, насколько вероятно то, что рэйд на ext4 просто так возьмет и накроется не в случае выхода диска из строя, а просто, по ходу работы (потому что чего-то такие страшилки пишут везде, что жуть, при том что все сидят, работают на винде, и чего-то не слышно про повальные потери файлов), а с рейдом я никогда не работал. Ну понимаю, что питание должно быть - но это просто упсом вроде решается. Т.е. я не понимаю до конца как это работает: скакнуло питание, диск глюконул и записал чего-то не то в таблицу разделов или еще куда-то - от этого сразу весь рэйд екнется? или только файлы, с которыми сейчас диск работает. Если только файлы (как по идее будет у одиночного диска) - то и фиг бы с ними. Если весь рэйд - тогда, конечно, стоит задуматься. Рабочие доки бэкапить на нас смысла не вижу, для этого проще облачные диски использовать.

madbot
() автор топика
Ответ на: комментарий от madbot

Данные с камер не на столько важны.

Помню в бытность общего админа, каждый раз у нас запрашивали видео с камер наблюдения и каждый раз они оказывались потеряны из-за проблем софтовых систем видеозаписи :)

stave ★★★★★
()
Ответ на: комментарий от madbot

linux soft raid - достаточно надежное и отлаженное решение, если конечно же, разберетесь как с ним работать. ФС значения не имеет, это разный уровень. Тут скорее всего сам напортачишь по неопытности...

Собирайте 10ку на четырех дисках, поверх него lvm и не парьтесь

samson ★★
()
Ответ на: комментарий от anonymous

А что, лучше raid10, когда вылетят не любые два и комп продолжит работать? Юморист.

iZEN ★★★★★
()
Ответ на: комментарий от Vsevolod-linuxoid

то, что в линуксовый зоопарк не завезли ФС - это не баг бота.

SevikL ★★★★★
()

Не понимаю, что не устраивает в ext4/xfs в качестве ФС.

Про рейд: md рейды по моему опыту просты и надежны (на серьезных задачах не испольвал - не админ). С них можно загружаться. Если нужно, под md рейд можно выделить отдельные разделы, т.е. не диски целиком.

«256 гб ссд», как мне думается, здесь избыточен (если только ты не собираешься держать механические диски 99% пакованными - что не всегда просто на самом деле), и даже вреден (т.к. в твоей схеме он не зеркалирован, а итоге останутся диски в незагружаемой коробке)

entemophyllon
()
Ответ на: комментарий от torvn77

По старым воспоминаниям в Linux работала не плохо.

NTFS? По сравнению с нативными ФС?

Black_Shadow ★★★★★
()
Ответ на: комментарий от entemophyllon

У меня было несколько печальных случаев использования mdraid на серверах под как раз системой видео наблюдения. Всё-таки аппаратный контроллер имеет свои неоспоримые плюсы, особенно в плане стабильности жизни массива.

cyroot
()
Ответ на: комментарий от cyroot

Всё-таки аппаратный контроллер имеет свои неоспоримые плюсы

Интересно, а какие?

в плане стабильности жизни массива

Не очень понятно почему аппаратный рейд стабильнее чем md, учитывая, что стабильность работы md определена стабильностью железа и собственно кода md. Хотя при нестабильном CPU, kernel panic-ах и при допущении, что прошивки контроллеров отлажены лучше, чем код md с этим наверное можно согласиться.

Ну и всё же рейд-контроллер от которого есть хоть какая-то польза (и нет вреда) наверняка будет стоить от трех сотен долларов, а md бесплатный (если порты уже есть конечно).

entemophyllon
()
Ответ на: комментарий от entemophyllon

К несомненным плюсам железных контроллеров я отношу отдельный слой абстракции работы встроенного в эти устройства ПО. Ну и CPU должен заниматься своей работой а не тратить часть ресурсов на работу md (хоть это конечно и мизер). Естественно речь идёть о проверенных и качественных решениях, я вообще не понимаю сценария когда люди строят массивы данных «на коленке» и считают самой затратной статьёй стоимость контроллера...это даже не SOHO это «порно» )

cyroot
()
Ответ на: комментарий от cyroot

Аппаратные контроллеры не обеспечивают сквозную целостность данных, так как ничего не знают о файловой системе и её механизмах обеспечения целостности, оперируют только блоками. При внезапной аварии с электричеством из-за потери питания классические ФС не гарантируют свою целостность, а данные - непротиворечивость из-за потери информации в кэше записи диска(ов). Контроллеры, обладающие falsh-буфером записи, не всегда в состоянии решить эту проблему.

iZEN ★★★★★
()
Ответ на: комментарий от iZEN

Мне кажется что целостность данных на уровне ФС — это не зона ответственности контроллера...

cyroot
()
Ответ на: комментарий от cyroot

Всё-таки аппаратный контроллер имеет свои неоспоримые плюсы, особенно в плане стабильности жизни массива.

Особенно, когда он сдохнет и будешь как ужаленный искать такой же(совместимый) контроллер за любые деньги, чтобы собрать назад свой рейд5.

madcore ★★★★★
()
Ответ на: комментарий от cyroot

я вообще не понимаю сценария когда люди строят массивы данных «на коленке»

Я тоже не пониманию, для массивов есть стораджи, какие еще контроллеры, зфс-ы.

madcore ★★★★★
()
Ответ на: комментарий от madcore

Ну есть понятие запасных часте, если у вас допустим 10 серверов, то купить 1 запасный контроллер имхо не сильно затратно. Нормальные контроллеры сильно редко дохнут. Но да, бывает и такое

cyroot
()
Ответ на: комментарий от madcore

для массивов есть стораджи
стораджи

о чем конкретно ты говоришь? или ни о чем, просто так, модные слова?
(storage - хранилище, хранение) кассеты, флоппи-диски тоже «сторят» информацию

entemophyllon
()
Ответ на: комментарий от cyroot

отдельный слой абстракции работы встроенного в эти устройства ПО

абстракции-то ту причем? я уже выше написал, если вы о том, что оно на другому чипе, это глупо - если вы не довереяте стабильности самой машины, т.е. у вас машина аппаратно нестабильно работает (память битая, например), то о какой сохранности данных вообще говорить, тут дело не в md, и не во внешнем контроллере.

строят массивы данных «на коленке» и считают самой затратной статьёй стоимость контроллера...это даже не SOHO это «порно»

я так и не услышал, чем «наконтроллерный» лучше «наколеночного»
кроме того, мутные $50 гоконтроллеры это вообще сплошной вред, а доверия к их firmware точно меньше чем к md.

entemophyllon
()
Ответ на: комментарий от entemophyllon

Я говорю про data storage, напичканные винтами, конфигурирующие рейды в любых позах и отдающие все по фибре, например.

madcore ★★★★★
()
Ответ на: комментарий от madcore

Я говорю про data storage

Я понял, что не про food storage.
Data storage значит «хранение данных» и не более чем, т.е.:
Носитель (например трехдюймовая дискета)
Место хранения (например, просто комната где хранятся дискеты)
Софт (например PostgreSQL)
Аппаратура (например, кассетная библиотека, дисковый NAS)

То, что ты говоришь это standalone disk array ну или можно просто сказать SAN/NAS.

Печально, что у вроде бы компетентных технарей обыкновенные английские слова вдруг приобретают какие-то свои местные и очень узкие значения.

entemophyllon
()
Ответ на: комментарий от entemophyllon

В порядке возростания идеологически правильного подхода и цены решения на мой взгляд: 1. Самосбор на коленке — mdraid (зависимость работы дискового массива от OS сервера) 2. Самосбор на нормальном котроллере, как правило овер 300$ (появлятся слой абстракции) про котроллеры за 50$ думать имхо попахивает глупостью, особенно в разрезе стоимости накопителей. 3. NAS\SAN 4. Различные кластерные варианты Netapp и иже с ними Ну и давайте не рассуждать в парадигме «ошибки выжившего» ) Я рассуждаю с позиции профильного использования т.е. минимум это серверная комната какого-либо предприяти, не рассматривая сценарий использования «сервера на балконе».

cyroot
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.