LINUX.ORG.RU
ФорумAdmin

Не холивара ради, FreeBSD+Software_Raid10+zfs vs Linux+Software_Raid10+lvm

 , , , ,


2

3

Доброго времени суток всем!

Прошу понять, не холивара ради, а что бы понять суть. Прошу высказываться по существу, без обвинений противоположной технологии, а лишь представляя сухие факты.

Вводные данные:
Высвободился старенький сервак: Intel 2 ядра, 4GB RAM, SATA - 4 устройства без поддержки аппаратного Raid, 2 сетевые 1Gb.

Задача:
Поднять файл-помойку (файловый сервер по протоколу SMB/CIFS и авторизацией в AD) используя рейд 10 с сохранением предыдущий версий файлов.

Суть вопроса:

Для решения задачи первоначально собирался использовать связку Linux + Software Raid10 + lvm + Samba4. Но коллеги начали меня пугать низкой производительностью lvm (по сравнению с zfs) и ее ненадежностью. Кроме того, у некоторых из моих коллег есть предубеждения, что Linux дико тормозит при операциях над множеством мелких файлов (Bug 12309). Решил обратить взор на zfs - и меня так же попытались напугать в ненадежности FreeBSD и что она вообще RIP.

Вообще то мы на работе используем для файловых серверов аппаратно-программные решения. Когда-то очень давно (2009-2011 г.г.) использовали Linux + аппаратный Raid10 + Samba3 без lvm. Но тут необходимо сохранять предыдущую версию при изменении оригинала. Сторонники zfs меня уверяют, что lvm не умеет Copy-on-write, и это придется реализовывать или созданием snapshots по расписанию, или через кучу костылей в виде скриптов. При этом я не знаю, как это делается в zfs, но где-то слышал, что zfs умеет таки Copy-on-write «из каропки». Сторонники lvm зато хвалятся полностью динамическими разделами, которые дают возможность очень гибко настраивать разделы «на лету».

Собственно, кто что может сказать по существу при выборе одной из данных технологий? Только прошу без толстоты и троллинга. Всем спасибо за понимание.

★★★★

Бери Linux. Вот у меня NAS Synology на базе Linux. Полет нормальный. А FreeBSD действительно никогда не юзал.

weare ★★ ()

Проще всего докупить простенький raid-контроллер в pcie и будет тебе счастье + дополнительные sata-шки.

Другой вариант - делать zpool с двумя зеркалами по 2 диска, но тут страдает отказоустойчивость: рейд гарантировано выживает при выходе из строя одного диска, а вот 2 - хз что будет(если выпадут из одного зеркала - данных, которые там были больше не будет), но в случае с zfs ты сможешь спасти то, что осталось на остальных дисках.

При создании zpool не забудь правильную опцию ashift указать, в зависимости от размера блока на диске.

И, да, zfs on linux вполне юзабельно. Даже в продакшене.

TOXA ★★ ()

ZFS на 4 гигах оперативы помрёт, увы.

sT331h0rs3 ★★★★★ ()
Ответ на: комментарий от weare

NAS - это конечно круто, но он у тебя позволяет Copy-on-write? Наш рабочий NAS всего лишь делает копии при удалении («Сетевая корзина»), а Copy-on-write делать вроде не умеет. То есть нужно в Linux прикручивать lvm, а во FreeBSD - zfs вроде сразу умеет Copy-on-write.

Ну и кроме того, если не юзал - это не значит что «там» плохо, правда ведь? У меня есть знакомые, которые никогда на работе не юзали Linux, а изначально сидели на FreeBSD, они даже не знают, как там в «Linux». Значит ли это, что в «Linux» плохо с его точки зрения?

У каждого свои предпочтения. Я же считаю, что под каждую задачу следует использовать наиболее приемлемый инструмент. Вот и хочу понять, какой инструмент наиболее приемлемый.

ivanlex ★★★★ ()
Последнее исправление: ivanlex (всего исправлений: 1)
Ответ на: комментарий от TOXA

Простеньких Raid-контроллеров - целый ящик. Опять же, слышал мнение, что у Software Raid10 + lvm есть какие-то преимущества. Ищу какие.

ivanlex ★★★★ ()
Ответ на: комментарий от sT331h0rs3

Какие требования у zfs к озу? Почему он такой требовательный к озу? Lvm не так требователен к озу? И умеет ли lvm - Copy-on-write? Или действительно только через сторонние скрипты создавать snapshots?

P.S. Сорри за кучу вопросов за раз.

ivanlex ★★★★ ()
Последнее исправление: ivanlex (всего исправлений: 3)

Задача:
Поднять файл-помойку (файловый сервер по протоколу SMB/CIFS и авторизацией в AD) используя рейд 10 с сохранением предыдущий версий файлов.

И какие требования к ФС из этой задачи? --> никакие --> любая ФС

anonymous ()
Ответ на: комментарий от anonymous

сохранением предыдущий версий файлов.

Что это значит? Если файл изменялся несколько раз, например 5, 10, 12, 37 минут назад, ты хочешь иметь 4-е предыдущие копии? Или речь о вчерашнем бекапе?

anonymous ()
Ответ на: комментарий от ivanlex

Поставишь zfs_arc_max в 2.5 гига. И даже на 4х гигах оперативки будет везде работать. Только дедубликацию не следует включать. В принципе под задачу ОС не важна будет.

TOXA ★★ ()
Ответ на: комментарий от anonymous

И какие требования к ФС из этой задачи? --> никакие --> любая ФС

«с сохранением предыдущий версий файлов» - то есть lvm для Linux или zfs во FreeBSD. Чистая Ext2/3/4 не позволяют ни snapshots, ни Copy-on-write, то есть понятие «любая ФС» здесь не то что «не корректно», а просто не уместно. «Любая ФС в lvm» - здесь да, согласен, но ведь есть альтернатива lvm. Вот и пытаюсь понять все плюсы и минусы каждого решения.

ivanlex ★★★★ ()
Ответ на: комментарий от ivanlex

Снапшоты lvm только для бекапов. Создали снапшот, сделали бекап, удалили снапшот.

anonymous ()
Ответ на: комментарий от anonymous

Речь не про бекап. Действительно, должны сохраниться все предыдущие версии за определенный период. Да, lvm и zfs такое умеет - Copy-on-write (правда меня пугают, что lvm такое умеет через сторонние скрипты). А практически любая современная ОС умеет смотреть предыдущие версии. К примеру, в оффтопике достаточно залезть в свойства файла и посмотреть предыдущие версии файла, даже можно открыть предыдущую версию, отредактировать и сохранить как новый документ.

ivanlex ★★★★ ()
Последнее исправление: ivanlex (всего исправлений: 2)
Ответ на: комментарий от ivanlex

Это умеет только nilfs2, для zfs будешь по cron'у дергать создание снапшотов и то между созданием снапшотов может случиться много невосполнимых утрат

anonymous ()
Ответ на: комментарий от TOXA

В принципе под задачу ОС не важна будет.

zfs нормально под Linux работает?

ivanlex ★★★★ ()
Ответ на: комментарий от ivanlex

zfs нормально под Linux работает?

да, стабильный срез появился весной 2013г.

axelroot ()
Ответ на: комментарий от axelroot

Не сильно ли жЫрно ей будет? Под файлопомойку достаточно 4.

TOXA ★★ ()
Ответ на: комментарий от ivanlex

lvm со снапшотами неприемлем для «предыдущих версий». Ибо начинает атомно тормозить запись. Т.о. я бы его под эту задачу не рассматривал. Либо btrfs, если чувствуешь в себе смелость, либо zfs, ОС по вкусу.

Davyd ★★ ()
Ответ на: комментарий от ivanlex

lvm такое умеет через сторонние скрипты

лвм такое делает через жопу, механизм cow у него костыльный, через вытеснение данных в тело снапшота

axelroot ()
Ответ на: комментарий от anonymous

Где-то я читал статейку, хотя возможно не правильно понял суть, а мое богатое воображение домыслило за меня выдав суть за желаемое. Но! вроде zfs умеет делать снапшот в момент записи измененного файла, и вроде именно эта возможность подразумевается под Copy-on-write. Быть может я не так трактую данное понятие?

ivanlex ★★★★ ()
Ответ на: комментарий от TOXA

при 4г у нее автоматом отключаются функции влияющие на производительность.

axelroot ()
Ответ на: комментарий от Davyd

Почему для btrfs требуется смелость? Есть вероятность потерять все данные?

ivanlex ★★★★ ()
Ответ на: комментарий от axelroot

8GB нет возможности поставить на данный сервер. Памяти такой уже нет. Когда то для этого сервера 4GB озу было достаточно. Просто хотел оживить пенсионера.

ivanlex ★★★★ ()
Ответ на: комментарий от ivanlex

У многих уже в продакшене трудится. Лично у меня на паре сервачков крутится + на рабочем и домашнем десктопе. При кеше в 4 гига суммарно ядром съедается 5.

TOXA ★★ ()
Ответ на: комментарий от ivanlex

BTRFS рано еще в production, на мой взгляд. Плюс я пробовал, мне не понравилась стабильность. Да и тут по тегу btrfs почитай, больно часты народные страдания...

Davyd ★★ ()
Ответ на: комментарий от TOXA

Тут в соседней ветке вопили на несовместимость лицензий - открытой CDDL и свободной GPL, что дескать так делать ни в коем случае нельзя. Собственно сам конфликт мне не интересен, интересна конкретная реализация - забили на конфликт или FUSE?

ivanlex ★★★★ ()

Внезапно zfs и на ленуксе есть. И да, свой софтрейд там тоже есть, городить костыли поверх dmraid не надо.

svr4 ()
Ответ на: комментарий от ivanlex

Нет никакого конфликта, т.к. в ведре сто лет существуют пиписитарные модули (nvidia, fglrx и т.п.).

svr4 ()
Ответ на: комментарий от svr4

Вот именно это меня и удивляло. Блобы с проприетарной лицензией с ядром GPL слинкованы, а с модулем под CDDL какие то надуманные проблемы.

ivanlex ★★★★ ()
Ответ на: комментарий от anonymous

А мне тут и люди подсказывают, что это именно так. И ты знаешь? У многих это работает и именно из-за этого они и выбрали zfs.

ivanlex ★★★★ ()
Ответ на: комментарий от ivanlex

Нет, не так.

zfs умеет делать снапшот в момент записи измененного файла

Ты делаешь снапшот, сам, и после этого данные, которые изменяешь пишутся в другое место, а не перезаписывают то, что есть. Как-то так примерно. Снапшоты должен ты сам делать, по-расписанию, например.

pawnhearts ★★★★★ ()
Ответ на: комментарий от pawnhearts

В lvm это действительно так - снапшоты делаются по расписанию. Есть возможность делать снапшоты по событию через сторонние скрипты, но как говорят - это очень сильно нагружает систему и снижает производительность.

zfs же умеет делать моментальные снапшоты по событию в момент записи. И именно это называется Copy-on-write. Самому делать снапшот - необходимости нет. И именно это то, что мне необходимо для реализации задачи.

Правда меня уже предостерегли, что при использовании Copy-on-write на zfs, происходит дикая фрагментация фс, которая так же снижает производительность. Инструмента для дефрагментации пока нет. Как выход - мне предлагают использовать ssd для серверов. Но это не в этой задаче - бюджет не предусматривает таких трат.

ivanlex ★★★★ ()

У тебя каша в голове по поводу того что умеет или нет zfs и lvm.

EvgGad_303 ★★★★★ ()

Если надо чтобы пошустрее работало, можешь сделать Lvm + ext4 + журнал от ext4 вынести на SSD. Но с LVM, будет не очень всё здорово в плане снепшотов.

Zfs на 4гб - смысла не имеет. У тебя вариант только один: lvm

DALDON ★★★★★ ()
Ответ на: комментарий от EvgGad_303

Вот и пытаюсь разобраться, так как ни с тем ни с другим пока еще не работал.

ivanlex ★★★★ ()
Ответ на: комментарий от ivanlex

Ты запарил со своей тупизной по поводу Copy-on-write

Copy-on-write означает только то, что при перезаписи/изменении какого-либо блока файла он не будет записан на свое родное место, как это сделают ext*/xfs/... , а будет записан на новое место, отсюда и фрагментация. К созданию снапшотов это не имеет отношения. За счет Copy-on-write функционирование снапшотов лекговесное

anonymous ()

основная фишка zfs в параноидальном стремлении сохранить данные в любой ситуации

Lordwind ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.