LINUX.ORG.RU

Скорость записи ZFS

 


1

3

Недавно в руки попало 64 относительно старых дисков на 2Тб. Решил поиграться с ZFS на десктопе, собрал пул из 4х дисков (RAIDZ1). Собираюсь сделать на этом файлопомойку.

Был не очень приятно удивлен скоростью записи, результаты прикладываю.

Скорость записи на ZFS:

[root@crow data]# rsync -ah --progress /mnt/metis_torrents/The\ Last\ Of\ Us.2022.S01.WEB-DL.1080p ./
sending incremental file list
The Last Of Us.2022.S01.WEB-DL.1080p/
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E01.WEB-DL.1080p.x265.AMZN.mkv
          2.43G 100%   43.31MB/s    0:00:53 (xfr#1, to-chk=8/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E02.WEB-DL.1080p.x265.AMZN.mkv
          1.83G 100%   36.72MB/s    0:00:47 (xfr#2, to-chk=7/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E03.WEB-DL.1080p.x265.AMZN.mkv
          2.78G 100%   38.37MB/s    0:01:09 (xfr#3, to-chk=6/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E04.WEB-DL.1080p.x265.AMZN.mkv
          1.26G 100%   35.69MB/s    0:00:33 (xfr#4, to-chk=5/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E05.WEB-DL.1080p.x265.AMZN.mkv
          1.59G 100%   50.92MB/s    0:00:29 (xfr#5, to-chk=4/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E06.WEB-DL.1080p.x265.AMZN.mkv
          2.20G 100%   44.97MB/s    0:00:46 (xfr#6, to-chk=3/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E07.WEB-DL.1080p.x265.AMZN.mkv
          1.52G 100%   43.80MB/s    0:00:33 (xfr#7, to-chk=2/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E08.WEB-DL.1080p.x265.AMZN.mkv
          1.51G 100%   42.37MB/s    0:00:33 (xfr#8, to-chk=1/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E09.WEB-DL.1080p.x265.AMZN.mkv
          1.43G 100%   42.71MB/s    0:00:32 (xfr#9, to-chk=0/10)

Скорость записи просто на один из дисков (ext4):

[root@crow data]# rsync -ah --progress /mnt/metis_torrents/The\ Last\ Of\ Us.2022.S01.WEB-DL.1080p /mnt/libvirt_tmp/
sending incremental file list
The Last Of Us.2022.S01.WEB-DL.1080p/
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E01.WEB-DL.1080p.x265.AMZN.mkv
          2.43G 100%  643.08MB/s    0:00:03 (xfr#1, to-chk=8/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E02.WEB-DL.1080p.x265.AMZN.mkv
          1.83G 100%  520.19MB/s    0:00:03 (xfr#2, to-chk=7/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E03.WEB-DL.1080p.x265.AMZN.mkv
          2.78G 100%  568.73MB/s    0:00:04 (xfr#3, to-chk=6/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E04.WEB-DL.1080p.x265.AMZN.mkv
          1.26G 100%  205.02MB/s    0:00:05 (xfr#4, to-chk=5/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E05.WEB-DL.1080p.x265.AMZN.mkv
          1.59G 100%  145.96MB/s    0:00:10 (xfr#5, to-chk=4/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E06.WEB-DL.1080p.x265.AMZN.mkv
          2.20G 100%  110.91MB/s    0:00:18 (xfr#6, to-chk=3/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E07.WEB-DL.1080p.x265.AMZN.mkv
          1.52G 100%  105.93MB/s    0:00:13 (xfr#7, to-chk=2/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E08.WEB-DL.1080p.x265.AMZN.mkv
          1.51G 100%  107.04MB/s    0:00:13 (xfr#8, to-chk=1/10)
The Last Of Us.2022.S01.WEB-DL.1080p/The Last Of Us.2022.S01E09.WEB-DL.1080p.x265.AMZN.mkv
          1.43G 100%  110.03MB/s    0:00:12 (xfr#9, to-chk=0/10)

Подскажите, пожалуйста, оно так и должно работать или можно получше настроить?

Данные о машине:

  • CPU: AMD Ryzen 7 2700X Eight-Core Processor
  • RAM: 64Gb

Пул создавался с опцией ashift=12, настройки по умолчанию не менял, только отключил atime.


Ответ на: комментарий от pekmop1024

Но строить рейды на ZFS или btrfs - дело, скажем так, не слишком дальновидное.

Nexenta на этом бизнес делает, к моему сильному удивлению, до сих пор.

cumvillain
()
Последнее исправление: cumvillain (всего исправлений: 1)
Ответ на: комментарий от hateyoufeel

Посмотрел. Ты пишешь полную ересь, не имея ни малейшего понятия о функциональности ZFS (ты даже про поддержку spare не знал лалка).

Мне не нужно знать досконально функциональность ZFS в области RAID, чтобы понимать, что этот веротолет не взлетит по причинам, от ZFS незавимсящим от слова «совсем». А вообще, ты мне надоел.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Мне не нужно знать досконально функциональность ZFS в области RAID, чтобы понимать, что этот веротолет не взлетит по причинам, от ZFS незавимсящим от слова «совсем». А вообще, ты мне надоел.

Он уже давно взлетел и возит людей. А вот хардварные рейды наоборот отправляются на свалку. Как же так выходит? Ведь мудрый @pekmop1024 считает что ZFS RAID НИНУЖНА.

hateyoufeel ★★★★★
()
Ответ на: комментарий от cumvillain

Nexenta на этом бизнес делает, к моему сильному удивлению, до сих пор.

Была у нас хранилка на базе ZFS, отказались и вздохнули. Довольно проблемная штука. Переехали на NetApp.

pekmop1024 ★★★★★
()
Ответ на: комментарий от hateyoufeel

Он уже давно взлетел и возит людей. А вот хардварные рейды наоборот отправляются на свалку.

Куда он взлетел, кроме локалхостов энтузиастов вроде тебя? В самопальные проксмоксы, про которые даже на этом форуме слезных тредов достаточно?

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Была у нас хранилка на базе ZFS, отказались и вздохнули. Довольно проблемная штука. Переехали на NetApp.

Nexenta себя неплохо чувствует. Про стабильность ничего не могу сказать.

cumvillain
()
Ответ на: комментарий от cumvillain

Nexenta себя неплохо чувствует. Про стабильность ничего не могу сказать.

Рад за них. Будет кому коммитить в ZFS (не знаю, правда, занимаются ли они этим). Ну и хороший вопрос, линукс там или солярка, или еще что-то под капотом. Потому что линуксовая реализация ZFS - давно уже самостоятельная сущность.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

Нуу… несколько лет назад было в Росреестре.

Нуу… ты же понимаешь, что пример так себе? Там кое-где и оракел был (интересно, выпилили?), и вообще шаурма из винтажного легаси на базе rhel5.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Нуу… ты же понимаешь, что пример так себе? Там кое-где и оракел был (интересно, выпилили?), и вообще шаурма из винтажного легаси на базе rhel5.

Любой госорган это шаурма, как и любой достаточно большой и старый интерпрайз.

cumvillain
()
Ответ на: комментарий от cumvillain

Ну и хороший вопрос, линукс там или солярка, или еще что-то под капотом.

Раньше была солярка, но что у них сейчас я понятия не имею.

Форк солярки плюс OpenZFS. Есть несколько контор, которые вскладчину форкнули последний открытый код солярки и продолжают его развивать: Nexenta, Illumos, ещё кто-то. А OpenZFS ныне один на всех.

Дела у них, кстати, лучше чем у солярки от Оракла, потому что Оракл уволил большую часть разрабов солярки в 2018.

hateyoufeel ★★★★★
()
Ответ на: комментарий от pekmop1024

Он уже давно взлетел и возит людей. А вот хардварные рейды наоборот отправляются на свалку.

Куда он взлетел, кроме локалхостов энтузиастов вроде тебя? В самопальные проксмоксы, про которые даже на этом форуме слезных тредов достаточно?

Я тебе про Internet Archive выше написал. Не знаю, куда уж жирнее можно придумать чем они. Разве что гугл какой-нибудь, но гугл никому не говорит что у них на серверах.

hateyoufeel ★★★★★
()
Ответ на: комментарий от hateyoufeel

Я тебе про Internet Archive выше написал. Не знаю, куда уж жирнее можно придумать чем они. Разве что гугл какой-нибудь, но гугл никому не говорит что у них на серверах.

Жирнее и не надо. Надо наоборот - чтобы общеупотребительным стал, как тот же LVM.

pekmop1024 ★★★★★
()
Ответ на: комментарий от cumvillain

Любой госорган это шаурма, как и любой достаточно большой и старый интерпрайз.

Зависит от конкретного ынтерпрайза. Если с процессами всё хорошо, то шаурмы из легаси нет, есть только инерционность в силу большого срока жизни каких-то вещей.

Ну а госорганы … да. Ни в одной большой стране не видел, чтобы всё хорошо было. США и всякие там Канады еще похлеще будут в этом плане, чем Россия.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

Я тебе про Internet Archive выше написал. Не знаю, куда уж жирнее можно придумать чем они. Разве что гугл какой-нибудь, но гугл никому не говорит что у них на серверах.

Жирнее и не надо. Надо наоборот - чтобы общеупотребительным стал, как тот же LVM.

Даже не буду пытаться понять, зачем ты сюда LVM притащил и что ты имеешь ввиду под «общеупотребительным».

hateyoufeel ★★★★★
()
Последнее исправление: hateyoufeel (всего исправлений: 1)
Ответ на: комментарий от firkax

и вручную по ним раскидывать

А вот и бумер пожаловал в тред. Как там в восьмидесятых? У твоего компьютера случайно педалей нет, чтобы вручную электричество вырабатывать для надёжности?

ox55ff ★★★★★
()
Последнее исправление: ox55ff (всего исправлений: 1)
Ответ на: комментарий от pekmop1024

кое-где и оракел был

Ну оракел в своё время предлагал 96(кажется) дисковые шасси и рекламировал это как платформу для ZFS-хранилки. Это достаточно кроваво для энтерпрайза? )
Но да, там конечно ещё не OpenZFS была.

GAMer ★★★★★
()
Ответ на: комментарий от firkax

тебя за написанием какого-то бреда

У тебя не какой-то бред, а самый настоящий. Это ж надо было выдумать ручной менеджмент файлов на куче дисков. Так что можешь свой ник запомнить.

ox55ff ★★★★★
()
Ответ на: комментарий от pekmop1024

Но строить рейды на ZFS или btrfs - дело, скажем так, не слишком дальновидное.

Сравнивать zfs и btrfs и ставить между ними «или» может только человек который вообще не в теме. Может вам на винфак сходить?

Herabora
()
Последнее исправление: Herabora (всего исправлений: 1)
Ответ на: комментарий от ox55ff

Ручной - означает не с помощью драйвера блочного устройства/файловой системы. А будешь ли ты сам выбирать куда что-то скинуть, или построишь симлинки на дерево директорий для равномерного распределения, или же вообще как-то это автоматизируешь - в данном случае не важно. Это всё будет ручным по отношению к уровню файловой системы. Но ты видимо грязный юзер в самом плохом смысле и ручное у тебя это только кликать мышкой в гуи файловом менеджере.

firkax ★★★★★
()
Последнее исправление: firkax (всего исправлений: 1)
Ответ на: комментарий от firkax

Какие симлинки? Хватит жрать бормотуху. Ты предлагаешь помимо выбора куда класть файл ещё и постоянно проверять влезит ли он? Закат солнца вручную. Так типично для сишника. Патология.

ox55ff ★★★★★
()
Ответ на: комментарий от cumvillain

они россыпью на каждом углу продаются.

Ничего подобного, попробуйте быстро найти адаптер который производился лет 10-15 назад и был закуплен в фирму в кол-ве 20 штук. Не каждый же раз новый покупать…

alex07
() автор топика
Ответ на: комментарий от hateyoufeel

меня нах пошлют

Да, сорян, я неправильно выразился. Разумеется, имеется в виду внутренний ЦД компании.

современным процам просто пофиг

Совершенно верно, плюс там отдельный модуль AES шифрования ставится уже лет 10 как.

alex07
() автор топика
Ответ на: комментарий от Herabora

Сравнивать zfs и btrfs и ставить между ними «или» может только человек который вообще не в теме. Может вам на винфак сходить?

А может тебе перестать рассказывать, что мне делать? А то ведь можешь и не на винфак сходить.

Все эти комбайны имеют один фатальный недостаток - они нуждаются в постоянном неавтоматизируемом обслуживании. Ну, да - ZFS это «взрослая» промышленная фс, а btrfs - наколенное поделие, рассыпающееся от любого чиха, но это уже отдельный разговор.

pekmop1024 ★★★★★
()
Ответ на: комментарий от hateyoufeel

у него глючит прошивка рейд-контроллера, но виноват лялекс во всём

Это вот еще одна причина почему очень часто запрещают контроллеры. Каждый из них глючит по-своему, однако mdadm всегда будет глючить одинаково, ну в пределах версии.

alex07
() автор топика
Ответ на: комментарий от alex07

Перепись теоретиков-дилетантов без реального массового опыта обращения с железом и большими системами объявляется закрытой, кто не успел - тот опоздал.

pekmop1024 ★★★★★
()
Последнее исправление: pekmop1024 (всего исправлений: 1)
Ответ на: комментарий от ox55ff

Да поциент просто переизобретает disk pooling - костыль для вендузятников, у которых гора легаси не позволяет майкрософту внедрить наконец ФС XXI века.

Переизобретает, как это всегда бывает, poorly.

token_polyak ★★★★
()
Ответ на: комментарий от Werenter

Зато оцени, какой портал в безумие я тут открыл! Один заявляет, что рейд может быть только хардварным, потому что остальное – недостаточно глобально и надёжно. Другой – что рейд не нужен, и вообще лучше руками файлики по дискам раскидывать.

Что бы вы тут все без меня делали?

hateyoufeel ★★★★★
()
Ответ на: комментарий от hateyoufeel

рейд может быть только хардварным

Ссылку в студию. А то сдается мне, ты пытаешься вырывать слова из контекста, то есть балаболка ты обыкновенная.

Что бы вы тут все без меня делали?

В интернете всегда кто-то не прав, таков путь.

pekmop1024 ★★★★★
()
Ответ на: комментарий от pekmop1024

А может тебе перестать рассказывать, что мне делать? А то ведь можешь и не на винфак сходить.

Какой воинственный ламер )

Все эти комбайны имеют один фатальный недостаток - они нуждаются в постоянном неавтоматизируемом обслуживании.

Наступил день откровений ) Это какое неавтоматизируемое обслуживание? Имея за плечами сотни инсталляций в tier разного уровня могу намылить кое-кому розовую попку и придётся же не перенеся позора акк менять.

Herabora
()
Ответ на: комментарий от alex1101

Невозможность установить винду на раздел ReFS объясняли как раз тем, что в нем отсутствуют какие-то фичи, на которые завязано много софта (в том числе в составе самой винды). То ли ADS, то ли ещё что-то.

(за что купил, за то и продаю)

token_polyak ★★★★
()
Последнее исправление: token_polyak (всего исправлений: 1)
Ответ на: комментарий от token_polyak

Невозможность установить винду на раздел ReFS объясняли как раз тем, что в нем отсутствуют какие-то фичи, на которые завязано много софта (в том числе в составе самой винды). То ли ADS, то ли ещё что-то.

(за что купил, за то и продаю)

Это удивительно, потому что венду ставили на BTRFS и ZFS через впопенсорцные дрова, и оно даже работало. Я удивлён, что MS не могут новую файловую систему выкатить уже 11 лет.

P.S. про ReFS я только вот это нашёл: «Windows Store cannot install apps on a ReFS volume».

hateyoufeel ★★★★★
()
Ответ на: комментарий от alex07

Господа, тему с ZFS закрываем, я правильно понимаю?

А ты сделал шоп она не тормозила?

Я у себя проверил на пулах с вертушками, даже кэш специально вырубил (пришлось ребутаться), скорость примерно соответствует скорости вертушек (с поправкой на кэш в самих вертушках, хз как вырубить).

hateyoufeel ★★★★★
()
Ответ на: комментарий от alex07

скорость примерно соответствует скорости вертушек

Сколько Мб/сек? У меня 100, плюс минус.

В среднем около 400-500. У меня RAID5 из трёх дисков тут, у них заявленная скорость 260, но при этом на каждой жирный кэш в полгига.

hateyoufeel ★★★★★
()
Ответ на: комментарий от alex07

В среднем около 400-500

Это на каждый диск (что-то многовато) или на массив в целом?

На массив в целом. На диск там среднее около 250 при длинной записи (~100 гигов), как и заявлено в спеках.

hateyoufeel ★★★★★
()
Ответ на: комментарий от Herabora

Что тебя развеселило как чукчу вольво? Хотя админа локалхоста, вроде тебя, инсталляции в продакшене могут довести до истерического смеха.

Скажи мне, дядя. сколько у тебя серверов в инвентори? А, инвентори нет? Ну, хотя бы навскидку?

pekmop1024 ★★★★★
()