TrueNas - низкая скорость шара, помогите увеличить

raid-z – тормоз.

начал кидать 200 Гб фоток на NAS и увы скорость измеряется в килобайтах.

raidz2 8 дисков CCTV (комментарий)

Окей, допустим RaidZ совсем тормоз, тогда чем его заменить?

Просто теоретически у меня может быть 2.5Gbit коннект и я ожидаю что 200мб/c смогу перекидывать от ПК до NAS, но нужно что бы эти файлы не посыпались

zfs raid 10 например. Смотря сколько у тебя дисков.

Я там писал почему тормоз и когда чтение только с одного диска. RAID5 как-то всё же все 4 диска колбасит.

У меня 3 диска всего, мне пока больше и не нужно, что-то мне подсказывает, что raid 10 тут точно не поднять.

Спасибо, прочту

NFS 4.2 на Linux 6.4.9 по 2.5Gbs выдаёт стабильные 270Мб/с на больших файлах и около 180Мб/с с дефолтной Samba, на куче мелких (вроде каких то древних эксперементов с исходниками ядра), скорость заметно проседает. Возможно имеет смысл посмотреть на альтернативы неспользующие ZFS, одной из фичей которой заявленна поддержка 2^64 жёстких дисков?

А какая альтернатива? Raid5?

у меня lvm с ssd кешем, важные разделы зеркалируются, всякая муть которую не жалко нет. Под альтернативой я имел в виду чтото отличное от TrueNas, но тут зависит от хотелок, всякие там NextCloud и пр не все в удобной форме предоставляют

Ubuntu Server LTS + LVM + MDADM

Окей, буду пробовать, спасибо всем

ZRaid из 3х HDD по 3Тб

Люди, да что с вами такое? Зачем вы тащите в рот всякое, а потом удивляетесь привкусу какашек?

Братан, TrueNas по умолчанию делает ZRaid, а дрочить в конфиги и консольку уже возраст не тот

Такое умолчание уже должно было насторожить, равно как и если бы это была btrfs. Все эти модные-молодежные фс не годятся ни для чего, кроме дешевых понтов на ЛОРе. В проде у всех XFS или ext4, при необходимости с нижележащим LVM и аппаратными массивами или mdraid.

Могу сказать, что связкаn ext4@LVM@dm-crypt@mdraid будет заметно быстрее и надежнее, чем все эти поделия.

NFS 4.2 на Linux 6.4.9 по 2.5Gbs выдаёт стабильные 270Мб/с

😮 как у вас всех разгоняется до таких скоростей? У меня даже на мини с интел не было выше 20. А на малине4 вообще ~5 и ниже. В чем, блин, дело? Сколько лет не пытаюсь nfs настроить ничего не выходит

На малинке все упирается в USB/(e)MMC, думаю. Точнее в то, как ядро работает с этими видами стораджа.

Могу сказать, что связкаn ext4@LVM@dm-crypt@mdraid будет заметно быстрее и надежнее, чем все эти поделия.

Эх, убедили, буду щупать это дело

Я бы еще диск добавил и сделал RAID 1+0, чтобы совсем кондово.

mdraid ток выкинь, lvm и так всё в dmraid завернёт, и в плане ext4, если раздел не планируется уменьшать, то имеет смысл использовать xfs, оно само умеет определять stripe, например, при создании фс и выбирать оптимальный размер блока и пр плюшки для server side операций, хотя с этим btrfs лидер

Из хитрого опция async в /etc/exports, но если диск медленный, а сервер может внезапно перезагрузится, то это плохая идея, в остальном всё дефолт и стоит убедиться что именно nfs 4.2 поддерживается сервером и используется клиентом, там новых плюшек подвезли и обещали чуть пошустрее её сделать, есть ещё вариант c опцией pnfs в /etc/exports но у меня клиенты с ним через какоето время подвисали и я его выкинул

Не нужно использовать LVM не по назначению. Результат будет такой же, как с фс-комбайнами. Каждый инструмент должен делать хорошо что-то одно, а не посредственно все и сразу. И в данном случае задача LVM - удобное управление томами, а не создание raid-массива, которое там прикручено сбоку с непонятной целью.

async всегда был, но толку никакого. O pnfs еще не слышал, попробую

лет 10 назад, я бы согласился, т.к. там была куча неудобных моментов, четкое указание где хранить лог зеркала и пр пакость, которая выглядела странно и не к месте, но сейчас разницы нет никакой, и то и другое лишь обёртки на одних и техже интефейсах

lappland:~ # dmesg | grep mdX
[    9.410884] md/raid1:mdX: active with 2 out of 2 mirrors
[    9.692841] md/raid1:mdX: active with 2 out of 2 mirrors
[    9.790132] md/raid1:mdX: active with 2 out of 2 mirrors
[   10.448368] md/raid1:mdX: active with 2 out of 2 mirrors

А если всё сделано по человечески, нормально работает и удобно управляется, без лишних проблем, то зачем плодить сущности, контролировать доп конфиги и тд. К примеру я использую ssd кеш и не вижу плюсов прятать мапинг эекстендов за доп прослойкой в виде mdadm

lappland:~ # lvs -a -o +devices | grep lv_common
  lv_common                  vg_data   Cwi-aoC---   4.00t [lv_cache_common_cvol] [lv_common_corig] 2.30   10.06           0.00             lv_common_corig(0)                                     
  [lv_common_corig]          vg_data   rwi-aoC---   4.00t                                                                 100.00           lv_common_corig_rimage_0(0),lv_common_corig_rimage_1(0)
  [lv_common_corig_rimage_0] vg_data   iwi-aor---   4.00t                                                                                  /dev/sda1(524288)                                      
  [lv_common_corig_rimage_1] vg_data   iwi-aor---   4.00t                                                                                  /dev/sdb1(1988610)                                     
  [lv_common_corig_rmeta_0]  vg_data   ewi-aor---   4.00m                                                                                  /dev/sda1(1835009)                                     
  [lv_common_corig_rmeta_1]  vg_data   ewi-aor---   4.00m                                                                                  /dev/sdb1(1988609)      

Ты там выше и btrfs советовал, так что твои советы выглядят все менее и менее релевантными :)

Не расстраивася, такое бывает

Однажды я знал парня, который знал парня, который знал парня, который знал парня, который знал парня, который знал дедушку, который знал парня, который

использовал VLM на VLM на LVM на логическом вольюме на физическом вольюме на LVM на LVM внутри LVM на mdadm на LVM

потому что не смог осилить нормальную фс

Это типичная история когда начинающий эникей админит HP-UX кластера и не может осилить VxFS, но справедливости ради - документация там реально паршивая, ещё и термины от команды к команде меняются

Разметил все под LVM и сделал Raid5 на mdraid. Всё ожило, а памяти стало сильно меньше брать ОЗУ. Спасибо

Можно поподробнее про сетап? Какие сценарии, какие i/o, сеть, какие результаты?

TrueNas - низкая скорость шара

Сферичный TrueNas ?

возможно дело не в truenas раз пишешь что скорость в килобайтах, то может дело с портом в свиче и сетевым кабелем …

возможно дело не в truenas раз пишешь что скорость в килобайтах, то может дело с портом в свиче и сетевым кабелем …

Да конечно братан, а потом когда я ZRaid выкинул, то сетевой кабель самовосстановился, а порт подчинился =)

Сферичный TrueNas ?

Конфиг в топике, TrueNas Core

низкая скорость шара

Я на это намекнул.

Можно поподробнее про сетап? Какие сценарии, какие i/o, сеть, какие результаты?

Я собрал домашний NAS с таким конфигом:

• Raid5 3*3Tb HDD для всяких важных файликов
• 1 HDD * 1Tb для важных бекапов, на случай если Raid5 не поможет
• 256 SSD под систему.
• 16 Gb ОЗУ
• Celeron Skylake двухядерный, кажется, который задушенный чтобы электричество не есть, но это не точно.
• Какая-то простая мать Mini-Itx от Asus.

Всё это подключено 2.5Gbe кабелем к ПК, есть шары NFS, SMB.

Собственно, функций несколько:

1. Файло-помойка.
2. Проекто-помойка. На сервере храню свои проекты в GitEa (раньше был Gitlab, но он много жрал и часто падал).
3. Запускаю всяческие бекенды через докер-композу, которые сам и пилю в свободное время.

Да в целом вот и всё, какие i\o от домашнего сервера интересуют, даже не знаю как ответить?! Всё за исключением корпуса и матери как говориться, слепил из того что было уже дома.

UPD: По совету людей с ЛОРа выкинул TrueNas и все таки поставил Ubuntu Server LTS.

Можно поподробнее про сетап? Какие сценарии, какие i/o, сеть, какие результаты?

Разные сценарии (десктопы, лаптопы, гипервизоры, серверы), с разным железом (nvme ssd, sata ssd, sata hdd) - всё неизменно выигрывает у модных-молодежных комбайнов. Что и неудивительно, в истории человечества ни одно многофункциональное нечто никогда не могло сравниться с современной этому нечто связкой узкоспециализированных вещей. Так устроен мир.

Так есть реальные замеры, сравнения? Я читал, например, тут, о превосходстве в записи немного оттюненой zfs по сравнению с тем же mdraid в 20 раз на записи.

К слову, хоть я не адковат и не евангелист zfs, но технология, возможно, старше некоторых форумчан (пруф).

Я сравнивал для себя, чтобы закрыть тему, потому на истину в первой инстанции не претендую. Ну а когда кто-то говорит о превосходстве чего-то «в 20 раз», бери вилку и снимай лапшу с ушей. Возможно, она вкусная.

К слову, хоть я не адковат и не евангелист zfs, но технология, возможно, старше некоторых форумчан (пруф).

Речь ведь о ZFS on Linux, который как бы не моложе даже btrfs. То, как оно на солярке работало - не имеет ровно никакого отношения к тому, как оно работает на линуксе, по факту это две разные сущности.

А ты сильнее толкай шар, он быстрее покатится