LINUX.ORG.RU
ФорумAdmin

zfs для тестов на работе

 ,


0

1

Здравствуйте!

Поднял ZFS на работе на древней машине с сокетом 775 (мать asrock G31M-VS). На борту 4гб ОЗУ (в планах заменить на 8гб, поменять проц 2 двухядерного селерона на 4 ядерный quad, а также прикрутить охлад на южный мост, уж больно греется). ZFS ставил на 3 hdd по 250гб (2 sata, 1 ide). 4й hdd 80гб висит на ide и на нём gentoo. В точке монтирования zfs доступно 460гб (из 720 с трёх дисков).

Поднял просто для тестов и чтобы понять как это работает. Сделал на нём smb-шару, в которую пользователям сделал для каждого папку для хранения профиля почты от thunderbird (чтобы на локальных компах не забивать ssd). Работает нормально, почтовик не тормозит. С 12 компов размер 95гб, сжатый силами gzip-9 до 65гб. В планах добавить новых пользователей.

Какие подводные камни могут быть? Какие советы может дадите?

Поднял просто для тестов и чтобы понять как это работает.

Какие советы может дадите

Советы о чем, как исследовать и разбираться? Я конечно про ЕГЭ многое слышал, но теперь и вижу

Lordwind ★★★★★
()

чтобы на локальных компах не забивать ssd

С 12 компов размер 95гб

У них там небось ссд по 64 гб производства 2010 года стоят? Сообщи руководству что так нельзя, эти ссд могут в любой момент сдохнуть, и надо бы купить поновее.

firkax ★★★★★
()
Ответ на: комментарий от mord0d

@mord0d А есть еще что-то мощнее в плане сжатия, доступное для ZFS ? Я имею ввиду чтобы сжимало больше, чем сейчас? Сейчас там текстовые данные.

@LongLiveUbuntu 8гб ОЗУ это потолок для данной мат.платы.

@Dimez dedup включен, при вызове «zdb -S poolname» показывает 1,23

@firkax Не, там 120 и 250гб ССД.

Еще момент, у всех этих 12 компов одинаковый набор почтовых аккаунтов, а по неизвестной мне причине, дедупликация очень низкая. Хотя казалось бы, набор данных один (ну почти) на всех.

Suiseiseki
() автор топика
Ответ на: комментарий от LongLiveUbuntu

8 Гб

Мало

Ну не, этого с головой хватит для какого-нибудь NAS или бэкапилки

Я прям сравнивал на пулах 8-16Тб одноплатник и современную пеку, под завязку набитую DDR5 памятью

Одноплатник само собой медленный, на случайной записи легко можно разницу в несколько раз намерить. А в каких-то сценариях, особенно на медленных дисках, получается одно и то же

melkor217 ★★★★★
()

древней машине с сокетом 775

Ну если только из спортивного интереса или доставить это железо из имеющихся запасов.

поменять проц 2 двухядерного селерона на 4 ядерный quad

Можно посмотреть еще на совместиимые xeon'ы.

Какие советы может дадите?

Вон те 2 ide и все остальное, что с этой шиной под списание.
У sata старичков на 250Gb проверить смарты, как минимум, ничего кроме как данных на поиграться не держать.

sehellion ★★★★★
()

Какие советы может дадите?

Настроить резервное копирование через zfs snapshot на другой хост (есть готовые инструменты, погугли).

Посмотреть в сторону сжатия zstd.

Мониторить журнал ядра на предмет oom-killer. Если будет появляться — ограничивать zfs_arc_max.

Harliff ★★★★★
()
Ответ на: комментарий от Suiseiseki

А есть еще что-то мощнее в плане сжатия, доступное для ZFS ?

zstd-19. Не помню с какой версии. Поддерживается ли в твоей — смотри zfsprops(7) на предмет compression=.

dedup включен

А он жрёт ОЧЕНЬ много. И CPU и RAM.

mord0d ★★★★★
()
Ответ на: комментарий от mord0d

dedup включен

А он жрёт ОЧЕНЬ много. И CPU и RAM.

Пока была своя nas помойка, собранная на похожем железе, не замечал высокой нагрузки. При этом и дедупликация, и сжатия, и прочие плюшки zfs были включены. Подозреваю, что нагрузка коррелирует с обращениями к диску, и если это один пользователь, то и потребление ресурсов zfs даже с дедупликацией будет невысоким.

pavel_l
()
Ответ на: комментарий от pavel_l

Подозреваю, что нагрузка коррелирует с обращениями к диску

Дедупликация происходит только при записи. Компрессия — при записи, декомпрессия — при чтении.

Компрессия/декомпрессия нагружает CPU и кушает относительно немного RAM.
Дедупликация жрёт как CPU, так и RAM, причём RAM пропорционально дедуплицируемым данным (не помню сколько конкретно, но много).

Если ты один раз записал и забыл, то конечно не заметишь никакой нагрузки, а если у тебя данные читают и пишут 24/7, то тут ой, такая железка не вывезет.

если это один пользователь, то и потребление ресурсов zfs даже с дедупликацией будет невысоким

У меня на домашнем сервере (полноценный 3U, два сокета по 12 ядер (в сумме 48 потоков), 256G RAM) иногда просадки ощутимые бывают во время scrub и записи огромных объёмов данных. Там крутятся виртуалки и куча сервисов в них, так что чтение-запись происходят постоянно в 500Mbps-1Gbps с пиками в 12Gbps. Недавно я оттуда вынес PostgreSQL, нагрузка в пиках упала втрое(!).

mord0d ★★★★★
()
Последнее исправление: mord0d (всего исправлений: 2)
Ответ на: комментарий от Suiseiseki

А есть еще что-то мощнее в плане сжатия, доступное для ZFS ?

lz4 будет скорее всего не хуже, но гораааздо быстрее.
zstd4 будет минимум не тормознее, но лучше сжимать. Ставить уровень компрессии ещё выше - смысла немного.

GAMer ★★★★★
()