LINUX.ORG.RU

Сообщения IdeaFix

 

HM-SMR устройства в самосборе, есть ли хорошие практики?

Собственно сабж.

Даром досталось некоторое количество HM SMR дисков большой ёмкости и сейчас добываются ZONED SSD, просто для заполнения внутренней пустоты. Каких-то планов реального использования пока нет.

Диски HGST HSH721414ALN6M4, и началось всё с того что «оно новое и не работает, разберитесь». Разобрались…. диски осели у разбиральщиков.

Быстрый гуглинг показал что в общем кроме BTRFS на Linux особо ничего с HM SMR дисками не работает, и BTRFS в общем работает, но только с отдельными устройствами без возможности их объединения.

С удивлением обнаружил что OMV8 просто даёт отформатировать HM SMR устройство из веб интерфейса и всё вроде бы даже работает. Далее, я пересобрал ядро с CONFIG_BTRFS_EXPERIMENTAL=y и btrfs-progs с «configure –enable-experimental» и…. смог создать и миррор и страйп из пары дисков через веб интерфейс OMV8.

Пара слов об OMV - то что оно на мой взгляд странно отображает BTRFS-RAID1 устройство в интерфейсе - это Бог с ним, тут я понимаю что наболтосварил в ядре и тулзах и наивно хотеть нормального отображения всего этого, но в то же время OMV8, который в общем без предупреждений и оговорок в процессе (нет я не читал всю документацию, читал только то что вылезает когда нажимаешь мышкой, да я читал дебиановский отказ от гарантий…) работает с HM-SMR дисками, пытается флушить их просто dd-ша в них 10 метров мусора. Блин, нельзя в zoned-block-device так.

Опубликовал по SMB и SSH, всячески шатал… получил ro и система начала глючить. Перезагрузился, почекал как мог, вроде без проблем. Продолжаю шатать.

Собственно вопрос, может есть какие-то практики хоть какого-то практического использования дармовых HM-SMR HDD объёмом в 15-20TB и ZONED SSD?

В bcachefs всё замечательно на самом деле, но через 10 лет. В XFS всё средненько и скорее будет только хуже, f2fs в принципе имеет странную реализацию всего этого, и скорее ориентирована на ZONED SSD (или просто ориентирована вникуда), а BTRFS - она конечно наше всё, но не понятно (мне) когда зеркало переедет из experimental в прод.

В ZFS тем временем всё совсем печально, но это и не удивительно. Адепты уверенно говорят о ZFS over dm-zoned, но дальше разговоров дело не идёт.

Просто для информации немного данных о системе и ссылка на форум омв:

https://forum.openmediavault.org/index.php?thread/58304-some-problems-with-btrfs-raid1-on-zoned-devices/

root@zoned:~# btrfs filesystem usage /srv/dev-disk-by-uuid-685cae9a-20d8-4926-ba30-e2e42a0bc7cf
Overall:
Device size:                  25.47TiB
Device allocated:            366.50GiB
Device unallocated:           25.11TiB
Device missing:                  0.00B
Device slack:                    0.00B
Device zone unusable:        214.55MiB
Device zone size:            256.00MiB
Used:                        361.68GiB
Free (estimated):             12.56TiB      (min: 12.56TiB)
Free (statfs, df):            12.56TiB
Data ratio:                       2.00
Metadata ratio:                   2.00
Global reserve:              243.58MiB      (used: 0.00B)
Multiple profiles:                  no


Data,RAID1: Size:182.50GiB, Used:180.58GiB (98.95%)
/dev/sda      182.75GiB
/dev/sdc      182.75GiB


Metadata,RAID1: Size:512.00MiB, Used:263.94MiB (51.55%)
/dev/sda      512.00MiB
/dev/sdc      512.00MiB


System,RAID1: Size:256.00MiB, Used:128.00KiB (0.05%)
/dev/sda      256.00MiB
/dev/sdc      256.00MiB


Unallocated:
/dev/sda       12.55TiB
/dev/sdc       12.55TiB
root@zoned:~# btrfs filesystem show
Label: none  uuid: 685cae9a-20d8-4926-ba30-e2e42a0bc7cf
Total devices 2 FS bytes used 180.84GiB
devid    1 size 12.73TiB used 183.75GiB path /dev/sda
devid    2 size 12.73TiB used 183.75GiB path /dev/sdc
root@zoned:~# btrfs --version
btrfs-progs v6.17.1
+EXPERIMENTAL -INJECT -STATIC +LZO +ZSTD +UDEV +FSVERITY +ZONED CRYPTO=builtin
root@zoned:~# dmesg | grep Btrfs
[    6.947004] Btrfs loaded, experimental=on, zoned=yes, fsverity=yes
root@zoned:~# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sda      8:0    0 12.7T  0 disk /srv/dev-disk-by-uuid-685cae9a-20d8-4926-ba30-e2e42a0bc7cf
sdb      8:16   0 55.9G  0 disk
├─sdb1   8:17   0   53G  0 part /
├─sdb2   8:18   0    1K  0 part
└─sdb5   8:21   0  2.9G  0 part [SWAP]
sdc      8:32   0 12.7T  0 disk
root@zoned:~#

 , ,

IdeaFix
()

Файловые системы со сжатием. Есть ли вообще выбор?

Есть задача - смигрировать зрелый корпоративный сервис с Windows на Linux. В самой процедуре миграции ничего сложного - там Java+Postgres и я уже тыщу раз так делал, но есть некоторые проблемы роста.

Понятно что логи сервера приложений, субд и пр. сервисов ротейтятся штатными средствами, сжимаются, удаляются и всё такое, но логи самого сервиса в силу его архитектуры должны быть доступны все и всегда. На Windows папка с логами сжималась средствами файловой системы и из 1.5TB получалось 500GB. Скорость работы, утилизация процессора - всех всё устраивало.

Сейчас в 2к25 на Linux я вижу простой способ - всё на EXT4, папка с логом на BTRFS со сжатием на отдельном диске/разделе.

Есть ли другие варианты? Решение нужно максимально простое, ванильное, без болтосвара и отхода от стандартного дебиана.

Отдельно повторю - logrotation не подходит - онлайн доступ к 1.5TB логов нужен сервису периодически.

Снапшоты, журналы, кеши… всё это не важно и не нужно. Просто поджать раза в три-пять холодно-тёплые текстовые данные.

 , ,

IdeaFix
()

fail2ban и vhost_combined лог

Приветствую!

Есть простая в общем задача - защитить логин форму вордпресса.

Всё работает так, как ожидается на примерах из интернета и форматах лога common и combined веб сервера apache2. Правило выглядит так (упрощено):

[Definition]
failregex = ^<HOST> .* "(GET|POST) /+wp-login.php

Но в логе vhost_combined строка начинается не с адреса клиента, а с имени вхоста, так что «^<HOST>» должен быть заменен на что-то другое. Ниже пример строки лога, где myvhostname.org - вхост, а 11.22.33.44 - собственно HOST (клиент):

myvhostname.org:443 11.22.33.44 - - [24/Jun/2022:11:04:17 +0500] "POST /xmlrpc.php HTTP/1.1" 200 5639 "-" "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:62.0) Gecko/20100101 Firefox/62.0"

Помогите исправить фильтр/регексп.

 , ,

IdeaFix
()

RSS подписка на новые темы