LINUX.ORG.RU
решено ФорумAdmin

Файловая система для раздела большого размера

 , , ,


0

2

Вопрос по сабжу.

Будет KVM-виртуалка при ней диск 6 Тб,

гипервизор Proxmox.

Основное требование к ФС — неплохая производительность в общем случае, журналирование ну и в целом, чтобы не падала от мелких ошибок, как у меня одажды было с XFS.

★★★★★

Ответ на: комментарий от Pinkbyte

Переткнешь кабель в новый сервер и поехали?

Т.е. по сути будет та же самая репликация, что и в Proxmox, только вручную.

С большей вероятностью ошибиться, т.к. практики с таким у меня не было)

Twissel ★★★★★
() автор топика
Ответ на: комментарий от piwww

зато при куче мелких файлов она быстрее ехт4

Как проверял? Ext4 это не ext2, директории в ext4 тоже уже сортированные.

i-rinat ★★★★★
()
Ответ на: комментарий от Twissel

https://www.ibm.com/developerworks/ru/library/l-lvm2/index.html

#!/bin/sh
 
# требуется модуль dm-snapshot
modprobe dm-snapshot
if [ -e /dev/test-volume/home-snap ]
then
  # удаляем предыдущие версии, если они есть
  umount -f /mnt/home-snap && true
  lvremove -f /dev/test-volume/home-snap
fi
# создаем снимок CoW размером 1 ГБ
# этого должно быть достаточно для внесения изменений в процессе копирования
lvcreate -vs -p r -n home-snap -L 1G /dev/test-volume/home
mkdir -p /mnt/home-snap
# монтируем только что созданный снимок в режиме "для чтения"
mount -o ro /dev/test-volume/home-snap /mnt/home-snap
# магическая команда rsync
rsync -avhzPCi --delete -e "ssh -i /home/klausk/.ssh/id_rsa" \
      --filter '- .Trash/' --filter '- *~' \
      --filter '- .local/share/Trash/' \
      --filter '- *.mp3' --filter '- *Cache*' --filter '- *cache*' \
      /mnt/home-snap/klausk backuphost.domain.net:backupdir/
# размонтирование и удаление логиеского тома снимка
umount /mnt/home-snap
lvremove -f /dev/test-volume/home-snap

int13h ★★★★★
()
Ответ на: комментарий от piwww

и да для кучи мелких и неубиваема от слова «совсем»

Так автор про большие файлы говорит, а не про кучу мелких.Тебе про Фому, а ты ему про Ерему...ReiserFS на операциях с большими файлами в чистую сольет XFS. Так зачем ты советуешь reiserfs ?

Ну и про неубиваемость ты погорячился, у меня падала на проксе, что даже reiserfsck не помогал.

vasya_pupkin ★★★★★
()
Последнее исправление: vasya_pupkin (всего исправлений: 1)
19 ноября 2020 г.
Ответ на: комментарий от Pinkbyte

Неа, все не так просто

Специально посмотрел сабж, и кажется, что все непросто.

Или ты как-то умудрился именно по сети гонять чистыми командами send/recieve?

Кроме NFS-подключения разумеется.

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Pinkbyte

О как, ожидаемо это реализовано по ssh.

А зачем тогда такие сложности как по моей ссылке?

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Pinkbyte

И еще, насколько я понял в доке описана репликация снепшотами, а Proxmox еще позволяет делать полную репликацию хранилища.

Не знаешь как это реализовано на базовом уровне в самой zfs и реализовано ли?

Добавлено:

Пока ковыряю скрипты Proxmox по сабжу, там Perl =)

https://pve.proxmox.com/wiki/Storage_Replication

Twissel ★★★★★
() автор топика
Последнее исправление: Twissel (всего исправлений: 2)
Ответ на: комментарий от Twissel

По Proxmox я без понятия, в ZFS единственную репликацию которую я видел - это снапшотами.

Судя по твоей же ссылке:

Replication uses snapshots to minimize traffic sent over the network

Подозреваю что Proxmox просто делает сам снапшоты каждого volume и шлет их через zfs send

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от Twissel

Без понятия: возможность того, что васяны придумывают сложности на пустом месте, исключать не стоит

Официальная документация четко даёт понять что всё сделано по заветам UNIX-way: zfs send генерит поток на stdout, zfs receive получает его из stdin. Что использовать посередине - SSH, netcat, или 10 тысяч китайцев, носящих пакеты за миску риса - решать только тебе.

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 2)
Ответ на: комментарий от Pinkbyte

Что использовать посередине - SSH, netcat, или 10 тысяч китайцев, носящих пакеты за миску риса - решать только тебе.

:-D

В цитатник!

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Twissel

Работаю на небольшой инсталляции(6 OSD, 3 MON/MDS/MGR) - RBD и немного CephFS, с RadosGW опыта нет вообще. Начинал еще на ЕМНИП 0.94(Hammer). В новомодном деплое(ceph-deploy, вот это вот всё) не разбираюсь, ноды привык по старинке вручную подымать.

Что конкретно интересует?

Pinkbyte ★★★★★
()
Последнее исправление: Pinkbyte (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

просто спросил)

Вот на ночь прочитал страшную сказку и понял, что Ceph это только для сурового энтерпрайза.

Тонкостей и подводных камней больше, чем профита и лучше уж делать так

Enterprise своими руками (комментарий)

Twissel ★★★★★
() автор топика
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: просто спросил) от Twissel

Проблема в том, что всё что я видал в опенсорсе альтернативное(я имею ввиду именно SDS) для виртуалок - либо полное днище по функциональности, либо требует колхозинг 100500 уровня и разваливается на каждый чих.

ceph - далеко не идеал, там пилить и пилить. Но лучше я пока ничего не видел. Некоторые запиливают готовые решения на его основе и продают - тот же Dell, например.

Pinkbyte ★★★★★
()
Ответ на: комментарий от Pinkbyte

Некоторые запиливают готовые решения на его основе и продают - тот же Dell, например.

Можно конкретный пример?

Twissel ★★★★★
() автор топика
Ответ на: комментарий от stels

Уже трудится в тестовом режиме.

EFI + CentOS 8.

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Pinkbyte

Кстати, по твоему совету решил в перспективе отказаться от виртуализации.

Пока в голове построил такую схему:

1.Сервера SX-62

2. Один 10 Тб отдаю на CentOS 8. На остальных делаю RAID-Z1

3. Поднимаю второй такой же сервак для репликации + говнокод для failover IP.

Вроде норм.

Что скажешь?

Twissel ★★★★★
() автор топика
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Пока единственный минус, что приходит в голову, это как реализована поддержка ZFS для CentOS, ХЗ.

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Pinkbyte

Буду тестить эту штуку https://github.com/jimsalterjrs/sanoid

Насколько я понял там основные плюшки в автоматическом планировании создания и/или управлении количеством снепшотов.

Twissel ★★★★★
() автор топика
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Просто жирный плюс виртуализации в том, что ты можешь развернуть готовую настроенную VM со всеми «тараканами» (багофичами) конкретного ПО из бекапа, намного быстрее, чем в случае полного факапа фиксить старый/настраивать новый сервер „с нуля“ без оной.

Twissel ★★★★★
() автор топика
Последнее исправление: Twissel (всего исправлений: 1)
Ответ на: комментарий от Pinkbyte

Кстати, вот пришла в голову мысль, что когда случайно вследствие неожиданного «бага в вакууме» даннные изменятся на целевом (принимающем) сервере, это ведь разрушит всю репликацию, да?

Twissel ★★★★★
() автор топика
Ответ на: комментарий от Pinkbyte

Хм... а тут есть более простое решение — просто отключать службу, которая может писать в реплицированный снепшот.

Twissel ★★★★★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.