Деградация zfs, btrfs при заполнении диска

Так и не лезьте в каждую бочку затычкой со своей zfs.

Я вообще то в теме, где ТС прямо спрашивает про zfs.

Если человек хочет попробовать или использовать Btrfs, не нужно лезть ему под ноги и навязывать своё видение. Пусть попробует и сам решит, устраивает она его или нет.

Я его за руки держу? Пусть пробует, я не против. Поделиться опытом теперь называется «навязывать своё видение»?

P.S. Да и вот ещё что, давайте договоримся, вы мне не говорите что мне делать, а я не говорю вам куда пойти.

Я вообще то в теме, где ТС прямо спрашивает про zfs.

Мне что, начать цитировать ваши выступления в темах о Btrfs? :DD

P.S. Да и вот ещё что, давайте договоримся, вы мне не говорите что мне делать, а я не говорю вам куда пойти.

Так вы сразу и скажите, что вы неадекватный пропагандист zfs, к чему тут было строить из себя невинного мальчика, который дал взвешенный совет, а его за это, видите ли, обидели.

Так вы сразу и скажите, что вы неадекватный пропагандист zfs

Вы всем предлагаете что-либо сказать или сделать? Лицо не болит?

Не всем, только очевидным неадекватам, которых АШТРИСЁТ, когда кто-то делает то, что они считают неправильным :DD Как говорится, той же монетой отплачиваю.

Не всем, только очевидным неадекватам, которых АШТРИСЁТ, когда кто-то делает то, что они считают неправильным

Ну допустим, а я тут при чём?

Ответил вам в заметки:

King_Carlo ★★★ (26.12.2015 22:59:36) рефлексия и самокритика на уровне хомячка

Фрактал, время идёт, а ты не меняешься :) как был долбоклюй, так и остался.

С btrfs придется время от времени восстанавливаться из бекапов. А когда она не крешится, может просто выдавать ошибки ввода-вывода время от времени. Ну и трейсы украшают логи.

Смищно.

На ZFS с подобным не сталкивался. Наверное потому что редко занимал больше чем 50%.

Класс. Но как бы ФС не имеет права называться таковой, если она способна работать только с плотностью хранения данных меньше половины...

Это немного специфичная тема, и я не думаю что это о файлопомойке.

У меня там 1) торренты и 2) sqlite-овая база данных одного распределённого мессенджера размером в гигабайт, в которую постоянно пишут. Проблемы преимущественно с последней.

Попробуй увеличить время сброса транзакций - меньше рандома, но если это не sync, то это будет то кол-во данных, что ты потеряешь в случае пропадания питания или другого глобального факапа.

как будут обстоять дела в подобных ситуациях у btrfs?

У меня файлопомойка на btrfs, забита на ≈90%, никаких проблем нет. Причём в один сабвол пишется пегулярно, с другого беспрерывно читается, всё это дело живёт в одном диске и жрать не просит уже год с мелочью.

Что это за высер? :DD Впрочем, не продолжайте.

У вас на HDD? Какие скорости выдаёт?

Особенно интересует время открытия каталогов с количеством файлов больше 1000. И вообще, насколько высока отзывчивость, насколько сильно тарахтят головки.

Новая жизнь с новым акком опять не взлетела, расслабься.

Выставил synchronous = 0 на sqlite-базе — проблемы исчезли. А теперь вопрос: какого хрена, если intent log включен, а на подтоме свойство «sync» выставлено в «latency»?

И на SSD, и на HDD. Замеров не делал, но за год ощущения тормозов не возникало.

время открытия каталогов с количеством файлов больше 1000

На SSD моментально, на HDD ~1-3с (на "холодную").

насколько высока отзывчивость

По ощущениям сильно лучше reiserfs того же возраста, и незначительно лучше Ext4 (которая на моей машине при резком отключении эл-ва теряла рандомные файлы, в том числе даже не открытые на чтение).

насколько сильно тарахтят головки

Они тарахтят, но не так сильно и часто, чтобы это заставляло задуматься. В общем-то тарахтят они только на "холодном" чтении директории с овердофига мелких файлов, которых у меня не так много.

Ext4 (которая на моей машине при резком отключении эл-ва теряла рандомные файлы, в том числе даже не открытые на чтение).

прохладная история, бро

Потому что по умолчанию zil пишется на диск только когда приложение открывает файло с флагом o_sync или же прилетает явный fsync.

Ну так вот, я и говорю — ZIL есть, а fsync в sqlite всё равно жёстко тормозит.

ZIL есть

Отдельным устройством?

Да, конечно. (Ну, то есть, разделом на отдельном устройстве, если это важно.)

А что за девайс и что там помимо лога происходит?

Ноутбучный винт, 5400 RPM, помимо лога там система.

под это надо отдавать чистый винт без всего, к тому же 5400 это эпик фейл, 7200 надо, всё что ниже труба, ещё наверника и сата2.

карло и этот понторез, используют сас винты под это либо ssd, на которых нету ничего кроме zil.

5400 RPM, помимо лога там система.

И чего ты ожидаешь после этого? Так можно делать только с ссд и то, я бы не стал, а точнее - так и не сделать на солярке, можно только устройство целиком отдать.
Остальные поди 7.2к?

этот понторез хотя бы разбирается в темах топиков куда суётся.

всё что ниже труба, ещё наверника и сата2.

изыди

Я ожидаю, что почти простаивающий винт будет быстрее тех, с которых что-то постоянно читается вразнобой. Я бы воткнул SSD, будь у меня лишний. А остальные винты десктопные 7200, подключенные через SATA port multiplier к ExpressCard-ному однопортовому контроллеру =)

ещё наверника и сата2

А это то тут причём? Верхний потолок SATA2 ещё ни один HDD не превысил.

А остальные винты десктопные 7200

Ну ты всё же попробуй убрать 5.4 девайс или logbias в throughput и посмотри чо как, оно должно оптимально по vdev'ам запись раскидывать. Сейчас у тебя все синхронные операции работают со скоростью этого самого диска, на котором ещё и система. sync случаем не в always выставлен?

SATA port multiplier к ExpressCard-ному однопортовому контроллеру

Мне сложно себе представить резвость такой балалайки :D
зы раскури на досуге txg timeout и ко.

при 4 гб в ZOL отключаются ряд функций ответственных за производительность, минимум самой ФС надо 8гб отдать.

это не десктопная ФС, ей нужна опера для работы, много оперы.

Что за функции и где посмотреть на соответствующий код включения-отключения оных в зависимости от количества RAM?

разделом на отдельном устройстве

жесть

sync случаем не в always выставлен?

Ну вот сейчас выставил в disabled. Раньше был standard.

Ну ты всё же попробуй убрать 5.4 девайс

Убрал. Если вернуть синк, получаю те же самые SPIO вместо IOPS.

Мне сложно себе представить резвость такой балалайки :D

Ага. Говорю ж, у меня роль «сервера» исполняет ноут 2008 года выпуска.

Вы можете критиковать его убогое железо сколько угодно, вот только факт в том, что все работало нормально пока было свободное место. О фрагментации уже типа все забыли, ее нет, zfs от этого не страдает, валите все на слабое железо.

домашнюю файлопомойку
снапшотами, подтомами, компрессией

https://pp.vk.me/c425816/v425816505/834/XWm1PZPy85Q.jpg

Попробуй увеличить время сброса транзакций - меньше рандома, но если это не sync, то это будет то кол-во данных, что ты потеряешь в случае пропадания питания или другого глобального факапа.

«Здрасте, я домашний пользователь павлик. мне нужна ФС для домашней файлопомойки. Текущая ФС сломалась.»

Здравствуйте павел! Выучитесь на администратора Баз данных, а потом и используйте нашу ФС!

ПНХ. Сам можешь сколько угодно использовать свою vfat.

факт в том, что у тебя мозгов не хватает понять смысл моего сообщения, как и апдейтов ТС.

то, что ты не шаришь в ИТ, и так известно, мог бы лишний раз не демонстрировать.

Есть мнение, что zil в твоём случае не поможет, более того пошареный hdd под zil скорее создаст тормоза на нормальном железе.

А если взять гипотетический SSD под ZIL? Последний используется только при синках или вообще как журнал? Или там нет журнала как такового, потому что всё copy-on-write?

С btrfs придется время от времени восстанавливаться из бекапов

У меня 4 года как минимум раздел на btrfs и проблем с ним не было.

Ваня, привет.

Спасибо тебе за тесты, остаюсь на ext4.

ZIL всегда используется, если он не отключен насильно, но пишется на диск(будь то отдельный девайс или в виде блоков по пулу) только при синхронной записи, при асинхронной он «пишется» в рам и сбрасывается согласно выставленному txg timeout(по умолчанию 5 сек) с zil на диске он, кста, так же отправляет в пул.

А если взять гипотетический SSD под ZIL?

Depends, если у тебя постоянно пишется много данных, то в какой-то момент ssd может заполниться не записанными данными и приует. Если нагрузки пиковые, то очень даже поможет. Обычно я смотрю dtrace что там происходит с этим zil.

какой странное у тебя мнение о домашней файлопомойке

Особенно интересует время открытия каталогов с количеством файлов больше 1000.

Говно. По этой причине ушел на lvm+ext4 о чем нисколько не жалею.

Лол, e2fs и большие каталоги — вещи несовместимые.

А что символизирует исправление ext4 на e2fs?