LINUX.ORG.RU

Фрагментация ext4 на торрентах, личный опыт

 , ,


0

3

Жил-был у меня раздел, который когда-то, лет 14 назад, был /home. Время шло, он переехал на новый винчестер при помощи dd. Затем у меня завёлся SSD и я переместил /home на него а то, что было /home/user/torrents, оставил, теперь у меня /home на SSD, а /home/user/torrents на HDD. Потом /home переехал на более крупный SSD, а потом ещё раз - на ещё более крупный. Всё при помощи dd.

Таким образом, у меня раздел /home/user/torrents жил 14 лет, а /home примерно 10 лет с двумя переездами при помощи dd. И тут я в эти выходные вдруг взял да озаботился дефрагментацией при помощи e4defrag. А почему бы и нет.

В целом, раздел /home/user/torrents дефрагментировался примерно полчаса и показал уровень фрагментации 0.1%. Раздел /home дефрагментировался четыре часа (на ssd!) и показал уровень фрагментации около 4%. Оба раздела имеют одинаковый размер в 2Тб. Особенно фрагментированными оказались директории ~/.cache, ~/.local/share/Trash, ~/Downloads и, как ни странно, ~/.config.

Увы, забыл наделать скриншотов, потому что это не был тестовый забег, а просто рабочий процесс.

Это я всё к чему. Сдаётся мне, проблема фрагментации из-за торрентов слегка преувеличена.

Дискас.

★★★★★

Выглядит логичным. Торренты - не то чтобы холодные данные, скорее, «спокойные». Загружаются по одному, не редактируются и относительно редко удаляются, а если и удаляются, то полностью, освобождая сразу всё занятое место. Загрузки часто чистятся, а конфиги при обновлении не редактирует только ленивый, и обычно в сторону увеличения.

sislochka
()

e4defrag

Есть случаи что эта утилита убивает ФС? Хоца ради эксперимента попробовать, но ссыкотно.

LINUX-ORG-RU ★★★★★
()

14 назад
dd

Алсо, как проверить, что такая старая ФС нормально ложится на геометрию нового носителя?

sislochka
()
Ответ на: комментарий от LINUX-ORG-RU

Я не слышал. Но, её можно запускать из-под непривилегированного пользователя, на столько она в теории безопасна )

Aceler ★★★★★
() автор топика

Все что мы узнали это то что у тебя 14 лет был раздел.
Ни количество скачанных торрентов, ни их объём и количество перезаписей.
Ни даже уровень фрагментации до дефрагментации.
Но поздравляю с тем что скоро твой раздел достигнет возраста сексуального согласия и вот тогда то ты сможешь провести настоящие пенетрации! :-)

rukez ★★★★
()

Потом /home переехал на более крупный SSD, а потом ещё раз - на ещё более крупный.

озаботился дефрагментацией при помощи e4defrag. А почему бы и нет.

Эм… дефрагменировать SSD?
Но зачем?

Minona ★★☆
()
Ответ на: комментарий от Minona

чел случайно наткнулся на дефраг и решил поиграться :)

Раздел /home дефрагментировался четыре часа (на ssd!)

не думаю что е4дефраг знал об особенности SSD в виде больших блоков удаления и, как следствие, перемещал фрагменты файлов мелкими порциями, чем основательно сначала шинковал структуру ssd а потом мучительного долго ее «восстанавливал» :). хотя конечно «инсайд-информацию» посмотреть было бы прикольно.
заодно еще выкинул в трубу много ресурса ячеек.

pfg ★★★★★
()

Процент фрагментации стал 0,1 и 4. А какой был до?

LightDiver ★★★★★
()
Ответ на: комментарий от Minona

дефрагменировать SSD? Но зачем?

Вообще и SSD подвержены фрагментации.

Другое дело, что самому дефрагменрировать не сдалось. Разве что если ты забиваешь диск на 99.99% и постоянно его переписывая файлами всяко разно. Хотя лучше таким бредом не заниматься.

fornlr ★★★★★
()
Ответ на: комментарий от fornlr

А помнишь, как из огнелисов userChrome.css выпиливали, чтобы лишнее обращение к диску на старте убрать? ;)

sislochka
()
Ответ на: комментарий от LINUX-ORG-RU

Так это же не настоящий дефрагментатор, как во времена ДОСа/винды. Тут типа, ну вы так хотели «дефрагментатор» - ну, нате. Т.е. он не дефрагментирует ФС (эффективно перемещая кусочки отдельных файлов, консолидируя свободное место), а удобно (в фоне, без нарушения работы при доступе к файлу) создаёт копию отдельного файлов в более подходящем месте (т.к. размер заранее известен), а потом освобождает старые блоки.

gag ★★★★★
()
Ответ на: комментарий от fornlr

Вообще и SSD подвержены фрагментации.

Но эти чёрные ящики просто так не отдефрагментируешь. Т.к. ФС не знает физического расположения блоков на SSD, а SSD не знает, какие блоки принадлежат одному файлу, дефрагментация получается невозможной.

Интересно, нет ли там в NVMe протоколе команды переместить блок. Тогда можно было хотя бы логически и без бессмысленного износа SSD «дефрагментировать» файл так, что для ФС изменения происходят, а SSD просто меняет адреса в своих таблицах.

gag ★★★★★
()
Последнее исправление: gag (всего исправлений: 1)
Ответ на: комментарий от LightDiver

есть разница в скорости доступа к информации?

Конечно, даже в RAM есть разница доступа

Windows, кстати дефрагментирует по умолчанию

https://www.hanselman.com/blog/the-real-and-complete-story-does-windows-defragment-your-ssd

Самому смысла нет — спецолимпиада.

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от fornlr

В смысле в рэм есть разница?! На жестких дисках там из за физического устройства и особенностей считывания была разница. А в рэм и ссд с какого перепугу?

LightDiver ★★★★★
()
Ответ на: комментарий от LightDiver

Вот так. Практика и упрощённая теория — вещи разные. Про чтение/запись RAM так лекцию на полтора часа можно, а не «там же просто ячейки и всё».

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от fornlr

Вообще и SSD подвержены фрагментации

фрагментации подвержена ФС, а не SSD.

Хотя лучше таким бредом не заниматься

я поэтому вопрос и задал «зачем?».

Minona ★★☆
()
Ответ на: комментарий от Minona

фрагментации подвержена ФС, а не SSD.

Так SSD не могут полостью невелировать фрагментацию, КЭП.

«зачем?»

В сабже темы — незачем. Выше пример про Windows с более подверженной фрагментации NTFS приведён. И то там дефрагментация на полшишечки выполняется — не так как для HDD.

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 3)
Power_On_Hours 10946
~1tb per year torrents
0% defrag
serg002 ★★★
()

Сдаётся мне, проблема фрагментации из-за торрентов слегка преувеличена

Особенно если ставить галку «резервировать место сразу». Впрочем, фрагментация на ext4 никогда проблемой не была, а уж в современных условиях многоядерных процессоров и ssd тем более.

gremlin_the_red ★★★★★
()
Ответ на: комментарий от Ford_Focus

Не соглашусь,

ssd пофиг на фрагментацию при чтении и то не факт, там блоки могут быть больше блока фс, особенно у дешёвых

При записи тоже вопрос, когда блоки перемашаны в любом случае это более затратно чем если бы было упорядочено

ism ★★★
()
Последнее исправление: ism (всего исправлений: 1)
Ответ на: комментарий от LightDiver

есть дефрагментаторы для ram :)
есть определенный набор не очень разумных потребителей, которым нравится потреблять, просто потреблять, хоть что, хоть солому, хоть сено….
вот для таких и делаются всякие лохопрограмки типа дефрагментатора ram с хитрокрасивым интерфейсом.
интересно что там дефрагментируется ?? размер таблицы TLB ??
и какой процент ускорения системы получается от таких дефрагментаций….

pfg ★★★★★
()
Ответ на: комментарий от gremlin_the_red

дефрагментация не зависит от многоядерности процессоров или типа фс, это вообще побоку :)
дефрагментация напрямую зависит от времени перемещения головки винчестера от одного фрагмента к другому.
в ssd это время ==ноль.

pfg ★★★★★
()
Ответ на: комментарий от pfg

дефрагментация не зависит от многоядерности процессоров

Дефрагментация не зависит. Но чем больше работающих процессов, тем чаще им хочется что-нибудь сделать с диском. Соответственно, системе становится глубоко фиолетово, насколько сильно фрагментированны файлы, всё равно запросы идут в околослучайные места.

или типа фс

Дизайн всех современных фс делался во времена, когда основными носителями были харды, поэтому во всех них на уровне самой фс встроена борьба с фрагментацией. У ext4 это экстенты.

gremlin_the_red ★★★★★
()

~/.cache, ~/.local/share/Trash, ~/Downloads

Перед дефрагментацией рекомендуют делать чистку от «мусорных» файлов, проверку диска (файловой системы).

Интересно, обычно куски торрентов случайно отдаются, особенно когда их много. Тогда насколько вообще нужна в таком случаем дефрагментация?

NyXzOr ★★★
()
Ответ на: комментарий от rukez

Но поздравляю с тем что скоро твой раздел достигнет возраста сексуального согласия и вот тогда то ты сможешь провести настоящие пенетрации! :-)

btrfs-convert?

SR_team ★★★★★
()

Всё при помощи dd.

А зачем?

дефрагментировался четыре часа (на ssd!)

Тут я уже боюсь спрашивать, зачем.

проблема фрагментации из-за торрентов

Есть такая проблема?

pinus_nigra
()
Ответ на: комментарий от fornlr

Так SSD не могут полостью невелировать фрагментацию

живой пример:

SSD:

[Read]
  RND    4KiB (Q=  1, T= 1):    46.582 MB/s [  11372.6 IOPS] <    87.71 us>

HDD:

[Read]
  RND    4KiB (Q=  1, T= 1):     0.626 MB/s [    152.8 IOPS] <  6527.86 us>

SSD быстрее HDD в 74 раза.

т.е. полностью фрагментированный файл считается с SSD за 1 сек, а с HDD за 74 сек.

так что с точки зрения потребителя очень даже нивелирует.

Minona ★★☆
()
Ответ на: комментарий от Minona

Ты одно слово пропустил.

А так выше уже всё написано.

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 2)
Ответ на: комментарий от otto

Ничем не перемещать. Делать на новом устройстве новую ФС и копировать данные с помощью rsync.

targitaj ★★★★★
()
Ответ на: комментарий от pfg

в ssd это время ==ноль.

стало быть, тесты на чтение показывают одинаковую скорость для rand read и seq read. Верно? Так и есть?

targitaj ★★★★★
()
Последнее исправление: targitaj (всего исправлений: 1)
Ответ на: комментарий от gremlin_the_red

экстент сколь помню делался не для уменьшения фрагментации, а для упрощение структуры inode один экстент размером до 128мб создавал в inode одну запись взамен 30 000 записей блоков размером всего в 4 кб максимум.
дефрагментацию уменьшала карта свободного места ранжированная по размеру свободного места. т.е. появилась возможность выбирать подходящий по размеру свободный блок и полностью его заполнять.

pfg ★★★★★
()
Последнее исправление: pfg (всего исправлений: 1)
Ответ на: комментарий от targitaj

по идее да.
но остаются еще расходы на обслуживание работы файловой системы по формированию запросов и все такое.

рандомное чтение кусков данных с разных концов ssd будет практически идентично по скорости чтению кусков данных последовательно расположенных.

pfg ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.