dd и скорость.

Что за hdd?

копирование с WD10EZEX и WD1005FBYZ. копирование на ST2000DM008 (btrfs). и с обоих дисков при копировании скорость падает. что не так то? bs не помогает (скорость падает с bs 512b,8M, 64M). конечно я могу подождать часа 4 пока запишется образ 1TB. но мне хотелось бы знать в чём проблема.

Наверно это нормально. Это ещё что, я тут неделю разгребал файлы как-то (копирование нонстоп было).

Потом я просто купил диск у которого линейная скорость под 300 мб/с, намного лучше пошло. Но так и разориться на этих расходниках не долго.

в чём кроется падение скорости?

Первые 8 GiB копируются в память, а потом ядро начинает писать на диск и скорость падает до скорости диска?

скорость диска (ST2000DM008) даже на внутренних дорожках ~120mb/s. т.е сами диски довольно быстрые особенно WD1005FBYZ... если бы дело было именно в диске то было бы понятно всё...

Это диск с SMR

Гугли ST2000DM008 smr

https://www.dns-shop.ru/product/7aec9755895d3330/2-tb-zestkij-disk-seagate-barracuda-st2000dm008/#faq

8ГБ – это кеш с PMR (типа как на TLS SSD есть SLS кеш)

т.е вы считаете что проблема скорее всего в этом?

Так btrfs не очень быстрая, она всегда в самом низу всех бенчмарков. И если там шифрование какое-нибудь, то тоже будет медленно. Чё там по процессору, может не тянет? 70 это очень хороший результат так-то, я могу рассказать как копировал файлы в районе 5-10 мб/с с полной загрузкой процессора.

Да. Пишут, что в btrfs есть какая-то оптимизация под SMR. В чём это заключается не знаю.

вот это ответ на мой взгляд достойный. я конечно этот ST2000DM008 мучал через victoria. но только в режиме чтения. и всё там нормально было (нормально для HDD с снижением скорости к центру диска)

Отличные диски пошли, особенно у сигейта. А почему про smr не написано, они это скрывают?

Ещё отзывы

https://www.citilink.ru/catalog/computers_and_notebooks/hdd/hdd_in/1013006/vopros-otvet/

(интересно, а сколько ещё просто не опубликовано)

btrfs потому что я... ламер. скажем так. я выбирал такое что бы была и «универсальность» и сжатие. скажем так, решил пойти по более простому пути и не указывать сколько через dd свободноый области писать не надо. а просто скопировать ВЕСЬ диск и сжать образ. спорное решение, знаю.

Чтение у SMR обычное, с записью нюансы.

надо было WD RED покупать (хотя я знаю про то что там 5400 RPM). споро но метко.

Кстати, один из признаков диска с SMR – относительно большой для ценового сегмента RAM кэш (типа 256МБ).

Я думаю, что SMR незаслуженно зафукали многие…

И производитель может тихо изменить потроха модели: Их масса 3000DM001 существует

btrfs есть какая-то оптимизация под SMR

Пока нет.

https://btrfs.wiki.kernel.org/index.php/Main_Page#Features_Currently_in_Development_or_Planned_for_Future_Implementation

SMR (zoned block device) support

Очевидно у вас 8Гб памяти и копирование идёт с отложенной записью в кеш. Ну а потом, когда оперативка кончилась, приходится дожидаться, когда диск запишет на себя данные. В dd была какая то опция «писать напрямую, не кешировать», но не факт что она будет работать когда запись ведётся в образ.

Да, и если ваш диск пишет 50+ Мб/сек, то я думаю он не плох. Может не такой резвый, как некоторые современные, но и не тормоз 20- Мб/сек как было не так давно.

З.Ы. Раз уж вам всё ответили до меня, то ставте галочку «решено»

Не так давно было уже 100мб/с. Я бы добавил, «дедуль», но знаю, что ты любитель тормозных одноплатников с флэшкаим и usb говновинтами.

100мб/с было, вот только держалось в совсем уж идеальных условиях. По факту 40-60 всего. Короче неважно как высоко задирают линейную скорость, один хрен в реальной задаче даже на больших файлах она растёт медленно.

«Идеальные условия» это когда ты не копируешь в пределах этого же hdd, или не исключительно ультра-мелкие файлы.

Я бы добавил «дедуль»

Скучаешь по дедушке или был вообще им обделен?

. в чём кроется падение скорости?

1. Заполнение буффера записи в ОЗУ
2. ИМХО ограничение скорости работы контролёра встроенной в него защитой от перегрева.

Потом по окончанию копирования перегрузи компьютер и проверь через sha572sum отсутствие побитых данных.

Ещё ФС не должна быть забита и фрагментирована, а диски не должны сидеть на одной шине. Также никакого сжатия ФС и крупные блоки.

Ты ещё чей виртуал?

Самое актуальное это шифрование, вот уж где простор на словить настоящие лаги ядра. Там совсем говнокод видно.

диски не должны сидеть на одной шине

Ну дедуль, ещё 2008 в ходу был point-to-point sata.

А в 2017 они всё ещё были не везде. И что? Мы говорим не о том, с какой максимальной скоростью бенчмарк мог взлететь, а какие факторы могли его сбить.

не везде

Везде (говноплатники и пень3 в кладовке не считаются).

Да, о факторах: представьте что один из дисков не новый и успел огрести пару секторов в ремап. Например дискзаписи. Например в той области, где находятся индексные данные ФС...

А юсб3 у вас тоже p-t-p sata поддерживает? А драйвер файловой системы где исполняется, на контроллере диска?

Так можно много придумать: например, отключили свет, и скоросто абсолютно всех и любых дисков стала равна меду собой и равна нулю. Абсолютно реальная worst-case ситуация, к тому же.

Я же вроде уже напоминал, что страдалец с одноплатником не человек, и его ждут трудные дни.

Я к тому, что иметь реальных 50М при заявленых 100М это неплохо. Оно может, но не обязано работать быстро.

Вы глубоко заблуждаетесь. Во первых у меня ssd встал на своп и файерфокс обновился до 60, и я больше не страдаю при 5+ вкладок. А во вторых, в сентябре на али появятся те самые 4Гб одноплатники с шиной юсб3, которая в пару раз перекрывает скорость любого современного харда.

Да, и ограничение шины юсб2 оказалось ничем по сравнению с большим количеством iops у самого ssd.

Падение скорости к концу диска это нормально, так устроены блины.

но по какой-то причине непонятной мне первые ну… 8 GB копируются на скорости 120мб/с+. после чего скорость начинает падать до… 70мб/с.

(Хоть ОП прочитай внимательно)