Почему при записи большого количества информации скорость падает ниже плинтуса и одно ядро начинает долбить в сотку, а sync висит десятки минут?

Скорее всего потому, что ничего подобного не наблюдается. Только вчера записывал 128Гб флешку под завязку, скорость стабильна, никто не висит десятки минут. Ядро, конечно, под %wa, но этого избегать пока не научились. Хорошо ещё, что на других ядрах колом всё не встаёт, как в винде.

Арубээ, где версия ядра и параметры sysctl ?

Только что писал образ на «флэшку», никаких подвисаний при работе с компьютером не наблюдал. Если и была «долбёжка в соточку», как молодёжь говорит, то мой ПК её даже и не заметил. Arch, Zen-ядро, всё прекрасно.

А вы, товарищ ТС, подавайте версии ядра, какой дистрибутив, всё в студию!

Скорее всего потому, что ничего подобного не наблюдается. Только вчера записывал 128Гб флешку под завязку, скорость стабильна, никто не висит десятки минут.

Да щаз, висеть при длительной записи на флешку - это типично. Не десятки минут, но пару-тройку запросто. Только дело, по-моему, не в линуксе, а в самих флешках. Они перегреваются. Если дуть на флешку они раздупляются быстрее.

Только дело, по-моему, не в линуксе, а в самих флешках. Они перегреваются. Если дуть на флешку они раздупляются быстрее.

Вот интересно, додумается ли кто-нибудь «водянку» для «флэшки» сделать.

Так если скорость записи на флешку падает, то тогда почему два ядра на 100% грузит. Наоборот же должно быть.

Вот интересно, додумается ли кто-нибудь «водянку» для «флэшки» сделать.

Хватило бы даже просто нормального металлического корпуса.

Самое смешное, что я как-то специально написал программу и пробовал писать с разной скоростью. Можно подобрать такую скорость, чтобы запись была непрерываной. При этом общая скорость может быть даже быстрее, чем с перегревами.

Они видимо в цикле ожидают ответа от контроллера.

Всё потому, что флешка слишком медленная (наверное меньше 10-20 мегабайт в сенкунду), и потому что линукс не умеет делать кеш на запись для съемных или медленных устройств небольшим, как это делает венда.

Недавно вот работал с образами Clonezill’ы на флешке которые ещё и зашифрованы были (eCryptfs вроде-бы), так там настолько ужасная скорость, что система после почти моментальной записи пары гигов информации уходила в астрал на полчаса, висло всё наглухо вообще.

Когда починят «ускоренное» копирование файлов в Linux? (комментарий)
когда-то мне помогало такое. а на новых ядрах и без этого всё замечательно.

Всё потому, что флешка слишком медленная (наверное меньше 10-20 мегабайт в сенкунду), и потому что линукс не умеет делать кеш на запись для съемных или медленных устройств небольшим, как это делает венда.

Кстати, и это тоже, но такое сразу видно. К сожалению, они еще и банально перегреваются. У меня есть флешка на 64Гб, на которую примерно до 1200 Мб можно спокойно писать, а все что больше начинает тормозить, если перерыв/паузу не сделать.

Да щаз, висеть при длительной записи на флешку - это типично

Я редко пишу кучу инфы на флешки, по работе у меня вообще две старющие флешки на 4гб usb2 используются, это сложно назвать большими объёмами. Но вот вчера пришёл товарищ с рандомной флешкой на 128, забили её до отказа, метров 300 всего свободного осталось. Скорость стабильно в 20Мб/с держалась все полтора часа записи. Пальцы, правда, действительно, поначалу отдёрнул, когда вытаскивал.

Ну значит очень хорошая флешка была. Или запись все же не совсем непрерывной была. Или не следили и не замечали периодических фризов на несколько секунд.

Кстати, и это тоже, но такое сразу видно.

Ну да, почти сразу. Отправляешь на неё много гигов (даже обычным dd без fsync), а потом ждешь ещё пару минут пока флешка продуплится. Когда поверх такого устройства ещё и тормознутый в линуксе FAT32 а поверх него ещё в один слой располагается какая-нибудь экзотика типа этой вот eCryptfs - это всё приводит к очень странным последствиям. Иногда вся система колом встает на время.

Или не следили

Нет, конечно, кто будет полтора часа непрерывно пялиться в синий фон мс. Но средняя и текущая скорость в окошке mc при каждой проверке раз в 10-15 минут совпадали, что сильно говорит в пользу непрерывности.

система после почти моментальной записи пары гигов информации уходила в астрал на полчаса, висло всё наглухо вообще

Когда-то и у меня так висло при записи образов. Тогда я ещё «убунтой» пользовался. С применением oflag=sync всё это прекратилось, скорость записи стала ровной, а подвисаний ОС вообще больше не было.

фризы происходят когда кэш флэшки набило под завязку и она раскладывает всё по местам, её вунутренняя работа, линукс тут не при чём. И «пумпаж» оттуда же.

[663620.909554] usb 1-1: Product: Ultra USB 3.0
[663620.909555] usb 1-1: Manufacturer: SanDisk
[663620.909556] usb 1-1: SerialNumber: 010130ecae35d2270baf31a296665414e2f7f7bae03fdaaee8a21a02bd3efe40eefa00000000000000000000827d7b2500884b009155810718a96b1f
[663620.910318] usb-storage 1-1:1.0: USB Mass Storage device detected
[663620.910645] scsi host7: usb-storage 1-1:1.0
[663621.919124] scsi 7:0:0:0: Direct-Access     SanDisk  Ultra USB 3.0    1.00 PQ: 0 ANSI: 6
[663621.919974] sd 7:0:0:0: Attached scsi generic sg4 type 0
[663621.921206] sd 7:0:0:0: [sde] 240353280 512-byte logical blocks: (123 GB/115 GiB)

Вот флешка

Почему при записи большого количества информации скорость падает ниже плинтуса и одно ядро начинает долбить в сотку, а sync висит десятки минут?

Потому что линукс до сих пор не научился в writeback throttling. Отдельные программы могут с переменным успехом обкостыливать этот прискорбный факт самостоятельно, но в общем случае это именно так.

Как это решаю лично я —

sysctl vm.dirty_background_bytes=$((16*1024*1024))
sysctl vm.dirty_bytes=$((128*1024*1024))

Всем остальным ИТТ читать man sysctl (точнее, ядерную документацию на vm.*) до посинения.

Если дуть на флешку они раздупляются быстрее.

Вспомнился старый lifehack с нечитабельными сидюками и морозильником.

Вот флешка

Кстати, если флешка умеет usb 3.0, то 10-20Мб/сек это мало.

до посинения.

было бы еще там чего понятно написано. или я где-то не там смотрю ? поделись линком.

Хорошо ещё, что на других ядрах колом всё не встаёт, как в винде.

Не звизди

У меня пересобранное ядро 5.7. В качестве шедулера для жестких дисков — bfq, для твердотельных накопителей — mq-dedline. Волосы мягкие и шелковистые.

а на новых ядрах и без этого всё замечательно.

Хм. Ну, пойду, закомментирую в sysctl.conf.

У меня это дерьмо только на убунте 19.10 пропало. Тоже висло все причем на разных пк. Не умеет Линукс на нормально копировать с быстрого на медленный девайс.

Не надо, под виндой таких проблем нет и не было. Вешать мог только оптический привод или дискета, и только проводник.

привод по причине PIO, дискета по причине обработке «дорогих» аппаратных прерываний

подвешавало может только и «проводник» (не спец чо там и как), но так даж звук заикался в плеере в ети моменты и картинка указателя мыша не движилась.

самые прикол в том, что про PIO узнал лишь только во времена хр. тогда почему-то шинда сбрасывала его в етот режим. нужно было какое-то колдунство из faq-ка применять где-то в регистре на udma режим ему менять. иначе никак.

Оно самое. Связано всё с тем, что у linux-ов плохо с распределением ресурсов железа.

Это копипаста или ты пьян? Столько ошибок на один пост я давно не видел. Аж 8 грубых ошибок насчитал, не считая предложений с маленькой буквы и просторечий.

Твоя флешка гогно

под виндой таких проблем нет и не было

Были и есть. Можно, конечно, спрятаться под одеялком и не замечать, что при копировании на флешку вкладки в браузере могут переключаться по две секунды, а проводник может запускаться по 10 секунд, и считать это нормальным, но убегание от реальности никогда ни к чему хорошему не приводило.

Ну врать-то…

Если ты пишешь на тормозную флешку, то на Windows такого никогда не будет.

ЗЫ: но со сторонним софтом, ака Касперским всё может быть. Даже никаких флешек не надо 🤣

под виндой таких проблем нет и не было. Вешать мог только оптический привод или дискета, и только проводник.

Только в Windows XP такое видел. Да, бесило. А её многие утята любят (типа самое труе), а так куда не ткни..

С Windows Visata наконец-то сделали многозадачным проводник.

У меня так и с SSD, еще к середине начинает интерфейс зависать.

Если ты пишешь на тормозную флешку, то на Windows такого никогда не будет.

+1

Я тут вон 30 ГБ файлов кидаю (крупные комиксы) на быструю флешку USB 3.0.

Что-то такое ощущение, что ядерный exFAT даже тормознее FUSE.

ОС не тормозит, но полчаса прошло. Какой-то капец полный. И вроде как половины нету.

Бред. Нету такого у меня и не было ни на одном компе или ноуте. Все время юзаю флешки и только под линуксом испытываю такие проблемы. Может у тебя порты битые...

в шинде с 95 можно точно в диспечере задач добровольно-принудительно переключить в UDMA.

Вообще, такое чувство что все тормоза флешек от унылого железа. Как только вставляю любую флешку/внешний диск в нормальный порт - скорость супервысокая сразу. Как только в раздолбанный - сразу заикается, тормозит.

exFAT даже тормознее FUSE

300 файлов на 30 ГБ копировались на USB 3.0 с exFAT системой три часа…

Какой-то капец. Что-то намутили в этом ядерном exFAT. FUSE точно быстрее был

Debian 9, Debian 10. Ничего не подвисает уже лет эдак 5. Причем пофиг на все эти ваши оптимизации" в sysctl.conf (когда-то выставлял, потом все убрал). Постоянно пишу образы на флешки. Правда, они все у меня Transcend (не знаю, имеет ли это значение). Ах да, мать Asus, проц AMD 2.9, RAM 4.

Мне на 9-10 дебиане тюнинг требовался, сейчас вот на тестинге сижу. Но это еще от железа зависит, на некотором железе из коробки никаких проблем.

это еще от железа зависит

Думаю, да. Просто порой реально странно читать, как народ жалуется на стояющую систему колом со спеками 32 оперативы, последними процами и ссдшниками...
Я в свое время к железу относился довольно трепетно: это должен был быть нормальный бренд со всеми вытекающими совместимостями всех модулей, тщательно изучались все чипы, их тайминги и т.д. При этом комп никогда не был сверхмощным, крутые игрухи не тянул, но во всем остальном вытягивал на ура.
А сейчас что с железом? Дичь китайская, всякие «ASRock», у которых то порты юсб постоянно глючат, то еще что-то. Мне страшно думать о следующем апгрейде. Я даже не знаю, что теперь из себя представляет Asus...

Просто порой реально странно читать, как народ жалуется на стояющую систему колом со спеками 32 оперативы, последними процами и ссдшниками…

Ну элементарно – линукс же…

А всё железо им виновато… А у некоторых как бэ и дуалбут даже стоит – сравнить могут.

А при чем тут линукс? Тут про фризы и дуалбутчики пишут. У меня, например, фризы были лет 5-6 назад еще на древних бубунтах. С тех пор у меня Debian и все нормально.

А, нет, вру. Уже лет 10... Е*ать, время летит (

-=:=-

В свете это треда я тут почитал
И оттуда решил погуглить «mq-dedline cfq compare ssd»
Похороникс вывел на вот такие тесты
А реально, стоит ли переходить с cfq?
Есть ли от этого блудняка общий профит для системы с корнем на ssd? Не будет ли «tabletka» ради флешки причиной падения скорости чтения или падежа виртуальных тесто-попугаев на ssd? И как это повлияет на механику?

Во. Теперь не железо виновато. А во всём Ubuntu…

Ubuntu

Ни слова плохого не сказал, тем паче, что от нее у меня только приятные воспоминания. Первый линух все-таки. Учитывай версию (7.04, кажется). Да и было это еще во времена 2.6.х ведра.