LINUX.ORG.RU

Зависание при нагрузке на HDD

 


1

2

Продолжая тему пятилетней давности Зависание (swap, нагрузка на HDD) при ОЗУ 80%+

Когда-то был один старенький HDD и 4ГБ ОЗУ. Файрфокс на swap постоянно вешал намертво систему. Ну типа HDD отстой, ОЗУ мало.

Ну что же, купил для Фокса 16ГБ озу и сделал RAID1 из двух НОВЫХ терабайтников Терабайтный HDD показывали 32мб Swap отключил (хотя на диске выделил на всякий случай 18ГБ), но Фоксу на это наплевать. Смог уменьшить проблему частой очисткой памяти в Фоксе.

Но появился новый источник - копирование файлов с раздела на раздел, через MP4box - он из TMP на другой раздел, с EXT4 на EXT4. Систему подвисает полностью, но достаточно быстро отпускает. Иногда рывками, иногда на пару секунд, иногда секунд на 10 (все варианты могут быть во время одного процесса, зависит от размера файла).

При копирование через Дельфин зависаний не замечал вроде. А вот MP4box почему-то вызывает подвисания.

Что ещё надо Линю? Масдай и SSD не предлагать.

Может есть какая волшебная команда, чтобы ограничить скорость записи на отдельные потоки? Или появились какие новые рецепты по решению данной проблемы? (помню что это старый баг, который много лет не могут/не хотят решить, номер бага не помню) Пробовал давно собирать ядро, но танцы эти мне не понравились, не для меня. Там больше проблем после этого, то VB не запускается, то вообще печаль беда после обновления ОС.

ОС кУбунту



Последнее исправление: BaN (всего исправлений: 1)

Ответ на: комментарий от BaN

На текущий момент вот эти конфиги показали себя почти нормально.

vm.overcommit_memory = 2
vm.overcommit_ratio = 90
vm.dirty_bytes = 2097152
vm.dirty_background_bytes = 2097152
vm.swappiness = 90
vm.vfs_cache_pressure = 90
vm.min_free_kbytes = 1048576

Но приложения начинают ругаться на недоступность памяти при 70-71% ОЗУ. А Firefox просто слетает на йух без предупреждения при этих 70%. Вопрос: как поднять это до 95-98% и увеличить сброс в SWAP чуть больше.

На скрине https://i.imgur.com/q2KqK3u.png потребления ОЗУ видно, что вылеты освобождают ОЗУ не сильно. SWAP занят всего на 1% за 16 дней uptime.

BaN
() автор топика
30 января 2021 г.
Ответ на: комментарий от BaN

Разработчики Убунты прикалываются, троллят пользователей?

В новогодние праздники кое-как обновился до 20.04, пришлось гугла с бубном вызывать, чтобы апнуться из архивов.

До этого долго сидел на 18.10. Но в ней, как оказалось, разработчики Убунты сломали FileZilla, а я думал почему фтп с TLS не работало, думал проблемы у хостеров.. Решил обновиться полностью.

И опять фризы, опять смертельные зависания уже без нагрузки на HDD (несколько секунд нагрузка и потом тишина, только висяк). Два зависания за неделю. Выше озвученные конфиги уже не работают. На языке только нецензурные слова крутятся.

Завис конкретный произошёл второй раз, потому что попытался открыть PNG 190мб 65k на 35k пикселей (по ссылке не она, а скрин) https://i.imgur.com/gWYFUAU.jpg

Какой ещё пингвин есть юзерфрендли?

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 2)
Ответ на: комментарий от mord0d

Низкооборотистые харды будут тормозить

Тормозит ГУЙ, когда с терабайтниками работают вообще не связанные с гуем процессы.

hakavlad ★★★
()

SSD не предлагать

страдай, чё

anonymous
()
Ответ на: комментарий от hakavlad

а файлы гуя не на том же диске лежат, ммм?

anonymous
()
Ответ на: комментарий от BaN

Какой ещё пингвин есть юзерфрендли?

Ничего лучше нет – только страдать тебе. На HDD уже все забивают.

Зависание при нагрузке на HDD (комментарий)

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 1)
Ответ на: комментарий от anonymous

У меня он не слетает, а просто вкладку не откроет новую если памяти нет, ну или вкладка с бесконечной лентой упасть может. Остальные вкладки работают

anonymous
()
Ответ на: комментарий от BaN

Вопрос: как поднять это до 95-98%

Вместо запрета оверкоммита используйте юзерспейсный киллер - earlyoom или nohang.

Для earlyoom конфиг -m 5 -s 100 будет означать, что корректирующее действие произойцдет, если доступной памяти меньше 5% всне зависимости от объема свободного свопа.

А для свопа используйте zram. Ко всему прочему рекомендую prelockd.

См также Просто оставлю это здесь: Игра в supertux2 с множественными `tail /dev/zero` в фоне без зависаний

hakavlad ★★★
()

Что ещё надо Линю

core i3 3110m + 8Gb ram + 256 ssd sata3 + zram + ubuntu 20.04.

Ничего не тормозит. Работает быстро. Работает: firefox 84, qemu/kvm, phpstorm. На десяточке тормозит, ибо памяти ей не хватает.

anonymous
()
Ответ на: комментарий от hakavlad

А можно подробнее про связь ГУИ с постоянными фризами фокса? Ну предположим фриз произошёл при записи, сва(о)пе. А дальше уходит в полный завис потому что захотел SSD? Отдавать на растерзание SSD, который не любит частые перезаписывания?

И сейчас вот ОЗУ полупустая https://i.imgur.com/xvRsOIs.png, но всё лагает, это тоже проблема в HDD?

А раньше всем хватало -640кб- 512Мб ОЗУ и скорости HDD 5400.

Flameshot ещё тормозит теперь. Такое ощущение, что настало время переустанавливать пингвина, как маздая раз в полгода.

@hakavlad ставил я ZRAM (вроде писал выше) - ничего не меняется, только всё хуже становится. Что касается earlyoom или nohang - то до обновления оно и так начало работать, по конфигам озвученным ранее, Фокс убивало, а другие приложения ругались. Вроде вздохнул с облегчением. А сейчас после обновления ад начался.

BaN
() автор топика
Ответ на: комментарий от BaN

Отдавать на растерзание SSD, который не любит частые перезаписывания?

и сколько байт в месяц пишет благородный дон на свой неSSD?

// спуфинг излечился, но дело его живёт, лол

Ford_Focus ★★★★★
()
Ответ на: комментарий от BaN

Какой ещё пингвин есть юзерфрендли?

WSL

wxw ★★★★★
()
Ответ на: комментарий от iZEN

NVMe SSD (PCI-E x4 в M.2)

Недавно покупал SSD и исследовал рынок. Пришёл к выводу, что в этом формате нет смысла. Нужно покупать Samsung 870 EVO SATA. По скорости в важных нагрузках он практически не уступает NVMe моделям. По долговечности и цене это оптимальный вариант. NVMe модели выигрывают на линейных операциях и на случайных с QD32. Но это вырожденные случаи, на практике не интересные. Единственный диск, который способен выдать ощутимо большую производительность это Optane. Но он слишком дорогой.

Legioner ★★★★★
()
Последнее исправление: Legioner (всего исправлений: 1)
Ответ на: комментарий от anonymous

Консолехолопы издавна отличались отменной глупостью и транжирством. Пекабояре показывают пример разумной бережливостью и мудро инвестируют сэкономленные деньги.

Legioner ★★★★★
()
Ответ на: комментарий от Legioner

инвестировать во что? ну выкроил ты копейки, а все остальные компоненты у тебя допустим уже куплены на том же уровне diminishig returns

anonymous
()
Ответ на: комментарий от Legioner

NVMe стоит предпочесть хотя бы за отсутствие проводов. Только не надо про SATA M.2, скоро их будет просто некуда совать.

anonymous
()
Ответ на: комментарий от anonymous

SATA стоит предпочесть хотя бы за простоту охлаждения. Я не знаю, какой идиот додумался ставить греющуюся микросхему вплотную к плате.

А провода это не проблема. Ты же не в айфон ставишь этот SSD.

Legioner ★★★★★
()
Ответ на: комментарий от Legioner

уже куплена, тоже такого уровня, что регистранты на лоре рассказывают, что мощнее не очень-то нужна

ещё предложения есть?

anonymous
()
Ответ на: комментарий от Legioner

в sata неизвестно, какой тепловой контакт имеет микросхема с корпусом ssd. наиболее вероятно херовый, через толстенную термопрокладку как обычно любят делать. радиаторы для nvme идут уже в комплекте с платами или покупаются, можно воткнуть их в pci-e слот через переходник если очень хочется

anonymous
()
Ответ на: комментарий от BaN

У людей нормально работает и не тормозит, у тебя нет. Значит ты что то делаешь не так. И вместо того чтоб определить причину плачешься на форуме.

anonymous
()
Ответ на: комментарий от anonymous

при неограниченном бюджете можно покупать неограниченно дорогое железо, реальность же полна разочарований

Ford_Focus ★★★★★
()
Ответ на: комментарий от anonymous

sata ssd не обогревается видеокартой, под радиатором которой обычно оказывается слот m2

sata ssd может обдуваться корпусным кулером

в общем, m2 nvme - хорошо, но есть нюансы

Ford_Focus ★★★★★
()
Ответ на: комментарий от Ford_Focus

у меня m2 над видеокартой. тут как обычно ссзб

anonymous
()
Ответ на: комментарий от Ford_Focus

бюджет всё ешё ограниченый, просто не на уровне бомжа

anonymous
()
Ответ на: комментарий от Legioner

Ну не вижу смысла в SSD. Абсолютно. Ещё раз, давайте для закрепления темы, того что происходит на текущий момент уже много лет (BDSM рулит):

  • Как раньше уже нет бесконечной записи на диск. Раньше была и можно было оставить комп на полчаса - лампочка будет гореть, диск трещать, а система висеть и ничего не сделать. Как тут поможет SSD? Покупать чтобы сдох за 2-3 года? Кстати, с полным отключение SWAP, и даже удалением раздела - ничего не менялось. Как и 18 гб сейчас, который заполняется на 2-3% только.

  • Но выше озвученная проблема (и другие) была решена почти полностью конфигами. До обновления в НГ праздники всё было нормально, но радость длилась недолго. Теперь происходит следующее: система в течение 10-15 сек лагает дико, подвисания по 2-3 сек, диск начинает жужжать и зависание полное, нагрузка на диск пропадает (не жужжит, лампочка не горит). И это при 70%, хотя swappiness 90%. Что даст SSD? Более быстрое зависание, без лагов?

  • Следующей что имеем. ОЗУ 16 Гб. Считаю это ДОХЕРА! ОЧЕНь ДОХЕРА! Я в игры особо не играю, разве что рогалики. И раньше swappiness 90% работал и более менее жил. Даже Alert делал при 85% и руками убивал приложения ненужные (тогда ещё Крыса была, вместо кед и была та же проблема, а xUbuntu 14-16 годов). А сейчас виснет всё напрочь при 70%. Возникает логический вопрос: -нахера козе баян- зачем 16гб, если используется только 70% и Убунту вместо планомерного скидывания ненужных блоков в swap в фоне просто виснет? Что даст SSD?

  • Фризы Фокса это, думаю, смежная проблема, так как настройка конфига помогала. Я в нём уже всё внутри отключил, чтобы не юзал дисковые кеши. Но видно, что фризит каждые N секунд пока я пишу. Пять слов и подвисание и диск дёргается. Я писал ранее подробности. Заполнено озу всего на 68%. Фокс занимает 34% (не будем оффтопить, что ФФ дерьмо прожорливое, для него 16 Гб ОЗУ и покупал, без него мне 4 Гб за глаза, даже при работе в VB с CorelDraw…многие для ыгор столько не покупают). Также сейчас Флеймшот глючит после обновления, но пока не разбирался. Это оффтопик, не будем про него, может переустановить просто надо.

Поэтому я уверен на 100%, что SSD не поможет. Ап до 64гб ОЗУ, из которых будет задействовано только 45 (70%) решит проблему только на пару лет. А потом опять 640кб не хватит.

@anonymous так расскажи как найти причину. Это проблема массовая. Даже на лурке есть страничка. ОС - это не игра сделанная на коленке из говнокада, тем более с системными проблемами. Если у д’Артаньяна работает как надо, это не значит что остальные дураки.

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 1)
Ответ на: комментарий от BaN

Ап до 64гб ОЗУ, из которых будет задействовано только 45 (70%) решит проблему только на пару лет

Не знаю, как я пользуюсь Firefox 60 с 1.5 GB RAM. Вы просто зажрались, видимо. Может быть 64 бит проблемы? На x86 все нормально.

Firefox может тормозить, если печатать в гуглопереводчике. Так как каждая буква, это запись в истории > обращение к диску. Между прочим, в хромиуме такой дичи нет и работает он с гуглосервисами лучше.

anonymous
()
Ответ на: комментарий от BaN

Ну не вижу смысла в SSD. Абсолютно

Беда с башкой у регистранта. Впрочем, ничего нового.

anonymous
()
Ответ на: комментарий от anonymous

с 1.5 GB RAM

Когда-то и 512 мне хватало. Я заметил, что чем больше ему даёшь, тем больше он сжирает и не успокаивается. Справедливости ради надо уточнить что висят не загруженные штук 50 вкладок, загруженных десяток. Плагины Адблок и Ноусрипт. Это всё сказывается, но 4 гига (на текущий момент) - это всё равно перебор для него. И чем дольше он не перезагружается, даже если не превышать 10 вкладок одновременно, тем больше он будет отъедать.

Но речь тут не за это говно огненное, а за поведение Линукса, свопа и зависания. ОЗУ можно забить и другими методами под завязку.

Может быть 64 бит проблемы

Всё может быть.

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 1)
Ответ на: комментарий от BaN

Винда лучше себя ведет. Хромиум съедал все 4 Гб и ничего не тормозило.

anonymous
()
Ответ на: комментарий от anonymous

Стандарт NVMe ничего не говорит о наличии или об отсутствии проводов. U.2 – тоже NVMе, но при этом с проводами. К тому же лучше пусть будут провода с вынесенными накопителями, чем лепить всё на свете на несчастную плату, на которой часто и без того живого места нет. Вот в неттопах или ноутбуках от накопителей формата M.2 (а как я понимаю под NVMе ты именно это имел в виду) действительно есть какой-то смысл, особенно если это сделано как в в некоторых неттопах Леново, в которых M.2 разъёмы расположены с обратной стороны платы, что очень удобно. Во всех остальных сценариях я не вижу в M.2 никакого смысла. Абсолютно бестолковый формат. Разве что использовать их в составе, например, вот такой штуки: https://www.qnap.com/i/_attach_file/product/photo/800_500/398_1565944859_QDA-U2MP_bottom_open-03.png?v=3

anonymous
()
Ответ на: комментарий от BaN

Как минимум SSD даёт желанную тишину, плюс более отзывчивую в целом систему. А для отказоустойчивости можно использовать raid (да, дорого, но оно того стоит).

anonymous
()
Ответ на: комментарий от anonymous

В простое HDD шумит сильнее кулера процессора. Если корпус открыт.

anonymous
()

Активировал zswap, чуть улучшилась жизнь. Теперь хотя бы SWAP реально работает и там уже 1.5 гига хлама. И OOMKiller наконец-то отрабатывает опять, как было до обновления.

Но одна дичь осталась - это происходит при 60% ОЗУ!

Кто знает как поднять наполнение ОЗУ до 95-100%?

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 1)

ОЗУ так и не получилось заставить работать более чем на 50%. Положительного тут, что за несколько дней не было ни одного серьезного фриза. Но смысл тогда от ОЗУ, если она используется на половину. Своп засоряется на 5% и не более.

Только во время запуска игры получилось её забить на 85%.

Решил ради интереса отключить раздел Свопа, чтобы больше в ОЗУ оставалось. При запуске ОС и старте браузера забивается порядка 20% с небольшим. И после ничего запустить нельзя. 25% и всё что выше убивается.

Это сюр какой-то. :facepalm:

BaN
() автор топика
Ответ на: комментарий от anonymous

Значит говно твой кулер и/или настройка кривой оборотов к температуре.

anonymous
()
Ответ на: комментарий от BaN

Активировал zswap, чуть улучшилась жизнь.

Странно, что при этом zram никак не помогает. Может что-то неправильно делаешь? Попробуй ещё раз, отключив весь тюнинг.

greenman ★★★★★
()
Ответ на: комментарий от greenman

Ну делал всё по инструкции. Zram вёл себя точно также, как и если его нет. Может чуть дольше шло наполнение. Но в итоге при заполнение ОЗУ всё вставало колом. С zswap вообще подобного сейчас не наблюдаю. Первое время убивало приложения (FF или игру при примерно 80% ОЗУ). Zswap работает прекрасно (см.ниже), поэтому тестировать опять zram пока не вижу смысла, а то опять всё сломаю.

Сейчас больше 50% не могу заполнить ОЗУ. Несколько дней всегда менее 50% (40-45 в среднем). Только при запуске игры удавалось переваливать за отметку 80%. Не понимаю почему.

Отключал swap, не только для попытки загрузить память, но и думал снизить дёрганье диска. Слишком часто он дёргался. В итоге я ещё покрутил конфиги (см. конец сообщения), увеличил тайминги и байты и работа HDD теперь меня также устраивает.

В целом сейчас пока что работает хорошо. На текущий момент можно сказать что поборол изначальную проблему. Зависаний нет, фризов серьёзных тоже нет. Бонусом HDD тише травы. Может быть разве что небольшие задержки (буквально в 1 сек и не всегда) при переключение больших приложений, в общем совсем незначительные. Проц начал конечно чуть больше грузиться иной раз (кулер ускоряется), но какой-то закономерности не увидел (утром часто была загрузка в районе 10%, а сейчас стабильно 3-4% и на пониженных Ггц, чего не было давно). Но пока рано делать выводы, всего 15 часов прошло.

Но вот 50% мне не очень нравится. Своп, кстати, за эти 15 работы компа тоже пустой (150 МБ).

Есть предположение, что заполнение ОЗУ - это настраивается в самом zswap. Также есть предположение что он как-то ограничивает максимальный размер памяти на одно приложение. Ещё могу упомянуть, что включил я lz4 компрессию.

На текущий момент вот такие конфиги

vm.overcommit_memory = 2
vm.overcommit_ratio = 99
vm.dirty_bytes = 5097152
vm.dirty_background_bytes = 5097152
vm.dirty_ratio = 20
vm.dirty_expire_centisecs = 30000
vm.dirty_writeback_centisecs = 15000
vm.swappiness = 1
vm.vfs_cache_pressure = 90
vm.min_free_kbytes = 1048576

В общем все dirty сегодня поднял в 2+ раз. Может ещё увеличу. Но на текущий момент это лучше что было за последние 6 лет существование этого компа. Тьфу-тьфу-тьфу.

PS Оффтоп. Пока до сих пор не понимаю что с Flameshot. После обновления Убунты по 30 сек копирует в буфер скриншот. Думаю всё таки это связано с изначальной проблемой копирования буфера со второго раза, о которой писал ранее в этой теме.

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 4)
Ответ на: комментарий от BaN

Спустя 4 дня аптайма наконец-то ОЗУ заполнилось на 76-77%. Своп до 1.8 ГБ. Как обычно это был FF. И его перезапуск сильно понизил эти значения.

Радует что зависания так и не случилось. Только опять начались лаги в FF (после перезагрузки FF, разумеется, всё нормализовалось; надо попробовать ещё в about:memory сбросить).

На этих 76-77% CPU начал немного грузится до 10-14% (ранее бы точно колом встал).

Видно было что в своп данные больше не падали. ОЗУ прыгало на этих процентах. То есть, могу с большой уверенностью предположить, что zswap начала гонять страницы внутри памяти между сжатой областью и расжатой и не знает куда ему деваться. И ОЗУ не увеличивается, и в своп не скидывает. В общем как обычно работа через Ж и не понятно что дальше с этим делать.

BaN
() автор топика
Последнее исправление: BaN (всего исправлений: 2)

При копировании через Дельфин зависаний не замечал

странно, у меня наоборот, дельфин при копировании жрет ресурсы,как не в себя,бывает даже курсор подлагивает. Большие объемы через mc копирую, там такого нет

d09
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.