LINUX.ORG.RU

Debian. Лаги при копировании файлов

 , ,


1

1

Всем привет. Система Debian 8.1 с KDE 4. При копировании множества (великого множества) мелких файлов (а также их удаления), наблюдаются лаги в интерфейсе (к примеру тормозит анимация прогресса копирования и рамка выделения на рабочем столе), в редких случаях может начать подвисать курсор (замечено при копировании с Ntfs раздела на флешку). Проц Core i3-550, оперативки 8 гигов, планировщик CFQ, своп 2 гига. Читал www.linux.org.ru/wiki/en/User:shimon/12309 пробовал применять у себя. После установки vm.overcommit_ratio = 80 при загрузке падала плазма. Пробовал выставить vm.dirty_bytes = 2097152 и vm.dirty_background_bytes = 2097152, но так как проблема у меня возникает не всегда, проверить не удалось. Правильно ли я понял, что тут нужно указать количество своей оперативки в килобайтах? Что можно подкрутить в /etc/sysctl.conf чтобы убрать подлагивания? Стоит ли сменить планировщик на, скажем, Deadline (насколько я знаю, он в Ubuntu по умолчанию)?

забей, у людей либо этого бага нет (как у меня), либо есть/им так кажется и они занимаются не приносящим плоды плацебо без попытак установить причины

хотя можешь посмотреть perf top во время тормозов

anonymous ()

Ну планировщик проще поменять и посмотреть, чем ждать что здесь напишут.

Так как ntfs через user-space, то при больших копированиях просто сжирается процессор, а не диск, а так как KDE при этом крутит анимацию, то ему и не хватает. Должно немного помогать понижение приоритетов (renice, ionice) процессу ntfs-3g.

Я бы поднял объём свопа и добился, чтобы работало с ″vm.overcommit_memory = 2″, но, ИМХО, в вашем случае это особо не повлияет.

mky ★★★★★ ()

Хм. Поставил копироваться каталог с несколькими тысячами мелких файлов с ext4 на Ntfs - лагов нет. Нагрузка на проц 25%. Памяти ест немного. Ничё не понимаю. Утром копировал с внешнего винта на ext4 - были лаги в анимации. А создавал позавчера загрузочную флешку с оффтопиком - вообще подвисала система пару секунд.

Sunderland93 ★★★★★ ()

Это, по всей видимости, проявление общей проблемы при копировании с быстрого устройства на медленное. KDE и прочая нагрузка на процессор здесь совершенно ни при чём. А «при том» то, что один процесс забивает нахрен всю квоту грязных страниц в дисковом кэше, и следующий же процесс, вознамерившийся что-то записать (или, того хуже, сделать fsync) вынужден ждать записи в медленное устройство.

Как лечить — достоверно неизвестно. Попробуй поиграться с отношением значений vm.dirty_bytes и vm.dirty_background_bytes (т. е. хотя бы установить не одно и то же значение).

intelfx ★★★★★ ()
Последнее исправление: intelfx (всего исправлений: 1)

Мне помогло это.

Вт июл 14_03:33 $cat /etc/init.d/sysoptimus 
#!/sbin/runscript
# Copyright 1999-2015 Gentoo Foundation
# Distributed under the terms of the GNU General Public License v2
# $Header:$

extra_started_commands="reload"

pidfile=/var/run/sysoptimus.pid

depend() {
        use localmount
}

start() {
        ebegin "Starting sysoptimus"
        X_USER=`awk -F: '/\/home\//&&!/nologin/{i=i?i","$1:$1}END{print i}' /etc/passwd`
        i=`pgrep -u $X_USER; pidof X`
        ionice -n 7 -c 3 -p `pgrep -u root -v X` > /dev/null
        ionice -n 0 -c 1 -p $i > dev/null
        renice -n -19 -p $i > dev/null
        renice -n 20 -p `pidof kswapd0` > dev/null
        eend $?
}

stop() {
        ebegin "Stopping sysoptimus"
        start-stop-daemon --stop --quiet --pidfile ${pidfile}
        eend $?
}
reload() {
        ebegin "Reloading sysoptimus"
        start-stop-daemon --stop --signal HUP --oknodo --quiet --pidfile ${pidfile}
        eend $?
}
Вт июл 14_03:34 $
Deleted ()
Ответ на: комментарий от Sunderland93

Утром копировал с внешнего винта на ext4 - были лаги в анимации.

Проверь уровень фрагментации и степень заполненности диска/раздела.

Deleted ()
Ответ на: комментарий от Sunderland93

Использовать консоль.

По крайней мере я иного решения незнаю.

roman77 ★★★★★ ()

Попробовал сменить планировщик на Deadline - начался перекос нагрузки (на одно ядро) и странно вела себя анимация (слишком заторможенно, как в slow-mo)

Sunderland93 ★★★★★ ()
Ответ на: комментарий от erzent

Так а разве это влияет если копировать с другого диска (не системного) на, скажем, флешку? Дома где-то есть хард на 200 гигов, завтра попробую перенести туда систему, ради эксперимента.

Sunderland93 ★★★★★ ()

Короче понял проблему. Только при удалении огромного количества мелких файлов (несколько десятков тысяч) или при их копировании - начинаются лаги. В остальных случаях всё нормально. Вот как-то надо оптимизировать, не знаю, операции с мелкими файлами. Файловую систему менять не хочу.

Sunderland93 ★★★★★ ()
Ответ на: комментарий от Deleted

Просто ещё ни разу не доводилось писать юниты. Ладно, и на том спасибо

Sunderland93 ★★★★★ ()
Ответ на: комментарий от SevikL

В принципе, может, провайдер расширено трактует закон и блокирует сайты, упомянутые в списке экстремистских материалов (что вроде как не обязан делать: http://rublacklist.net/9071/), но тогда у него должен быть заблокирован и youtube и cuntакт. Pastebin там упомянут, но вполне конкретные страницы, мало того, содержимое их давно удалено.

te111011010 ()
Ответ на: комментарий от te111011010

В соответствии с требованиями законодательства доступ к запрашиваемому Интернет-ресурсу закрыт.

Интернет-ресурс запрещен к распространению судом и/или внесен в один из списков:

Федеральный список экстремистских материалов http://www.minjust.ru/nko/fedspisok/

Единый реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространение которой в Российской Федерации запрещено http://eais.rkn.gov.ru/

Реестр доменных имен, указателей страниц сайтов в сети «Интернет» и сетевых адресов, позволяющих идентифицировать сайты в сети «Интернет», содержащие информацию, распространяемую с нарушением исключительных прав http://nap.rkn.gov.ru/

erzent ☆☆ ()
Ответ на: комментарий от erzent

Вопрос, как у тебя провайдер блокирует его через tor, остаётся открытым.

А без тора:

1) Отправь провайдеру приведённое мной выше решение верховного суда о необязательности прямого применения провайдером списка экстремистских материалов, а также укажи, что контент, указанный в списке экстремистских материалов, с сайта удалён, и администрация сайта не имеет к его публикации никакого отношения.

2) Откажется разблокировать — меняй провайдера. УМВР с трёх провайдеров.

te111011010 ()
Ответ на: комментарий от te111011010

у меня 100 мбит/c, халявные 2 белых ip, один ipv6, другой ipv4, телефон( дома есть люди которые придя за него сели, и перед сном выключили),и телевидение 120 каналов, правда кто его смотрит кроме мелкой непонятно. И всё это за 1250 рублей, учитывая что оставшиеся провайдеры это : ростелеком, мтс, билайн, мегафон. То увы всё печально, раньше интерзет был норм провайдер. Но эр-телеком, бандитская контора, вынудил его продать.

erzent ☆☆ ()
Ответ на: комментарий от erzent

один ipv6

Тебя обманули, должны выделять целую подсеть (по-моему, /64).

te111011010 ()
Ответ на: комментарий от te111011010

неделю назад вообще было не войти в тор, сегодня можно войти, но сайты многие в том числе пастебин тупо не грузятся.

erzent ☆☆ ()
Ответ на: комментарий от erzent

Именно сайты из реестра запрещённых? Если да, то даётся мне, что ты используешь провайдерский dns при выходе через tor.

Да, пробовал средства, которыми китайцы обходят блокировку tor?

te111011010 ()
Ответ на: комментарий от te111011010

да пока незачем, если если скоро и правда заблочат сайты с мангой которую я читаю, вот тогда придётся.

erzent ☆☆ ()

Да, это один из вариантов 12309. Да, в большинстве случаев такой его вариант лечится через:

vm.dirty_bytes = 2097152

vm.dirty_background_bytes = 2097152

И кстати это задает лимит буфера записи в байтах, после достижения которого данные срочно из оперативки пишутся на диск. ЯТо-есть у тебя задано 2МБ, что обычно достаточно, но возможно есть смысл увеличить до 4 или 8 МБ, но не более того.

З.Ы. Deadline тоже желателен, но он меньше влияет.

chaos_dremel ★★ ()
Ответ на: комментарий от Sunderland93

Смарт странный. Вроде не смертельный, но странный. Попробуй поменять шнур и разъем на матери.

chaos_dremel ★★ ()
Ответ на: комментарий от chaos_dremel

Я сменю диск для начала. Ибо он уже при включении компа начал выдавать ошибку (видимо быстро сыпется). Заменю диск, а там если проблема останется - буду копать дальше

Sunderland93 ★★★★★ ()
Ответ на: комментарий от erzent

Вопрос на засыпку не по теме. Есть винт (SATA, GPT разметка, HFS+ разделы). Работает давно и без сбоев, но от него идет равномерная пульсирующая вибрация. Смущают еще значения Raw_Read_Error_Rate и Seek_Error_Rate.

http://fpaste.org/244468/

Сколько ему еще осталось жить?:)

zevilz ★★★ ()
Ответ на: комментарий от zevilz

единственный параметр, который настораживает, это:

199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       4

всё остальное в норме

anonymous ()
Ответ на: комментарий от zevilz

для сигейтов и самсунгов всё в пределах нормы, для wd вон аноним правильно заметил. Диск пока в норме, хотя сделать тест через гном диск ещё не помешает.

erzent ☆☆ ()
Ответ на: комментарий от erzent

Тест через гном диск сделал, ничего интересного. Только понять не могу, почему винт так импульсно вибрирует. Слышно в полной тишине и ощущается, если приложить руку к открученному винту или системнику с ним.

zevilz ★★★ ()
Ответ на: комментарий от erzent

еще может по вот этому что скажешь? :) Уже валяется 2 идентичных винта с идентичными симптомами. Начинают глючить и сыпать бэдами через определенное время работы.

zevilz ★★★ ()

Ну что, заменил я диск. Промудохался правда полдня, но по своей вине. Лаги стали значительно меньше, но ещё есть. Теперь попробую тюнинг sysctl

Sunderland93 ★★★★★ ()
Ответ на: комментарий от Sunderland93

Лаги стали значительно меньше, но ещё есть

Теперь мамку смени.

Deleted ()

Выставил такие параметры:

vm.swappiness = 10
vm.dirty_bytes = 4194304
vm.dirty_background_bytes = 4194304
vm.vfs_cache_pressure = 50
однако небольшие подлагивания анимации остались.

Sunderland93 ★★★★★ ()
Ответ на: комментарий от erzent

Шлейфы в порядке, проверил. Сейчас с такими параметрами система встала колом при удалении нескольких тысяч мелких файлов. Буду дальше тыкать

Sunderland93 ★★★★★ ()
Ответ на: комментарий от Sunderland93

Вообще не вкуриваю ситуацию! rm -rf мгновенно всё снёс! Если удалять из кед комбинацией Shift+Delete, то будет полдня сносить. Никто не в курсе, можно как-то изменить поведение KDE при удалении файлов?

Sunderland93 ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.