LINUX.ORG.RU

доколе? ступор при копировании.


0

1

суть такова. есть (2 стула) проблема: при копировании длинных (относительно ОЗУ) файлов любой линукс впадает в глубокий ступор. может, и не любой, но контрпримера не припомню.

например, при копировании полуторагигового двд-рипа на машине с 512МБ озу иногда приходится нажимать ресет.

вот пример для озу 6ГБ:

dd if=/dev/zero of=/media/fleshka/xxx.img bs=1M

через минуту-полторы линукс в глубоком ступоре. даже оом-кила не помогает.

есть подозрение, что при копировании надо явно делать mmap файла небольшими кусками, тогда система не будет уходить в своп. или ещё как-то так. проверю на днях.

★★

Последнее исправление: scaldov (всего исправлений: 1)

12309 наверное. Трейсить надо. Как то >_<

vasily_pupkin ★★★★★
()

Чой-то у вас не так. У меня (1Гб оперативки) спокойно копируются и 10-ти и 20-ти гигабайтные файлы. Скорее всего, флешка «дырявая», либо вообще фейковая (написано 4Гб, а на самом деле там 512Мб).

Eddy_Em ☆☆☆☆☆
()
Ответ на: комментарий от Eddy_Em

>Чой-то у вас не так. У меня (1Гб оперативки) спокойно копируются и 10-ти и 20-ти гигабайтные файлы.

Аналогочно.

Попробуй копировать в другое места, а не на флешку. Мб дело в ней.

Zhbert ★★★★★
()

да у меня даже при локальном копировании глубокий ступр бывает. выходит за пол часа

namezys ★★★★
()
Ответ на: комментарий от namezys

>да у меня даже при локальном копировании глубокий ступр бывает. выходит за пол часа

Байки из склепа.

madcore ★★★★★
()

Погуглите на тему 12309. Довольно неприятный баг, на данный момент не устраненный. Хотя потуги на эту тему имеются.

freebsd-online
()

&^%$#. Я же сказал, что нужно сделать, это так сложно?

no-dashi ★★★★★
()
Ответ на: комментарий от freebsd-online

Как вы достали со своим 12309. Хоть один из тех, кто о нём вспоминает, обладает необходимыми знаниями, чтобы делать вывод, 12309 это или не 12309?

geekless ★★
()
Ответ на: комментарий от Eddy_Em

флешка нормальная, 32ГБ transcend, файлы пишутся и читаются, и не в ней дело. на машине скажем с 512МБ виснет при копировании в nautilus с винта на винт. а вот по scp нормально копирует даже на машине с 128МБ на флешку (n800). Дело видимо в реализации программ копирования.

scaldov ★★
() автор топика
Ответ на: комментарий от Eddy_Em

Кривое ядро, либо дохлое железо.

очень содержательно, а главное - по теме!

scaldov ★★
() автор топика
Ответ на: комментарий от no-dashi

монтируй флэшку с опцией flush, либо выбери ioscheduler noop или deadline

боян. flush тут ни причём. ещё раз: по ощущениям mapping файла вытесняет всё в своп.

scaldov ★★
() автор топика
Ответ на: комментарий от geekless

>Как вы достали со своим 12309. Хоть один из тех, кто о нём вспоминает, обладает необходимыми знаниями, чтобы делать вывод, 12309 это или не 12309?

Внимательно читайте описание сего бага и не нервничайте.

freebsd-online
()
Ответ на: комментарий от scaldov

и ещё раз: выше написано, что с винта на винт (или на флешку) на другой машине то же самое. и винты там нормальные, и флешки тоже.

в начальном посте пример для ОЗУ 6ГБ читаем внимательно - там dd и дырявый файл (т.е., реально на винт и флешку почти ничего не пишется) а система виснет.

scaldov ★★
() автор топика
Ответ на: комментарий от scaldov

только что копировал 10ГБ файл с флешки на винт, ОЗУ-768МБ, окна переключались секунд 10-15, iotop запускался 2 минуты (по часам). и то, запущен был только браузер и терминал. если б ещё evince с kate работали, точно б всё зависло. Да, баг очень похож на 12309.

scaldov ★★
() автор топика

Проверил у себя

$ dd if=/dev/zero of=/media/work/xxx.img bs=1M
13887+0 записей считано
13887+0 записей написано
скопировано 14561574912 байт (15 GB), 283,236 c, 51,4 MB/c
$ mount|grep work
/dev/sdb7 on /media/work type ext3 (rw,errors=remount-ro,commit=0)


Отзывчивость системы падает ниже плинтуса, но не висит. wa 40%-50%. Парадокс во том, что стоит только запустить audacious (и, соответственно, pulseaudio с повышенным приоритетом), как wa падает до 0%-20% и отзывчивость системы значительно повышается.

geekless ★★
()
Ответ на: комментарий от Pterodaktil

Ради прикола скопировал 18 гиговый файл с раздела на раздел. Все нормально. Убунта 10.10

ыы. и зарегился специально чтоб запостить? ради прикола не забыл бы написать сколько памяти. и что значит нормально. я вот тоже вчера перезагрузился, fsck в ручном режиме прогнал - и тоже всё нормально.

да, и линукс это прежде всего ядро, а не убунта ньюфаг.

scaldov ★★
() автор топика
Ответ на: комментарий от madcore

>> да у меня даже при локальном копировании глубокий ступр бывает. выходит за пол часа

Байки из склепа.

Компилирую и разварачиваю архив одновремено - мыш замерает

namezys ★★★★
()

было на старом ноуте такое, на pm965. на qm57 проблема сама-собой исчезла...
кое-как удавалось спасаться увеличением vm.dirty_background_ratio и уменьшением vm.swappiness, а так же, как сказал уже no-dashi, опциями монтирования и отрубанием cfq и(или) ncq... уже и не помню что там оптимально было...
#12309, да...

есть подозрение, что при копировании надо явно делать mmap файла небольшими кусками


есть подозрение, что ты не имеешь представления о чем вообще говоришь

r0mik
()
Ответ на: комментарий от r0mik

есть подозрение, что ты не имеешь представления о чем вообще говоришь

имею более-менее. копирование файла делается через страничный кеш, явно его не видно в юзерспейсе, mmap явно отображает страницы из этого кеша на память в юзерспейсе. я просто предположил, что mmap может влиять на количество страниц в кеше. лезть в исходники пока некогда. если вам что-то известно по делу, то скажите, а не кидайтесь бравыми заявлениями о своих подозрениях.

scaldov ★★
() автор топика
Ответ на: комментарий от Eddy_Em

Я подозреваю, что вы просто донакладывались патчей на ядро.

на работе убунта, 2.6.35-23-generic-pae, дома 2.6.36 с AUFS и squashfs-lzma. поведение совершенно одинаковое => патчи ни при чём.

scaldov ★★
() автор топика

Имею аналогичные проблемы при копировании с hdd на hdd в ubuntu 10.10.

Frakhtan-teh ★★
()

Вы ionice пробовали? В аналогичных случаях только он и спасает

dumal ★★
()

Чего гадать то? запусти профайлер и посмотри что там тормозит.

Но если таки погадать - наверняка дело в сата-контроллере и шине PCI, что ещё может тормозить?

Что вообще на винте может тормозить? только seek. Пробовать копировать с/на ramdisk и с/на раздел без ФС.

gena2x ★★★
()
Ответ на: комментарий от scaldov

Уверен что это ошибка 12309. Говорят со старым ядром (например 2.6.18) его нет. Он появился недавно и трудноуловим. Ещё говорят, что он проявляется не на всех чипсетах. Где-то его нет

Zenithar
()
Ответ на: комментарий от madcore

>> Компилирую и разварачиваю архив одновремено - мыш замерает

Это потому что ты под macosx

Когда я дома, там таких проблем нету. Еще обычно фильм HD смотрю из iTunes

namezys ★★★★
()
Ответ на: комментарий от namezys

>Когда я дома, там таких проблем нету.

И как часто ты там занимаешься такой ерундой, как «Компилирую и разварачиваю архив»

По наблюдением, когда собирал генту - макось была менее отзывчива, чем линукс там же с кде4 и vesa-драйвером.

madcore ★★★★★
()
Ответ на: комментарий от scaldov

я просто предположил, что mmap может влиять на количество страниц в кеше

А mmap-то тут при чем??? В dd и cp mmap отродясь не водилось, максимум для чего он используется - для мапинга библиотеки и бинарника.

no-dashi ★★★★★
()
Ответ на: комментарий от no-dashi

А mmap-то тут при чем??? В dd и cp mmap отродясь не водилось, максимум для чего он используется - для мапинга библиотеки и бинарника.

ну вот наконец-то! прочитав 10 раз по диагонали вы подошли к тому, что в dd и cp mmap'a нет. Я писал какбэ, что возможно, он влияет (повлиял бы), но проверить пока некогда.

scaldov ★★
() автор топика
Ответ на: комментарий от gena2x

Чего гадать то? запусти профайлер и посмотри что там тормозит.

Но если таки погадать - наверняка дело в сата-контроллере и шине PCI, что ещё может тормозить?

Что вообще на винте может тормозить? только seek. Пробовать копировать с/на ramdisk и с/на раздел без ФС.

ога, флешка тоже через сата-контроллер подключается.. А! ну да! в конечном счёте сигнал проходит через шину PCI!

scaldov ★★
() автор топика
Ответ на: комментарий от scaldov

ыы. и зарегился специально чтоб запостить?

ага, смерть как захотелось просраться в комментах

ради прикола не забыл бы написать сколько памяти.

2 гига

и что значит нормально.

т.е. в наутилусе выбрал mvk, нажал Ctrl+C перешел на другой раздел, нажал Ctrl+V, пока копировало, читал ЛОР, слушал Therion (flack). Гуй не тормозил, аудио не заикалось, время копирования 7 минут.

да, и линукс это прежде всего ядро, а не убунта ньюфаг.

О учитель, а я и незнал... Спс, что просвятил, а то бы так и помер неучем. А что убунта уже не дистриб линукса? так почему на главной не написали?

Pterodaktil
()
Ответ на: комментарий от Pterodaktil
$ dd if=/dev/zero of=~/img bs=1M
^C15032+0 записей считано
15032+0 записей написано
скопировано 15762194432 байта (16 GB), 155,358 c, 101 MB/c

$ uname -a
Linux pterodaktil 2.6.32-26-generic #48-Ubuntu SMP Wed Nov 24 09:00:03 UTC 2010 i686 GNU/Linux

Перед сбросом dd

$ free
             total       used       free     shared    buffers     cached
Mem:       2061064    1621448     439616          0      38500     740692
-/+ buffers/cache:     842256    1218808
Swap:      1951856      12216    1939640

Pterodaktil
()
Ответ на: комментарий от Pterodaktil

понятно, что ничего непонятно. у меня, к примеру, если free перед смертью удаётся запустить, то там считанные мегабайты, около десятка.

scaldov ★★
() автор топика
Ответ на: комментарий от scaldov

> ога, флешка тоже через сата-контроллер подключается.. А! ну да! в конечном счёте сигнал проходит через шину PCI!

Уже oprofile запустил? Где профиль?

С таким подходом могу только пожелать успехов!

gena2x ★★★
()
Ответ на: комментарий от scaldov

Как что? Смотреть где в ядре мы проводим больше всего времени.

gena2x ★★★
()
Ответ на: комментарий от madcore

> По наблюдением, когда собирал генту - макось была менее отзывчива, чем линукс там же с кде4 и vesa-драйвером.

Это как ты сравнивал?

И как часто ты там занимаешься такой ерундой, как «Компилирую и разварачиваю архив»

На работе часто

namezys ★★★★
()
Ответ на: комментарий от namezys

>до меня пока смысл фразы дойти не может

Что непонятно? Что при сборки генты линукс был более отзывчив, чем макось?

madcore ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.