LINUX.ORG.RU

Когда починят «ускоренное» копирование файлов в Linux?

 ,


9

5

Итак, дано: Ubuntu 16.04.4, Fedora 27.

И там и там есть один баг, которому уже много лет, я даже честно не знаю сколько.

Суть бага: прогресс показывает сначала очень высокую скорость копирования, доходит до отметки примерно в 60% и врубает тормоза. У меня бывало так, что на Ubuntu 2-3 гигабайта копировались на флешку за пару секунд, а потом удовольствие растягивалось еще на 20 минут, при этом объем передаваемых данных равен 8 гб, понятное дело, что это баг, но ему уже сколько лет! Когда починят то? Забавно, но cp при этом показывает равномерную скорость копирования и в серверной Ubuntu я спокойно копирую данные в 500 гигабайт между ЖД без проблем.

Но у меня Linux на десктопе и черт побери, он в 2018 еще не готов для массового пользования, когда такие детские баги вылезают.


Это баг разве? Я думал, так и задумано.

Kron4ek ★★ ()
Ответ на: комментарий от Kron4ek

Да не знаю, но у меня уже прикипело видеть: 4.3 из 4.4 ГБ - осталось 14 секунд. И так 4 минуты уже...

fman2 ()

Ну все правильно, у тебя часть файла оседает в кеше фс. Пока забивается кеш фс, копируемся быстро. Если файл меньше размера кеша - будем подвисать на размонтировании. Не нравится - отключи кеш фс, или сделай его очень маленьким.

ncrmnt ★★★★★ ()
Ответ на: комментарий от fman2

Ну, мне тоже не особо нравится такое поведение. Я полагаю, он сначала кэширует данные в память, а потом начинает реальную запись. Можно попробовать понизить значение vm.dirty_ratio/vm.dirty_background_ratio, по идее, они должны как-то на это влиять.

Kron4ek ★★ ()

Я знаю одно место, куда файлы можно копировать без задержки, /dev/null называется.

Проблема может быть в железе. Погляди smart. Я тут прикупил 10 ТБ винт и у него тоже такая проблема была — как выяснилось это он так плохие сектора передислоцировал. В общем проверки badblocks он уже не пережил. Придёт теперь сдавать диск по гарантии.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

На 4х HDD дисках, двух флешках и одном SSD такая проблема.

fman2 ()
Ответ на: комментарий от fman2

Значит ровно столько влезает в оперативку, а потом грустно и долго идёт запись. Чудес не бывает или /dev/null.

В любом случае глянь smart.

Evgueni ★★★★★ ()
Последнее исправление: Evgueni (всего исправлений: 2)
Ответ на: комментарий от Evgueni

Да не, со смартом 146% все ок. А оперативки, ну вот не знаю, есть ноутбук, на нем стоит Windows 10. Там два гигабайта оперативной памяти, все работает окей, кроме хрома, что понятно. С копированием в 18м году проблем также нет.

Стоит Ubuntu 16.04, Intel I5-4670, 16 гигабайт памяти, и епрст, система не может нормально скопировать файлы, тут вряд ли проблема в ОЗУ. Через cp -av все копируется гладенько, как и должно.

Я теперь тяжелые каталоги через cp и перемещаю. В десктопной убунте. Смешно...

fman2 ()

1. Ты же правда в один поток копируешь? флешки фактически не умеют даже в два потока.

2. Почитай что такое «отложенная запись» цифры от cp при записи на flash направляй в /dev/null.

никаких багов нет, есть простое незнание «как оно работает».

vtVitus ★★★★★ ()
Ответ на: комментарий от vtVitus

При чем здесь CP? Оно идеально работает. Я говорю про то, что десктопная Ubuntu не может «равномерно» показывать прогресс копирования файла и постоянно врет.

fman2 ()

много раз слышал и не понимал в чем подвох - потому что не наблюдал никаких замедлений, пока не установил козырнячий ssd - вот при копировании с него и начались дикие тормоза - даже на соседний винт hdd, а на флешки вообще капец... сам ssd работает шустро - старт системы, установка пакетов, запуск браузера все это происходит очень быстро - намного быстрее нежели система установленая на hdd...

amd_amd ()

Ты плохо понимаешь суть момента, сейчас так софт никто не пишет. Сейчас время не исправлять баги, а разрушать старую инфраструктуру.

bender ★★★★★ ()

Всё правильно. На винде такое же поведение. man кеш.

RazrFalcon ★★★★★ ()

windows nt в 1997 году на 3х дюймовые дискеты файлы копировала точно также. Это фича, но ты можешь уменьшить размер кеша на запись и копирование на флешку перестанет возмущать твоё чувство прекрасного :)

sergej ★★★★★ ()
Ответ на: комментарий от fman2

Я говорю про то, что десктопная Ubuntu не может «равномерно» показывать прогресс копирования файла и постоянно врет.

Это гном что ли? дикий хохот. гном сделан для того чтобы следовать хигу, быть похожим на мак и быть ваще, а не для того чтоб работать. на такие вещи, как врущий индикатор копирования, если конечно он хипстероугодно выглядящий, никто не обращает внимания.

cp на самом тоже врёт при отложенной записи. все врут.

vtVitus ★★★★★ ()
Ответ на: комментарий от sergej

windows nt в 1997 году на 3х дюймовые дискеты файлы копировала точно также.

Вот тут ты врешь

vasya_pupkin ★★★★ ()
Ответ на: комментарий от vasya_pupkin

Сам видел. 2х процессорный пентиум про 200МГц как сейчас помню. У меня самого тогда пень 166 ММХ был с 95й виндой.

sergej ★★★★★ ()

Если подкрутить

vm.dirty_background_bytes
vm.dirty_bytes
vm.dirty_writeback_centisecs
vm.dirty_expire_centisecs
vm.dirtytime_expire_seconds
то все станет плавнее.

vel ★★★★★ ()
Ответ на: комментарий от vel

Эти крутилки нужны для каждого блочного устройства. И желательно, в секундах, а не в байтах.

i-rinat ★★★★★ ()
Ответ на: комментарий от vel

Плюсую. А конкретно для решения заявленной ТС-ом проблемы достаточно подкрутить vm.dirty_background (bytes или ratio) на что-то более-менее соизмеримое с пропускной способностью USB.

dogbert ★★★★★ ()
Последнее исправление: dogbert (всего исправлений: 1)

Никогда не видел как в винде шкальник копирования доходил до 100% и там зависал на сутки?

ilovewindows ★★★★★ ()
Ответ на: комментарий от sergej

Сам видел.

Не рассказывай мне байки из склепа,не было такого никогда

vasya_pupkin ★★★★ ()
Ответ на: комментарий от fman2

У тебя неправильный шиндоуз; помню, на спермёрке охреневал от прогрессбара в эксплорере: сразу добегает почти до конца, а потом ползёт по чуть-чуть. И насколько я понял, это тупо свистелка такая для тупых хомячков — напоминает J2ME-трояны с прогрессбаром, в которых надо тыкать Fire для «ускорения» прогрессбара (на деле он вообще без этого не движется) — чтобы доверчивая жертва по инерции подтвердила пермишшон на отправку SMS. В десятке, насколько помню, в этом ничего не поменялось; зато добавили в диалогах копирования красивый и подробный график, тут лялипсу ещё долго ползти, эге. Установщик с восьмёрки в том же репертуаре: почти час пишет что-то в духе «подождите ещё немного», «осталось совсем чуть-чуть», «ну вот буквально через пару мгновений», «я ещё недолго, мамай клэнус!».

bodqhrohro_promo ()

Это не баг а фича. А если ты пихаешь на флешку гигабайты мелких файлов, то большой скорости и не жди - лучше перед передачей пожать их архиватором без сжатия кусками по полгига.

Napilnik ★★★★★ ()

Я как-то поднимал эту тему с GNU / Linux Debian. Мне вроде намекали, что я идиот и железо у меня кривое....

xwicked ★★ ()

Когда починят «ускоренное» копирование файлов в Linux?

Попробуй поставить по крону с интервалом в 1 сек - /bin/sync.

pacify ★★★★★ ()
Ответ на: комментарий от vasya_pupkin

Не рассказывай мне байки из склепа,не было такого никогда

Если ты такого в своем склепе не видел, то возможно это связанно с тем, что у упомянутого 200мгц-го п про были невероятные по тем временам 128М ОЗУ и винда легко могла закешировать на запись жалкие 1.44М дискеты.

В те времена ходили анекдоты типа «пап, покажи многозадачность виндовз 95. Сейчас сынок, дискетку доформатирую». А тут такое чудо - копируешь 1М файл на дискету мнгновенно, а он перез пару секунд после окончания записи включает светодиод и начинает жужжать. И не тормозит при этом.

sergej ★★★★★ ()

Но у меня Linux на десктопе и черт побери, он в 2018 еще не готов для массового пользования, когда такие детские баги вылезают.

Поздравляю. Ты нашёл одну из самых меньших проблем линуксах на десктопах, на котороую всем плевать по большому счёту. В том числе под вендой.

https://xkcd.com/612/

fornlr ★★★★★ ()

Можно ограничить кэш записи, прогресс в этом случае будет работать правильно, но тормоза появятся.

onon ★★★ ()

Как же мне нравятся люди, которые не понимают ни бельмеса в устройстве системы, и хотят «починки» того что видят в интерфейсе.

он в 2018 еще не готов для массового пользования, когда такие детские баги вылезают

Ох-ох-ох, вы только посмотрите на него. Оно ещё и выводы о готовности делает и детскости багов. Умора.

slovazap ★★★★★ ()
Ответ на: комментарий от sergej

В те времена ходили анекдоты типа «пап, покажи многозадачность виндовз 95. Сейчас сынок, дискетку доформатирую». А тут такое чудо - копируешь 1М файл на дискету мнгновенно, а он перез пару секунд после окончания записи включает светодиод и начинает жужжать. И не тормозит при этом.

При чем тут многозадачность? Винда и лялих так же встаёт раком при ошибках или тормозах io. А nt никогда за секунду на флоп не копировала, по умолчанию на внешние носители она в sync копирует. Знаток хренов.

vasya_pupkin ★★★★ ()
Ответ на: комментарий от vasya_pupkin

Рассказывай. Вот буквально несколько месяцев назад на USB-дисковод писал с XP — мгновенно показывает, что файл скопировался, потом добрую минуту скрипит.

redgremlin ★★★★★ ()
Ответ на: комментарий от vasya_pupkin

Многозадачность при том, что мы специально на этом компе показывали зашедшим в гости это чудо техники в виде гигантского кеша и нетормозящего дисковода.

Но не хочешь не верь, я не заставляю. Я верю, что ты лично проверил все версии NT начиная с 3.1

sergej ★★★★★ ()

Попробуйте отключить своп.

Проблема известна давно, это одна из реинкарнаций 12309. Его уже много лет фиксят, но никак не пофиксят до конца. Последний раз я видел, что пофиксили в ядре 4.10, но оказалось, что не очень помогло.

Sorcerer ★★★★★ ()

Детские баги - это когда из-за 4kb размера сектора на винте слетают корневые сертификаты, система ругается на неверную подптсь даже при запуске cmd.exe, а чтобы исправить ситуацию, надо накатить обновление через неработающий Windows Update. Вот это - детские баги и говнокод. А то, что описал ты - нормальное поведение системы.

Black_Shadow ★★★★★ ()
Ответ на: комментарий от Sorcerer

Попробуйте отключить своп.

Можно ещё отрубить голову, этот тоже решит проблему.

Black_Shadow ★★★★★ ()
Ответ на: комментарий от bodqhrohro_promo

зато добавили в диалогах копирования красивый и подробный график, тут лялипсу ещё долго ползти, эге

В KDE есть.

Black_Shadow ★★★★★ ()

Это не баг - это железо у тебя такое. Само по себе оно медленное, поэтому издревле используются техники ускорения работы вроде кэширования. Попробую файлы копировать в DOS без smartdrive - офигеешь от низкой скорости.

Quasar ★★★★★ ()
Ответ на: комментарий от fornlr

Это не линукса проблема. Как раз к чести линукса и стоит упомянуть, что такое редко замечают.

Quasar ★★★★★ ()
Ответ на: комментарий от Sorcerer

Проблемы со свопом никак к 12309 не относятся. 12309 - это iowait, который окончательно и бесповоротно исправили. Проблема со свопом такова, что оперативной памяти стало настолько много, что свопиться на винчестер получается слишком медленно, из-за чего начинает тормозить юзерспейс. Помогает отключение свопа. Да и зачем нужен своп при наличии 4Gb RAM и выше, неясно.

Quasar ★★★★★ ()
Ответ на: комментарий от Quasar

Оно у всех такое.

Раньше нельзя было сказать? :D
В августе 16-ого я поднимал тему про механизм отложенной записи. Один написал, что у него так же, а другой сказал, что на это влияют опции монтирования. Я что-то там изменил и вроде заработало нормально, но не надолго.

xwicked ★★ ()
Закрыто добавление комментариев для недавно зарегистрированных пользователей (со score < 50)