LINUX.ORG.RU
Форум — Talks  

Спустя 30 лет, в KDE починили копирование файлов

 , ,


0

4

Привет, чят!

Как нам всем хорошо известно, копирование файлов на флешки в линуксе всегда было сломано: процесс cp или индикатор копирования в твоём любимом файловом менеджере завершался успехом задолго до того, как файл был по-настоящему записан на диск. Но разработчики KDE не сдавались и, наконец, починили этот недостаток во всех программах, использующих KIO.

Тыц: https://blogs.kde.org/2026/10/27/fixing-kio-copy-to-usb-stick-and-network-filesystems/

Ъ: для этого потребовалось переписать кучу кода, используя странные системные вызовы типа sync_file_range (Linux only, BSD в пролёте) и запилить вообще достаточно сложную эвристику работы с файлами разного размера. И всё для того, ЛОРовец, чтобы ты мог скинуть фоточки на флешку и не просрать данные – фича, которая в Windows была практически из коробки.

Ждём аналогичных изменений в GNOME и прочих XFCE, там этого пока нет.

Ответ на: комментарий от altwazar

У меня вообще возникли сомнения в том, что ты понимаешь вообще о чем говоришь.

  1. Большой кэш в несколько гигабайт это проблема само по себе.
  2. Даже если ты используешь кэш и прикладной софт вызывает fsync () и красиво тебе показывает прогресс-бар, то даже после этого существует риск утери данных при отсутствии правильного отмонтирования файловой системы.

Первый пункт должен решаться на уровне настройки ОС (отдавать 20 процентов от 32 гигабайт как минимум глупо, например - не несет в себе фактического увеличения быстродействия и создает проблемы). Второй - только ударом промеж ушей кожаному мешку перед монитором, чтобы помимо извилины на жопе в его межушном ганглии сформировалась хотя бы ещё одна.

Пара сотен мегабайт достаточна для любого dirty-кэша и при безопасном извлечении даже если скорость записи на флэшку составит около 10 мегабайт в секунду это займет не более 20 секунд, в отличии от ситуации, когда у тебя в кэш легло 6 гигабайт и отмонтирование затянется на полчаса минимум.

lonelywoolf
()

Сунул, а потом понимаешь, когда вынимаешь :)

voidkl ★
()
Ответ на: комментарий от lonelywoolf

Большой кэш в несколько гигабайт это проблема само по себе.

Нет. Но для отдельных случаев его лучше ограничивать, типичные флешки - один из них. Только как я уже написал, ограничение кэша не решает проблему.

Даже если ты используешь кэш и прикладной софт вызывает fsync () и красиво тебе показывает прогресс-бар, то даже после этого существует риск утери данных при отсутствии правильного отмонтирования файловой системы.

Уже не раз писал, что проблема не в потере данных из-за игнорирования отмонтирования. Но и риск их потери от этого тоже сводится к минимуму, что тоже только в плюс.

Пара сотен мегабайт достаточна для любого dirty-кэша…

Да хоть 1 мегабайт, проблема остаётся. Ты этим только сократишь разрыв между видимостью записи и реальностью, но не решаешь ни её полностью, ни проблему риска потери данных при сбое сети/флешки во время перемещения файлов. В то же время, софт должен и может решать проблемы пользователя, пользователь же решает проблемы оси только от безысходности.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

Нет.

Чей-та? ВСЕГДА это проблема, когда он неоправданно велик. ОСОБЕННО когда он нахрен не нужен. Я про writeback кэш сейчас говорю.

Уже не раз писал, что проблема не в потере данных из-за игнорирования отмонтирования

В тупых пользователях? Ну так я и не спорю.

Ты этим только сократишь разрыв между видимостью записи и реальностью,

Документированная особенность, сделанная умышленно. Ты такой тупой, что не можешь это удержать в голове? Да нет, вряд ли. Тогда вариантов всего несколько.

lonelywoolf
()
Ответ на: комментарий от yorshka

Если индикатор копирования показывает, что файл записан, а байт на диске при этом нет, это называется сломано.

Если у тебя руки не оттуда, то конечно.

1. В Linux для всех устройств кэш. Потому, если хочешь быть уверен, то пиши sync.
2. Настрой монтирование флешки без кэша.

Всё это никаким боком к KDE не относится. Если там что-то «починили», то для странных людей.

AS ★★★★★
()
Ответ на: комментарий от AS
  1. В Linux для всех устройств кэш. Потому, если хочешь быть уверен, то пиши sync.

Это недолго переделать. Деды-говнохранители могут идти в лес.

yorshka
() автор топика
Ответ на: комментарий от yorshka

Это недолго переделать.

Зачем?

Деды-говнохранители могут идти в лес.

Жертвы ЕГЭ не осилили?

AS ★★★★★
()

Спустя 30 лет

Кто и что копировал на флешки 30 лет назад? Привет рептилоидам!

Tigger ★★★★★
()
Ответ на: комментарий от AS

Зачем?

Чтобы был виден прогресс копирования и его можно было отменить в любой момент.

// Капитан Очевидность

yorshka
() автор топика
Ответ на: комментарий от altwazar

Но на типичном маке нет usb а

С чего бы это?

и свободной под кэш памяти

Тудаже вопрос, эт ещё почему?

anc ★★★★★
()
Ответ на: комментарий от anc

С чего бы это?

Маки берут в основном ноуты, там нет usb-a, только usb-c. Да и на стационарных там вроде новых тоже уже отказались.

Тудаже вопрос, эт ещё почему?

В маках память дорого обходится и ходовые модели 8/16 Гб.

Это шутка с долей шутки, заметил, что в окружении по разным причинам владельцы маков не скидывали ничего на флешки с них и их об этом никто и не просит даже.

altwazar ★★★★★
()
Ответ на: комментарий от lonelywoolf

Чей-та? ВСЕГДА это проблема, когда он неоправданно велик.

Оправданность размера кэша зависит от юзкейсов и отдельных девайсов. Его полезно уменьшать для отдельных случаев, обычно для медленных дисков типа флешек. На серверах бывает полезно зарезать для какого-нибудь медленного ssd с системой, оставить побольше для нормальных дисков под данные.

Документированная особенность, сделанная умышленно.

Задокументировать можно любое решение, удобным и разумным оно от этого не становится.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

Маки берут в основном ноуты, там нет usb-a, только usb-c.

В кресле валяется фруктовый ноут, у него есть usb-a, чяднт?

anc ★★★★★
()
Ответ на: комментарий от altwazar

ни проблему риска потери данных при сбое сети/флешки во время перемещения файлов.

Риск потери данных возникает уже от самого действия «перемещение на флэшку» и риск вполне себе не иллюзорный. А сбои сети и другие это так… мелочи.

anc ★★★★★
()
Ответ на: комментарий от altwazar

Задокументировать можно любое решение, удобным и разумным оно от этого не становится.

Давай так вопрос поставлю: а с чего это вдруг ты возомнил, что можешь определять критерии разумности того или иного решения?

Оправданность размера кэша зависит от юзкейсов и отдельных девайсов.

Ну надо же, кажется мы начинаем приходить к единому мнению. Теперь предлагаю вернуться в контекст (мы говорим про десктоп) и сказать себе - а точно ли нужно современному десктопу кэша в 1,5 - 24G в дефолте в зависимости от количества свободной и доступной оперативки? И вот в этом случае - большой кэш вреден. Потому, что если в тебя, например, 128G и ты начинаешь копировать файлы при свободной ОЗУ - ты запускаешь это на медленную флэху в 12 метров в секунду записью файл на 30 гиг. Итого у тебя под Write Back отдано 25G. Которые считаются с нормального nvme (ну у тебя же там что-то вменяемое стоит) - секунд за 30 максимум. А потом у тебя вытеснение данных из writeback и заброс новой порции, что само по себе уже намекает на некоторую работу алгоритмов. То есть система у тебя уже НЕ МОЖЕТ освободить 25G если они ей понадобятся, но при этом считает их «условно-свободными» - т.е. думает, что может их дропнуть. Но у тебя же мощная такая рабочая станция не просто так, да? И тут хоба - оперативка понадобилась. Система пытается вытеснить кэш, не может, но при этом не уходит в SWAP, т.к. первым по алгоритму надо вытеснить кэш. А он не вытесняется. Начинаются лишние проходы и у тебя даже оперативка вроде бы свободная есть, и в своп что-то упало, но система уже аааадски лагает, т.к. не может правильно отработать ситуацию и все ещё пытается вытеснить данные из памяти, которые вытеснить ну никак нельзя… Ах, здравствуй, 12309 )))

Это только один из возможных сценариев, который я знаю как воспроизвести на текущих ядрах. А вот уменьшение такого кэша до хотя бы 200 метров (ну 256 для красоты) ситуацию выравнивает =).

А на серверах вообще всё иначе и не надо их сюда тащить. Там бывает надо, бывает - не надо и такая куча параметров, которую я вот на форуме считать бы не хотел.

lonelywoolf
()
Ответ на: комментарий от Chord

И да, ни разу не терял файлы по причине «недописанности», просто спокойно жду когда отмонтируется

А у меня такое бывало. Особенно бесило когда отмонтирование носителя длилось дольше чем копирование, иногда даже непонятно было это всё к чертям зависло или нет?

unixnik ★★★★★
()
Ответ на: комментарий от unixnik

Особенно бесило когда отмонтирование носителя длилось дольше чем копирование, иногда даже непонятно было это всё к чертям зависло или нет?

Такая же фигня. И вот блин сидишь как баран ждёшь когда отмонтируется, когда точно известно что оно ещё минут 20 будет копировать, можно просто слинять, а тут тупо неизвестность.

anc ★★★★★
()
Ответ на: комментарий от Chord

И да, ни разу не терял файлы по причине «недописанности», просто спокойно жду когда отмонтируется

Вот только время отмонтирования непредсказуемо, и в отличие от копирования, у него нет прогресс-индикатора.

(Да, я стараюсь оценивать ситуацию с обеих сторон.)

hobbit ★★★★★
()
Ответ на: комментарий от hobbit

И чем это поможет в вычислении оставшегося времени?

anc ★★★★★
()
Ответ на: комментарий от anc

Риск потери данных возникает уже от самого действия «перемещение на флэшку» и риск вполне себе не иллюзорный.

В данном случае риск от не оптимального поведения со стороны софта, когда файлы удаляются до фактической записи на целевой накопитель.

altwazar ★★★★★
()
Ответ на: комментарий от lonelywoolf

Давай так вопрос поставлю: а с чего это вдруг ты возомнил, что можешь определять критерии разумности того или иного решения?

Тут даже знания не нужны, достаточно здравого смысла. Есть удобное и понятное для пользователя поведение, есть нет. Вот в KDE решили сделать разумно и удобно.

Потому, что если в тебя, например, 128G и ты начинаешь копировать файлы при свободной ОЗУ - ты запускаешь это на медленную флэху в 12 метров в секунду записью файл на 30 гиг.

Такое поведение в линуксах по умолчанию, и это дебилизм. Нормального способа с этим бороться нет и лучшее решение - через udev костыль ограничить кэш для флешек. Но, как я уже написал, ограничение кэша - не решение проблемы.

altwazar ★★★★★
()
  • что такое? я отмонтировать забыла?

кто не знает этого анека и не говорит синк после копирования - тех не жалко

Laferadze
()
Ответ на: комментарий от seiken

при чём тут гуй? файл скопировался, и пофигу что наполовину сидит в кеше. копией можно пользоваться, как после полного копирования, изменить часть на лету

Laferadze
()
Ответ на: комментарий от amd_amd

копировал с флешки более 1500 фотографий и индикактор копирования отработал четко

Конечно, ведь пока с флешки данные не прочитаются, копирование по определению не может закончится. Здесь обсуждается проблема копирования на флешку.

gag ★★★★★
()

плохо зделали, тупо. не реккоминдую такую игру!

для этого потребовалось переписать кучу кода, используя странные системные вызовы типа sync_file_range (Linux only, BSD в пролёте) и запилить вообще достаточно сложную эвристику работы с файлами разного размера

это вместо того, чтобы сделать вторую фазу прогресса - очищение кеша. Дблб

Laferadze
()
Ответ на: комментарий от altwazar

Риск потери данных возникает уже от самого действия «перемещение на флэшку» и риск вполне себе не иллюзорный.

В данном случае риск от не оптимального поведения со стороны софта, когда файлы удаляются до фактической записи на целевой накопитель.

Софт в данном случае вообще не причем, чистый хард.

anc ★★★★★
()
Ответ на: комментарий от CrX

Минуты, не десятки. Но в любом случае это по прежнему не проблема.

Если бы записал немного больше, то десятки. При этом ещё ядро ругается:

Oct 15 20:36:11 pc kernel: EXT4-fs (sdh1): mounted filesystem 1400a68b-b3c0-4303-b71f-4aa67b73452b r/w with ordered data mode. Quota mode: none.
Oct 15 20:42:47 pc kernel: INFO: task pool-1211:1322244 blocked for more than 120 seconds.
Oct 15 20:42:47 pc kernel:       Tainted: G        W  OE      6.12.111+deb13-amd64 #1 Debian 6.12.111-1
Oct 15 20:42:47 pc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Oct 15 20:42:47 pc kernel: task:pool-1211       state:D stack:0     pid:1322244 tgid:1090  ppid:1      flags:0x00004002
Oct 15 20:42:47 pc kernel: Call Trace:
Oct 15 20:42:47 pc kernel:  <TASK>
Oct 15 20:42:47 pc kernel:  __schedule+0x505/0xc00
Oct 15 20:42:47 pc kernel:  schedule+0x27/0xc0
Oct 15 20:42:47 pc kernel:  wb_wait_for_completion+0x89/0xc0
...
Oct 15 20:52:51 pc kernel: INFO: task pool-1211:1322244 blocked for more than 724 seconds.
Oct 15 20:52:51 pc kernel:       Tainted: G        W  OE      6.12.111+deb13-amd64 #1 Debian 6.12.111-1
Oct 15 20:52:51 pc kernel: "echo 0 > /proc/sys/kernel/hung_task_timeout_secs" disables this message.
Oct 15 20:52:51 pc kernel: task:pool-1211       state:D stack:0     pid:1322244 tgid:1090  ppid:1      flags:0x00004002
Oct 15 20:52:51 pc kernel: Call Trace:
Oct 15 20:52:51 pc kernel:  <TASK>
Oct 15 20:52:51 pc kernel:  __schedule+0x505/0xc00
Oct 15 20:52:51 pc kernel:  schedule+0x27/0xc0
Oct 15 20:52:51 pc kernel:  wb_wait_for_completion+0x89/0xc0
Oct 15 20:53:21 pc kernel: EXT4-fs (sdh1): unmounting filesystem 1400a68b-b3c0-4303-b71f-4aa67b73452b.

Оказалось, что 128 ГБ флешка читает 40 МБ/с, а записывает 4 МБ/с.

gag ★★★★★
()
Ответ на: комментарий от anc

Софт в данном случае вообще не причем, чистый хард

Если софт при перемещении файлов удаляет источник только после подтверждения записи на целевой накопитель, то файлы не теряются при сбое накопителя/usb/сети.

altwazar ★★★★★
()
Ответ на: комментарий от altwazar

С чего бы это?

Маки берут в основном ноуты, там нет usb-a, только usb-c. Да и на стационарных там вроде новых тоже уже отказались.

Макосники просто покупают либо флешки с USB-C, либо жирные адаптеры. Тащемта, внешний SSD – один из необходимых аксессуаров для макбука, потому что встроенный диск там на вес золото.

yorshka
() автор топика
Ответ на: комментарий от altwazar

Какой-то древний на интеле?

Он самый. Ноут почти рабочий, у него только дискретка частично полетела, может робить и на ней, но в любой момент улетит с корой в ребут. Но в целом робить вполне можно, я в позапрошлом году с ним больше 6-ти недель в больнице провел. ЧСХ аккум ещё не убился в ноль, что-то типа 50мин - час с копейками вполне держит.

anc ★★★★★
()
Ответ на: комментарий от altwazar

В данном случае риск от не оптимального поведения со стороны софта, когда файлы удаляются до фактической записи на целевой накопитель.

Ну это да, но поскольку речь про носитель который может умереть в любой момент времени, то имхо в первую очередь надо думать совершая F6 на него.

anc ★★★★★
()
Ответ на: комментарий от altwazar

Если софт при перемещении файлов удаляет источник только после подтверждения записи на целевой накопитель, то файлы не теряются при сбое накопителя/usb/сети.

КАК? Как такое может быть? Ты переместил на флэшку, она рипнулась, где теперь файлиги искать?

anc ★★★★★
()
Ответ на: комментарий от anc

КАК? Как такое может быть? Ты переместил на флэшку, она рипнулась, где теперь файлиги искать?

Я про другую ситуацию. При перемещении с кэшем файлы удаляются до фактической записи на флешку или сетевую шару, а в этот момент может глюконуть usb, произойти ошибка записи на флешку, отвалиться сеть. А фактическая запись может запросто занимать десятки минут или даже часы.

Софт же может перед удалением на источнике убедиться, что файлы фактически записались на целевой накопитель.

altwazar ★★★★★
()
Последнее исправление: altwazar (всего исправлений: 2)
Ответ на: комментарий от altwazar

Такое поведение в линуксах по умолчанию, и это дебилизм.

Ну то есть ты, наконец, начал понимать, что слишком большой кэш вреден. Теперь ещё осталось понять, что размер кэша настраиваться должен админом, а не остальной софт должен героически решать эту проблему. Правда, дистростроители могли бы дефолты то подтянуть, но им как раз таки похрен.

lonelywoolf
()
Ответ на: комментарий от altwazar

При перемещении с кэшем файлы удаляются до фактической записи на флешку или сетевую шару, а в этот момент может глюконуть usb, произойти ошибка записи на флешку, отвалиться сеть. А фактическая запись может запросто занимать десятки минут или даже часы.

Возвращаемся к тупым админам, которые даже на эникейщиков десятилетней давности не тянут.

lonelywoolf
()
Ответ на: комментарий от altwazar

Софт же может перед удалением на источнике убедиться, что файлы фактически записались на целевой накопитель.

Ну во-первых, нужно чтобы фактическая запись не занимала часы. Это во-первых. Во-вторых, ты нажал f6. Файл переместился. И флэшка рипнулась - убило статикой при отмонтировании. И нахрена козе баян, спрашивается?

Вместо того, чтобы выставить нормальные дефолты, а разрабам кед тупо в конце операции делать fsync () у нас пришлось разрабам делать некоторую другую хрень. Которая проблему именно сглаживает, но никак не решает. Лавров.жпг

lonelywoolf
()
Ответ на: комментарий от yorshka

Чтобы был виден прогресс копирования и его можно было отменить в любой момент.

Ты в своём уме? Скорость освобождения приложения важнее на порядки.

AS ★★★★★
()
Ответ на: комментарий от AS

Чтобы был виден прогресс копирования и его можно было отменить в любой момент.

Ты в своём уме? Скорость освобождения приложения важнее на порядки.

Какого приложения? У тебя однозадачная ОС? Мы тут про Linux.

yorshka
() автор топика
Ответ на: комментарий от lonelywoolf

Ну во-первых, нужно чтобы фактическая запись не занимала часы. Это во-первых.

Ну то есть, нужно просто починить все флешки и сделать USB мегабыстрым и вообще передавать данные через атсрал уже, потому что 2027 год почти уже и мы всё ещё почему-то по проводам файлы кидаем.

yorshka
() автор топика
Ответ на: комментарий от lonelywoolf

Ну то есть ты, наконец, начал понимать, что слишком большой кэш вреден.

Ну во-первых, нужно чтобы фактическая запись не занимала часы.

Вместо того, чтобы выставить нормальные дефолты, а разрабам кед тупо в конце операции делать fsync () у нас пришлось разрабам делать некоторую другую хрень.

Твой уровень понимания ситуации не дотягивает даже до эникея, видимо из-за отсутствия практики. Для флэшек стоило сделать другой дефолт, а не заставлять юзера лепить свои костыли для этого. Но настройками кэша проблема не решается. А вот кедовский подход реально работает.

altwazar ★★★★★
()

Прилетело обновление кед, проверил.

Копирование 14 гигов файлов под гиг размером заняло 10 минут на флешку с фатом, мгновенное отмонтирование.

Для теста поставил обычное копирование с -o sync (тут некоторые предлагают), через два часа надоело ждать. Ориентировочно часа три оно займет.

altwazar ★★★★★
()
Последнее исправление: altwazar (всего исправлений: 1)
Ответ на: комментарий от altwazar

Для флэшек стоило сделать другой дефолт

man udev это во первых. Во вторых, дорогой непонимающий друг, медленными бывают не только флэшки, но и другие устройства. Ты рассуждать только горазд. Юзеру надо только одно: нажать на «безопасное извлечение». А все остальное должен сделать админ. Но ты до сих пор считаешь, что кто-то что-то должен сделать для тебя так, как видишь это ты.

lonelywoolf
()
Ответ на: комментарий от altwazar

Для теста поставил обычное копирование с -o sync

Если бы ты понимал чуть больше, чем эникей стандартный ты бы знал, что это крайне глупая идея.

lonelywoolf
()
Ответ на: комментарий от lonelywoolf

Ну то есть,

Ты контекст не уловил, да. Бывает.

Ты можешь показать нам тут твой идеологически верный подход. Код в студию.

yorshka
() автор топика
Ответ на: комментарий от yorshka

Ты можешь показать нам тут твой идеологически верный подход. Код в студию.

Ты бы весь тред тогда прочитал, что-ли. Тоньше надо, умнее.

lonelywoolf
()

Чтение этого треда помогло мне лишь сильнее утвердиться в одном: у КДЕ есть разные плюсы и минусы, но одно неоспоримое достоинство у него выделить точно можно — то самое, о котором я уже упоминал, но появился лишний повод убедиться: никто не принуждает к использованию этого самого КДЕ. Ну нравится им так, пускай. Вот вообще не жалко. Даже хорошо, что такое есть. Главное, что в отличие от всяких красношляпо-связанных проектов, оно не портит жизнь окружающим. Ну есть оно и есть, и хорошо — они ж не стремяться причинить как можно больше добра всем окружающим — только непосредственным кедоюзерам. Ну так и зашибись. Это не может не радовать.

CrX ★★★★★
()
Ответ на: комментарий от CrX

А кто говорит «костыль» — ну пусть костыль. Посмотрите на это с другой стороны: они это нам в ядро не принесли. Сделали там у себя в песочнице и радуются. Ну и пускай. Разве лучше было бы, если бы они протолкнули это всё в ядро, и был бы «не костыль», и прежде чем освободить дескриптор файла, надо было бы ждать полной записи непосредственно на физический носитель? Просто пища для размышления.

CrX ★★★★★
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.