LINUX.ORG.RU
Форум — Talks  

Спустя 30 лет, в KDE починили копирование файлов

 , ,


0

4

Привет, чят!

Как нам всем хорошо известно, копирование файлов на флешки в линуксе всегда было сломано: процесс cp или индикатор копирования в твоём любимом файловом менеджере завершался успехом задолго до того, как файл был по-настоящему записан на диск. Но разработчики KDE не сдавались и, наконец, починили этот недостаток во всех программах, использующих KIO.

Тыц: https://blogs.kde.org/2026/10/27/fixing-kio-copy-to-usb-stick-and-network-filesystems/

Ъ: для этого потребовалось переписать кучу кода, используя странные системные вызовы типа sync_file_range (Linux only, BSD в пролёте) и запилить вообще достаточно сложную эвристику работы с файлами разного размера. И всё для того, ЛОРовец, чтобы ты мог скинуть фоточки на флешку и не просрать данные – фича, которая в Windows была практически из коробки.

Ждём аналогичных изменений в GNOME и прочих XFCE, там этого пока нет.

Ответ на: комментарий от lonelywoolf

Ты бы весь тред тогда прочитал, что-ли.

Перечитал. Ты тут пишешь только про «skill issue» и неправильных пользователей, которые неправильно Linux держат.

yorshka
() автор топика
Ответ на: комментарий от altwazar

Копирование 14 гигов файлов под гиг размером заняло 10 минут на флешку с фатом, мгновенное отмонтирование.

У vfat и так есть опция монтирования flush, которая быстро сбрасывает буфер (обычно при закрытии файла), и которую udisks должен использовать автоматически при подключении сменных носителей.

Вместо наворачивания отвратительных костылей, которые работают лишь в части сценариев, и которые реализованы на совершенно неправильном уровне, следовало решать проблему (если вообще считать это проблемой) на уровне ядра.

Rootlexx ★★★★★
()
Последнее исправление: Rootlexx (всего исправлений: 1)
Ответ на: комментарий от CrX

прежде чем освободить дескриптор файла, надо было бы ждать полной записи непосредственно на физический носитель?

Проверка ошибок? Какая проверка ошибок? Настоящие программисты считают, что все вызовы ОС завершаются успеш.. killed: Segmentation fault

yorshka
() автор топика
Ответ на: комментарий от yorshka

Да развлекайтесь.

Спасибо, что не причинили этого добра всем вокруг — это в наше время заслуживает благшодарности.

CrX ★★★★★
()
Ответ на: комментарий от CrX

Спасибо, что не причинили этого добра всем вокруг — это в наше время заслуживает благшодарности.

Поздно. Rust уже в ядре.

Основная проблема с внесением подобных достаточно масштабных изменений в ядро состоит в том, что их крайне тяжело тестировать. Несмотря на казалось бы серьёзность проекта, очень и очень многие изменения проверяются исключительно методом «мамой клэнус у мэна работает». Тестовый фреймворк в ядре абсолютно неадекватен, средства отладки (printf на стероидах) – смехотворны. Монолитность ядра и мнимая победа Лойнуса над Энди Таненбаумом в срачике по переписке таки сыграла злую шутку.

yorshka
() автор топика
Ответ на: комментарий от yorshka

Поздно. Rust уже в ядре.

Ничего против Rust в ядре я никогда не имел.

Основная проблема с внесением подобных достаточно масштабных изменений в ядро состоит в том, что их крайне тяжело тестировать.

Проблема с изменениями, которые сложно тестировать, существует. Но тут дело не только в этом, но ещё и в том, что само изменение нежалетальное.

Монолитность ядра и мнимая победа Лойнуса над Энди Таненбаумом в срачике по переписке таки сыграла злую шутку.

В этом тоже есть доля правды.

CrX ★★★★★
()
Ответ на: комментарий от altwazar

Софт же может перед удалением на источнике убедиться, что файлы фактически записались на целевой накопитель.

Софт врядли, т.к. он получит из кэша.

anc ★★★★★
()
Ответ на: комментарий от Rootlexx

следовало решать проблему (если вообще считать это проблемой)

Проблема есть: если я перемещаю файл в другую ФС, то перед окончательным удалением на источнике, нужно убедиться в 100% записи данных и метаданных на накопитель с помощью барьера.

на уровне ядра.

Однозначно! Полно программ перемещают данные - нужен один надёжный механизм для всех. Для этого надо сначала решить то, о чём напомнил @legolegs: Спустя 30 лет, в KDE починили копирование файлов (комментарий).

gag ★★★★★
()
Последнее исправление: gag (всего исправлений: 1)
Ответ на: комментарий от lonelywoolf

Во-вторых, ты нажал f6. Файл переместился. И флэшка рипнулась - убило статикой при отмонтировании.

Это уже личная половая проблема того кто решил переместить, флэшка может рипнуться не только в этот момент, в конце концов она банально может потеряться. Вообще вариаций «почему данные сброшенные на флэшку не достигли пункта назначения» я за 19 лет на локомотив насобирал, но то что подобное будет происходить предугадывал заранее, поэтому в системе было предусмотрено повторное копирование пролюбленных данных.

Вместо того, чтобы выставить нормальные дефолты, а разрабам кед тупо в конце операции делать fsync () у нас пришлось разрабам делать некоторую другую хрень. Которая проблему именно сглаживает, но никак не решает. Лавров.жпг

У меня это робило 19 лет без всяких хреней: mount, cp, umount. Самих действий в скрипте было больше, но что касается копирования на флэшку только эти.

anc ★★★★★
()
Ответ на: комментарий от gag

Проблема есть: если я перемещаю файл в другую ФС, то перед окончательным удалением на источнике, нужно убедиться в 100% записи данных и метаданных на накопитель с помощью барьера.

В этой теме смешались в кучу разные вопросы.

Насчёт удаления источника до подтверждённой записи в назначение я спорить не буду: риск потери данных из-за отложенной ошибки записи, действительно, есть. Хотя и такое подтверждение для каждого отдельного файла ровным счётом ничего не гарантирует: если устройству приспичило помереть уже после подтверждённой записи N файлов — а значит, и удаления этих N файлов в источнике — то никак ты эти N файлов штатным образом не вернёшь.

Но вот привычка пользователей выдирать флешку без размонтирования — это уже другой вопрос, который не эквивалентен первому. И тут я за обучение пользователей, а не выстраивание вокруг этой дурной привычки системы костылей и подпорок.

Rootlexx ★★★★★
()
Ответ на: комментарий от yorshka

Какого приложения? У тебя однозадачная ОС? Мы тут про Linux.

Нахрена лишние окна? Ядро лучше разберётся, как сбросить кэш. Когда мне не надо кэш, я знаю, что мне делать и мне немного плевать на тех, кто не знает.

AS ★★★★★
()
Ответ на: комментарий от AS

Нахрена лишние окна?

О нет! У тебя гнум, из которого кнопку «Свернуть окно» выкорчевали? Соболезную.

Ядро лучше разберётся, как сбросить кэш

Как видишь, не разбирается.

Когда мне не надо кэш, я знаю, что мне делать и мне немного плевать на тех, кто не знает.

А им плевать на тебя. Так что не ной, проходи мимо.

yorshka
() автор топика
Ответ на: комментарий от yorshka

А им плевать на тебя. Так что не ной, проходи мимо.

Я не ною, а сожалею об ущербных. Деградация...

AS ★★★★★
()
Последнее исправление: AS (всего исправлений: 1)
Ответ на: комментарий от AS

Чтобы был виден прогресс копирования и его можно было отменить в любой момент.

Ты в своём уме? Скорость освобождения приложения важнее на порядки.

Не всегда, например если копирование на флэшку это единственная задача приложения в текущий момент времени. И таких случаев достаточно много в части копирования c/на флэшку.

anc ★★★★★
()
Ответ на: комментарий от anc

Софт врядли, т.к. он получит из кэша.

Попробуй новый kio в кедах, там просто нет такой проблемы.

altwazar ★★★★★
()
Ответ на: комментарий от Rootlexx

У vfat и так есть опция монтирования flush

У vfat, а проблема затрагивает не только флешки и фат. Так же эта опция только сглаживает одну её сторону.

Вместо наворачивания отвратительных костылей, которые работают лишь в части сценариев, и которые реализованы на совершенно неправильном уровне, следовало решать проблему (если вообще считать это проблемой) на уровне ядра.

Нет смысла мучить пользователей на столько яркой и раздражающей проблемой, пока там кто-то будет гадать, как её решить в ядре и стоит ли этим заниматься. Теперь у пользователей кде нормальная работа с флешками и сетевыми шарами, может это сподвигнет других разработчиков задуматься и найти более подходящее решение.

altwazar ★★★★★
()
Ответ на: комментарий от Rootlexx

Хотя и такое подтверждение для каждого отдельного файла ровным счётом ничего не гарантирует: если устройству приспичило помереть уже после подтверждённой записи N файлов — а значит, и удаления этих N файлов в источнике — то никак ты эти N файлов штатным образом не вернёшь.

Надо понимать, что есть два отдельных случая:

  1. Ты записал файлы на устройство, после чего оно умерло и записанные данные с него недостать.

  2. Во время записи произошел сбой. Глюкнул usb, задели флешку, отвалилась сеть.

Вот от второго случая удаление файлов при перемещении после подтверждения записи спасает. Лично я предпочитаю не пользоваться перемещением в принципе, особенности кэширования в линуксе за десятки лет закрепили во мне эту привычку. Но вдалбливать в голову каждому юзеру особенности кэширования и подобные привычки - бесполезная трата времени.

Но вот привычка пользователей выдирать флешку без размонтирования — это уже другой вопрос, который не эквивалентен первому.

Размонтировать надо в любом случае. Но нормальная работа софта в качестве побочного эффекта сводит к минимуму и риск потери данных без размонтирования.

altwazar ★★★★★
()
Ответ на: комментарий от gag

Однозначно! Полно программ перемещают данные - нужен один надёжный механизм для всех.

Не всё так однозначно. Если для интерактивного софта типа долфина и всяких файловых менеджеров всё просто, то менять поведение ПО в целом (cp/mv/rsync) довольно опасно. Т.е. надо одновременно как-то придумать и один механизм для всех, но сохранить текущее поведение.

Для этого надо сначала решить то, о чём напомнил @legolegs…

Это старое заблуждение. В линуксе кэш можно задавать для отдельных устройств через bdi/max_bytes и включения стрикт режима. Через костыль и правила udev можно для всяких usb-шных устройств ограничить кэш, и это хорошее улучшение дефолта на типичном десктопе (например: https://github.com/biglinux/usb-dirty-pages-udev).

altwazar ★★★★★
()
Последнее исправление: altwazar (всего исправлений: 2)
Ответ на: комментарий от altwazar

У vfat, а проблема затрагивает не только флешки и фат.

Ты сам написал про vfat, поэтому я и ответил конкретно про vfat. Добавить похожую опцию для других ФС, используемых на внешних носителях, технически не должно быть большой проблемой.

Теперь у пользователей кде нормальная работа с флешками

Теперь у пользователей KDE различия в поведении:

  • если ты копировал файлы на флешку через Dolphin, то после выдёргивания флешки внешне (скорее всего) всё будет нормально
  • если ты нажал «Сохранить» в программе с открытым файлом на флешке, скачал туда файл через браузер, распаковал туда архив, использовал вызывающую под капотом консольные команды программу… — после выдёргивания флешки не досчитаешься файлов

При этом поведение при копировании приучает пользователей к тому, что выдёргивать флешку нормально, и поэтому создаёт ложное ощущение безопасности — с таким непоследовательным подходом вероятность внезапной для пользователя потери данных только повышается.

Пойди расскажи им, что «выдёргивать флешку можно, но только если программа использует KIO для записи файлов, а в других случаях нельзя». Сравни по сложности объяснения с просто «выдёргивать флешку нельзя».


Впрочем, пользователи KDE к такой непоследовательности уже привыкли: чего сто́ит инерционная прокрутка тачпадом, которая в половине окружения работает (где используется QtQuick), а в другой половине не работает (Qt Widgets)…

Rootlexx ★★★★★
()
Ответ на: комментарий от Rootlexx

Теперь у пользователей KDE различия в поведении:

Пофиг, изменения в KIO лечит основную массу проблем юзера с флешками и сетевыми дисками.

Сравни по сложности объяснения с просто «выдёргивать флешку нельзя».

Проблема не про выдергивание флешки без отмонтирования. Что теперь при этом пользователь реже файлы будет терять просто приятный побочный эффект.

altwazar ★★★★★
()

Если кому интересно, несколько тестов. Скорость копирования, отмонтирования на объеме в 14.8 Гб, файлы размером под гиг:

  1. Новый KIO: 660.82 secs/29.72 millis

  2. cp с дефолтными dirty 10%/20% и с 64 Гб памяти: 43.25 mins/410.65 secs

  3. cp с ограничением max_bytes на 16 Мб и стрикт лимитом: 699.22 secs/4.27 millis

Это для демонстрации одной стороны проблемы при работы с флешками в линуксе.

altwazar ★★★★★
()
Ответ на: комментарий от legolegs

А почему?

В алгоритмы работы не вникал, но закономерность наблюдал такую с медленными дисками типа флешек:

  1. Большой кэш и в него всё влезло при копировании - мгновенное копирование, долгое отмонтирование, нормальное суммарное время.

  2. Маленькие кэш - медленно копируется, быстро отмонтируется, суммарное время повыше, но нормальное.

  3. Большой кэш, но в него много чего не влезло - долгое копирование, долгое отмонтирование, огромное суммарное время.

altwazar ★★★★★
()
Ответ на: комментарий от gag

проблема копирования на флешку

вот видишь я в этом даже разницы не вижу, фотографии с флешки из фотоаппарата переместил на компьютер, с компьютера скопировал фотографии на обычную флешку для переноса на другие компьютеры, что с флешки, что на флешку - индикатор работает одинаково корректно… я думаю тут весь секрет в том что железо антикварное, нет никакаих m.2 ssd и usb3, где погнались за скоростями и минусы конечно тут же начались.

amd_amd ★★★★★
()
Последнее исправление: amd_amd (всего исправлений: 1)
Ответ на: комментарий от legolegs

дефолт в целом примерно в 5 раз медленнее, не субъективно, а вообще? А почему?

Зависит от количества рамы в аппарате. Если оперативки много, то и буфер тоже большой. Сначала начинается запись с минимальным приоритетом - типа в background и при нормальном размере дефолтного буфера это не проблема. Да даже когда время для не торопливой записи вышло - это тоже не большая проблема. А вот когда буфер огромный - система пытается его вытеснить очень активно и пытается подоткнуть данные максимально быстро и много - очередь заполняется до предела, а контроллер флэхи уже это не вывозит и начинает работать медленнее, чем когда очередь не заполнена.

Собственно я об этом пол треда толковал - огромный writeback тупо вреден и никак не способствует бОльшей скорости. Его размер следует устанавливать таким, чтобы он обеспечивал нормальную отзывчивость системы и всё. Там если покопаться - можно найти, что если не дай божи эта память кому-то понадобится - то возникнет состояние гонки и вы можете словить лютые тормоза. Дефолт устанавливался ещё во время 3.1 в последний раз или даже раньше - а тогда типовой объем памяти был не такой. С тех пор у разрабов внешние накопители стали дюже шустрыми, а не только сами системы выросли в скорости. А вот про тех, кто пользуется китайскими поделками или флэшками времён реголита никто не подумал.

lonelywoolf
()
Ответ на: комментарий от amd_amd

я думаю тут весь секрет в том что железо антикварное, нет никакаих m.2 ssd и usb3, где погнались за скоростями и минусы конечно тут же начались.

Нет, тут дело не в том, что за скоростью погнались. Дело в том, что у тебя действительно железо, под которое подходят дефолты. В отличии от ораторов выше, которые прямой текст не понимают и начинают свои фантазии изливать. Дело именно в том, что у тебя (зная твое железо) - 20% оперативки это не более 400М, а с учетом того, что это 20% от свободной оперативки - у тебя writeback вряд ли бывает больше 200М. Т.е. это может быть 10-20 секунд затупа медленной флэшки, который ты даже не замечаешь ввиду антикварности железа - оно у тебя в принципе не особо торопливое.

lonelywoolf
()
Вы не можете добавлять комментарии в эту тему: только для зарегистрированных, score>=50.