LINUX.ORG.RU

Работа DNF/RPM в Fedora 34 будет ускорена

 , , ,


0

1

Одним из изменений, планирующихся в Fedora 34, будет использование dnf-plugin-cow, ускоряющего работу DNF/RPM за счёт техники Copy on Write (CoW), реализуемой поверх файловой системы Btrfs.

Сравнение текущего и будущего методов установки/обновления RPM пакетов в Fedora.

Текущий метод:

  • Разложить запрос установки/обновления на список пакетов и действий.
  • Скачать и проверить целостность новых пакетов.
  • Последовательно установить/обновить пакеты используя RPM файлы, декомпрессию и запись новых файлов на диск.

Будущий метод:

  • Разложить запрос установки/обновления на список пакетов и действий.
  • Скачать и одновременно разархивировать пакеты в локально оптимизированный RPM файл.
  • Последовательно установить/обновить пакеты используя RPM файлы и связывание ссылок (reflinking) для переиспользования данных, уже находящихся на диске.

Для реализации связывания ссылок используется ioctl_ficlonerange(2)

Ожидаемое увеличение производительности - на 50%. Более точные данные появятся в январе.

>>> Подробности



Проверено: Shaman007 ()
Последнее исправление: atsym (всего исправлений: 1)

Ответ на: комментарий от hummer

Это ты так пошутил про стабильность с 2013 года? Я когда последний раз смотрел эту поделку (в 2016 году), то она склеивала ласты под нагрузкой. На счёт малой вероятности ты очень оптимистичен. Уверен, что пару лет будут огребать от этой технологии, тем более портить файлы она может так, что первое время будет все работать и концы порчи найти будет нетривиально.

Reset ★★★★★
()
Ответ на: комментарий от anonymous

Да, объясните мне. За 14 лет моего использования Linux мне ни разу не потребовалась платная (!) техподдержка. Если возникали какие-то проблемы, все это решалось гуглением или в крайнем случае форумом (в том числе и ЛОРом, за что я очень благодарен).

Rinaldus ★★★★★
()
Ответ на: комментарий от anonymous

Платная подписка нужна для не-IT контор, да и то не всегда.

Reset ★★★★★
()
Ответ на: комментарий от Rinaldus

Могут быть нетривиальные проблемы при взаимодействии ядра с оборудованием или при использовании в софте не очень популярного ядерного api, их с помощью гугления не решишь, но и платная техподдержка тоже не решит. Обычно если в конторе возникают такие проблемы, то она способа нанять себе своего специалиста по ядру.

Reset ★★★★★
()
Ответ на: комментарий от anonymous

Им нужно что-то придумать с метаданными репозитория. Скачивать их небольшими дельтами (суточными, часовым…). Сама же установка пакетов не такая долгая как некоторые пишут.

zchunk придуман и ускоряет процесс, но он все равно небыстрый.

mikhailnov
()
Ответ на: комментарий от rukez

Я кстати все ленился погуглить - а есть у dnf install ключик чтоб НЕ качать мету?

dnf –setopt=metadata_expire=-1

mikhailnov
()
Ответ на: комментарий от hummer

Не 100 магабайт и не по 5 - 10 минут. Зачем ты врёшь?

На процессоре Intel Atom N450 1.6 ГГц как раз примерно 5 минут. Замедление непропорционально уменьшению производительности процессора, не kx+b. Почему, не ясно.

mikhailnov
()
Ответ на: комментарий от Reset

Наверное какое-то очень специфическое железо, для которого может быть придется писать свои собственные модули ядра. К сожалению, я админ, а не программист. К тому же имел продолжительный опыт с Gentoo, так что самосборка ядра из того, что там есть, для меня не является какой-то сложной задачей. Так что при условии наличия в ядре необходимых драйверов, я может с этим и справился бы. Опять же, зависит от конкретной ситуации , а то мы сейчас обсуждаем сферическую лошадь в вакууме.

Rinaldus ★★★★★
()
Ответ на: комментарий от Rinaldus

Нет, обычное железо. Просто если контора большая, то этого железа может быть 100500 штук и больше и все проблемы сразу будут вылезать наружу. В обычной средней конторе никогда с этими проблемами не столкнутся.

Reset ★★★★★
()
Ответ на: комментарий от Reset

А платная техподдержка это сразу решит? Ты же сам говорил, что не решит

их с помощью гугления не решишь, но и платная техподдержка тоже не решит

А что касается содержания грамотного линуксового сисадмина, то я это только приветствую. Это гораздо лучше, чем содержать обожравшиеся корпорации.

Rinaldus ★★★★★
()

прошли годы, а в федоре до сих пор проблемы уровня 95 года.

anonymous
()
Ответ на: комментарий от Reset

Это ты так пошутил про стабильность с 2013 года?

Ну официально она стабилизировалась в 2013. Что прочитал, то и пересказал.

Я когда последний раз смотрел эту поделку (в 2016 году), то она склеивала ласты под нагрузкой.

Проседала производительность или портились данные?

На счёт малой вероятности ты очень оптимистичен.

Ну там не только btrfs можно, но и любую другую файловую систему с поддержкой CoW, например XFS.

Уверен, что пару лет будут огребать от этой технологии, тем более портить файлы она может так, что первое время будет все работать и концы порчи найти будет нетривиально.

Если я правильно понимаю, твои опасения касаются в основном лишь btrfs. Но всё таки с 2016 года тоже не мало времени прошло и эта файловая система плотно использовалась в Facebook. Думаю, что основные проблемы там давно решены, хотя в 5.10 действительно появилась регрессия по производительности. В коде будущей 5.11 её уже частично исправили. Думаю, что к релизу 34-й Федоры исправят окончательно.

hummer
() автор топика
Ответ на: комментарий от Reset

Тем более, тогда какой в ней смысл? Я решительно против, чтобы содержать обожравшиеся корпорации. Достаточно лишь кинуть клич на hh.ru или хотя бы тут, и фирма сможет нанять знающего админа, который сможет разрулить все проблемы. Это одинаково полезно как и для самого админа, так и для фирмы, которая его наняла.

Rinaldus ★★★★★
()
Последнее исправление: Rinaldus (всего исправлений: 1)
Ответ на: комментарий от Rinaldus

@Reset с тобой согласен насчёт ненужности платной поддержки. Он говорит о решении нетривиальных проблем, для которых просто гугления недостаточно и которые платная поддержка так же не решит.

hummer
() автор топика
Ответ на: комментарий от Reset

Вот этот ioctl_ficlonerange всё и попортит либо fs либо файлы.

Он не может испортить файловую систему.

anonymous
()
Ответ на: комментарий от Reset

Вот этот ioctl_ficlonerange всё и попортит либо fs

На основании чего ты так решил?

либо файлы

ошибка в передаче офсетов

Мне почему-то кажется, что rpm умеет копировать файлы. FICLONE ничем не отличается от копирования.

intelfx ★★★★★
()
Ответ на: комментарий от intelfx

Отличается. Скопировать файлы с помощью read/write или вызовом утилиты cp это проверенный годами 100% работающий способ. ficlone это совсем другой механизм, который требует аккуратной работы с офсетами, тут есть 100500 мест где можно накосячить и я уверен, что баги будут.

Reset ★★★★★
()
Ответ на: комментарий от Reset

ficlone это совсем другой механизм, который требует аккуратной работы с офсетами, тут есть 100500 мест где можно накосячить

Ты вообще системный вызов этот видел, эксперт? 🤣

intelfx ★★★★★
()
Ответ на: комментарий от hummer

Ты думаешь, что поддержка это «у меня не работает вон та программа, что мне делать?»? Тогда с тобой нет смысла говорить.

anonymous
()

Ожидаемое увеличение производительности - на 50%.

Сейчас конкретная свистопляска в ядре, вейланд ещё недоделан, иксы уже деприкейтят, на горизонте маячит gtk4… Меня меньше всего беспокоит производительность DNF.

papin-aziat ★★★★★
()
Ответ на: комментарий от anonymous

У меня при хорошем канале эти 100 метров качаются дольше чем обновление на 1 гиг после чистой установки.

Пробовал fastestmirror=1?

papin-aziat ★★★★★
()
Ответ на: комментарий от anonymous

Им нужно что-то придумать с метаданными репозитория. Скачивать их небольшими дельтами (суточными, часовым…).

Дык есть же системДешный таймер, по умолчанию включён, но толку не много, я включаю.

papin-aziat ★★★★★
()
Ответ на: комментарий от anonymous

alpha, перепиши dnf на Go. или ты только языком болтать умеешь?

anonymous
()
Ответ на: комментарий от Reset

ну, отношусь к btrfs с некоторой опаской, но с 18 года использую под весьма большрй нагрузкой. успешно.

зы: дефолтный commit=30, это слишком мало и приводит к проблемам, от крайне низкой производительности до крахов под нагрузкой.

glebiao
()
Ответ на: комментарий от anonymous

А я не люблю кормить троллей, не умеющих читать.

hummer
() автор топика
Ответ на: комментарий от papin-aziat

Сейчас конкретная свистопляска в ядре, вейланд ещё недоделан, иксы уже деприкейтят, на горизонте маячит gtk4… Меня меньше всего беспокоит производительность DNF.

Никто и не говорил, что тебя это должно беспокоить. Но есть другие, которые хотят это улучшить.

hummer
() автор топика
Ответ на: комментарий от hummer

Меньше говнокода будет. Пусть лучше китайские товарищи пилят.

anonymous
()
Ответ на: комментарий от hummer

Никто и не говорил, что тебя это должно беспокоить. Но есть другие, которые хотят это улучшить.

Я хочу чтобы DNF был лучше и быстрее, но меня это не беспокоит.

papin-aziat ★★★★★
()
Ответ на: комментарий от papin-aziat

Я хочу чтобы DNF был лучше и быстрее, но меня это не беспокоит.

Тогда зачем ты продолжаешь всех держать в курсе?

hummer
() автор топика
Ответ на: комментарий от Rinaldus

Я решительно против, чтобы содержать обожравшиеся корпорации.

Rinaldus ★★★★★ (27.12.20 13:08:33) нищеброд

Вообще как-то там со свиньёй и желудями больше…

Перелазь на HURD, идейный.

fornlr ★★★★★
()
Последнее исправление: fornlr (всего исправлений: 2)
Ответ на: комментарий от anonymous

dnf нуждается в ускорении, ввожу dnf inst нажимаю таб и жду секунду прежде чем таб сработает, ввожу yum inst нажимаю таб и все мгновенно подставляется…

anonymous
()
Ответ на: комментарий от BackDoorLover

видел, но точно до появления dnf.

Неужели dnf тормознее yum?

Я днф вообще не использую. Так и не понял, зачем он нужен. Да и в юме знаю не все ключи. Привык по старинке к рпму. Для домашнего зоопарка можно и ручками. То есть когда-то админил сервера на продакшне, была актуальна организация автоматизации обслуживания систем. Там юм заруливал. Сейчас такой задачи нет. И как я понимаю, вопрос стоит в скорости обработки онлайн-запросов на обслуживание пакетов. Но я сомневаюсь, что новый алгоитм что-то подвинет в плане ускорения. Юм тормознутее днф? Возможно, но там скорей вопрос в программной реализации самого юм.

с уходом от yum обещали

Ну дык. Это вечная тема. В релизах чего только не напишут.

anonymous
()
Ответ на: комментарий от anonymous

dnf нуждается в ускорении, ввожу dnf inst нажимаю таб и жду секунду прежде чем таб сработает, ввожу yum inst нажимаю таб и все мгновенно подставляется…

и нахрена этот днф нужен?

anonymous
()
Ответ на: комментарий от hummer

Богдан с тобой не согласны.

С неуважением, Богдан

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.