LINUX.ORG.RU

Сообщения hakavlad

 

Amazon работает над новым упреждающим восстановлением памяти для ядра Linux

Форум — Talks

Более года инженеры Amazon работали над DAMON как новым средством мониторинга доступа к данным в Linux. Эту серию патчей еще предстоит внедрить, но работа над ней продолжается с намерением обновить ее, когда она будет готова. Совсем недавно задействованные инженеры работали над реализацией восстановления страниц на основе DAMON для ядра Linux для упреждающей работы с системами, имеющими высокую нагрузку на память.

На этой неделе Amazon разослала вторую серию патчей «запрос комментариев», реализующих упреждающее восстановление страниц памяти на основе DAMON. Этот модуль ядра будет обеспечивать восстановление страниц с помощью DAMON для отслеживания доступа к данным при обнаружении холодных страниц. В серии патчей поясняется: «Он находит области памяти, к которым не осуществлялся доступ в течение определенного времени, и выводит страницу. Чтобы избежать чрезмерного использования ресурсов ЦП для операций вывода страниц, можно настроить ограничение скорости. При ограничении скорости он выдает страницы из областей памяти, к которым не осуществлялся доступ в первую очередь.Кроме того, чтобы убрать накладные расходы на мониторинг в мирной ситуации и вернуться к восстановлению гранулярности страницы на основе LRU-списка, когда он не работает, используется механизм активации на основе трех водяных знаков. используется с долей свободной памяти в качестве метрики водяного знака. Для удобной настройки он использует параметры модуля. Используя их, системные администраторы могут включать / отключать его и настраивать порог времени идентификации холода, ограничение скорости и три водяных знака».

Производительность этой утилизации страниц на основе DAMON для Linux звучит неплохо: «DAMON_RECLAIM в ядре Linux v5.12 с устройством подкачки ZRAM и ограничением скорости 10 ГБ / с обеспечивает экономию памяти 32% при накладных расходах всего 1,91%. Для этого DAMON_RECLAIM потребляет только 5,72% времени одного ЦП. Ожидается, что из потребления ЦП только около 1,448% времени одного ЦП будет использоваться для мониторинга шаблонов доступа».

Те, кто хочет узнать больше об этой инициативе ядра Amazon Linux, могут увидеть эту серию патчей и дополнительную информацию в этой ветке списка рассылки ядра.

https://lore.kernel.org/lkml/20210608115254.11930-1-sj38.park@gmail.com/

 

hakavlad ()

Выпуск r-test v0.1.0 — инструмента для исследования эффективности кэширования файлов при нехватке памяти

Новости — Open Source
Группа Open Source

r-test - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций в условиях нехватки памяти. Код открыт под лицензией CC0.

Основной способ использования - считывание файлов из указанной директории в случайном порядке и их добавление в список, пока не будет считано заданное число мебибайт.

Имеет два режима работы. Первый - вспомогательный - служит для создания директории заданного объема. При этом в директории создается заданное число мебибайтных файлов со случайными именами.

Второй режим - основной - режим чтения файлов из указанной директории в случайном порядке. Во время чтения растет объем потребляемой скриптом памяти, а скорость считывания заданного объема файлов зависит от объема кэшированных файловых страниц.

Частью проекта также является вспомогательных скрипт drop-cache, который рекомендуется выполнять перед началом теста.

В процессе работы скрипта в режиме чтения выводится общее время работы, средняя скорость чтения, имя последнего считанного файла.

Скрипт также позволяет логировать результаты в файл. Пример лога:

2021-05-30 21:47:56,084: mkdir testdir1
2021-05-30 21:47:56,211: written testdir1/0.9860985015646311; total size: 1M
2021-05-30 21:47:56,289: written testdir1/0.0691916965192153; total size: 2M
2021-05-30 21:47:56,377: written testdir1/0.27868153831296383; total size: 3M
2021-05-30 21:47:56,455: written testdir1/0.7341114648416274; total size: 4M
2021-05-30 21:47:56,533: written testdir1/0.5363495159203434; total size: 5M
2021-05-30 21:47:56,533: OK
2021-05-30 21:48:23,193: found 5 regular files in testdir1, total size: 5.0M
2021-05-30 21:48:23,199: setting self oom_score_adj=1000
2021-05-30 21:48:23,199: reading files from the directory testdir1
2021-05-30 21:48:23,229: read 1.0M (20.0%) in 0.0s (avg 32.9M/s); file 0.7341114648416274
2021-05-30 21:48:23,296: read 2.0M (40.0%) in 0.1s (avg 20.8M/s); file 0.0691916965192153
2021-05-30 21:48:23,298: read 3.0M (60.0%) in 0.1s (avg 30.3M/s); file 0.0691916965192153
2021-05-30 21:48:23,299: read 4.0M (80.0%) in 0.1s (avg 40.1M/s); file 0.7341114648416274
2021-05-30 21:48:23,352: read 5.0M (100.0%) in 0.2s (avg 32.6M/s); file 0.27868153831296383
2021-05-30 21:48:23,353: --
2021-05-30 21:48:23,353: read 5.0M in 0.2s (avg 32.6M/s); src: 5 files, 5.0M
2021-05-30 21:48:23,354: OK

>>> Подробности

 , ,

hakavlad ()

Убунтята, не проходите мимо: le9 patch добавлен в linux-xanmod и ваш OOM killer будет вылечен

Форум — General

Тред https://forum.xanmod.org/thread-4102-post-7572.html

Патч https://github.com/hakavlad/le9-patch

В чем дело?

Линуксы зависают при нехватке памяти: Линукс ядро не может мягко обрабатывать ситуации с нехваткой памяти

Решение: запрет на вытеснение определенного объема файловых страниц. Это обеспечивает этот самый патч, и киллер приходит быстро, система не виснет.

Патч принят в pf-kernel и linux-xanmod. linux-xanmod предоставляет бинарные сборки для deb-дистрибутивов.

Скачать бесплатно https://xanmod.org/

 ,

hakavlad ()

Тестируем Linux 5.12 с патчем Multigenerational LRU Framework

Форум — General

Новость о патче: https://www.opennet.ru/opennews/art.shtml?num=54972

Пришло время тестировать ядро с этим патчем. Патч принят в linux-zen, и соответственно буду тестировать zen-kernel-5.12.4-zen1.

TLDR;

  • OOMK Killer приходит даже с еще большей задержой, чем при отключении multigen LRU;
  • работа vm.swappiness сломана;
  • работа vm.watermark_scale_factor сломана;
  • при включении multigen LRU не работают эффекты патча le9 [1], обеспечивающего защиту чистого кэша файлов.

Подробности далее.

[1] https://github.com/hakavlad/le9-patch

Призывается @post-factum

 ,

hakavlad ()

Игнорировать модератора

Форум — Linux-org-ru

Попытался заигнорить одного модератора, чтоб больше не читать его бредни. Но кнопка ИГНОРИРОВАТЬ отсутствует.

Почему нет возможности игнорировать модератора?

Не пора ли добавить такую возможность?

 

hakavlad ()

Ведро 512 выкатилось

Форум — Talks

 

hakavlad ()

Элбакян у Светова

Форум — Talks

основатель сайхаб у светова. Скоро начало стрима

https://www.youtube.com/watch?v=nG_I2QQc9Ww

 

hakavlad ()

Защищаем чистый кэш файлов при нехватке памяти для предотвращения пробуксовки и livelock

Форум — Talks

Во-первых, вышла новая линейка для этой самой защиты: https://github.com/hakavlad/le9-patch/tree/main/le9db_patches.

В описании патчей все написано.

Спрашивайте ответы, если еще остались вопросы.

 , , ,

hakavlad ()

systemd-oomd убьет вашу сессию (внимание пользователям спинов Fedora 34)

Форум — Desktop

Собственно сабж. systemd-oomd может убивать только целые контрольые группы.

В сессиях Xfce, Mate, LXDE etc. приложения и сессия лежат в общей группе session-X.scope.

При переполнении свопа сессия будет убиваться практически всегда и целиком.

https://bugzilla.redhat.com/show_bug.cgi?id=1933494

И похоже, что псем пофиг: юзеры все стерпят. Проблемы маргинальных DE никого не волнуют.

Ко всему прочему этот systemd-oomd грузит проц: в моем опыте в среднем на 0.6%.

Оправдывайтесь, @alpha

Еще:

https://bugzilla.redhat.com/show_bug.cgi?id=1941340

https://bugzilla.redhat.com/show_bug.cgi?id=1941170

 , ,

hakavlad ()

Линуксы зависли, реакции нет

Форум — Desktop

Debian 9, Linux 4.9. Внезапно гуй перестал отвечать, курсор мертв много минут. Почему такое происходит в 2020? Почему из коробки дистибутивы не научились лечить такое?

Фото стола: https://i.ibb.co/8MzTJzq/P-20201129-072410.png

 

hakavlad ()

oom_score=666 по умолчанию, oom_score > 1000

Форум — General

WTF https://ibb.co/9N2c0pH https://ibb.co/xfD6Ty9 oom_score=666

При околонулевой памяти у большинства процессов, ядро последнее на f33 Linux 5.9.8, oom_score=666.

Может переваливать за тысячу https://ibb.co/f9mYsDC oom_score=1216

 

hakavlad ()

Transparency report

Форум — Linux-org-ru

Когда начнет регулярно публиковаться сабж?

 

hakavlad ()

Kaspersky обнаружила версию вымогателя RansomEXX для Linux

Форум — Talks

Фирма, занимающаяся безопасностью, Kaspersky заявила сегодня, что обнаружила версию вымогателя RansomEXX для Linux, что стало первым случаем, когда крупный штамм вымогателя Windows был перенесен на Linux для помощи в целевых вторжениях.

RansomEXX - это относительно новый штамм вымогателей, который впервые был обнаружен в июне этого года.

Программа-вымогатель использовалась в атаках на Министерство транспорта Техаса, Konica Minolta, подрядчика правительства США Tyler Technologies, систему общественного транспорта Монреаля и, совсем недавно, на судебную систему Бразилии (STJ).

RansomEXX - это то, что исследователи безопасности называют «охотником на крупную дичь» или «программой-вымогателем, управляемой человеком». Эти два термина используются для описания групп программ-вымогателей, которые охотятся на крупные цели в поисках больших выплат, зная, что некоторые компании или правительственные учреждения не могут позволить себе оставаться в стороне, пока они восстанавливают свои системы.

Эти группы сами покупают доступ или взламывают сети, расширяют доступ к как можно большему количеству систем, а затем вручную развертывают свой двоичный файл вымогателя в качестве конечной полезной нагрузки, чтобы нанести ущерб как можно большей инфраструктуре цели.

В последние месяцы во многих инцидентах некоторые банды вымогателей не беспокоились о шифровании рабочих станций и в первую очередь нацеливались на важнейшие серверы внутри сети компании, зная, что, сначала отключив эти системы, компании не смогут получить доступ к своим централизованные хранилища данных, даже если рабочие станции не пострадали.

Банда RansomEXX, создающая Linux-версию своей программы-вымогателя для Windows, созвучна тому, сколько компаний работают сегодня, причем многие фирмы используют внутренние системы на Linux, а не всегда на Windows Server.

Версия для Linux имеет смысл с точки зрения злоумышленника; всегда стремятся расширить и затронуть как можно больше базовой инфраструктуры, стремясь нанести ущерб компаниям и требуя более высоких выкупов.

То, что мы видим от RansomEXX, вскоре может стать определяющей отраслью тенденцией, поскольку другие крупные группы программ-вымогателей также развернут свои версии Linux в будущем.

И эта тенденция, похоже, уже началась. По данным компании по кибербезопасности Emsisoft, помимо RansomEXX, банда вымогателей Mespinoza (Pysa) также недавно разработала вариант Linux на основе своей первоначальной версии Windows.

Но программа-вымогатель Linux тоже не уникальна. В последние годы другие банды вымогателей также создали штаммы вымогателей для Linux, такие как группа Snatch. Однако эти группы были небольшими операциями, которые полагались на спам-кампании для заражения жертв, редко были успешными и не участвовали в целевых вторжениях, подобных нынешнему поколению групп программ-вымогателей, которые мы наблюдаем сегодня.

https://www.zdnet.com/article/linux-version-of-ransomexx-ransomware-discovered/

 

hakavlad ()

Вышла Fedora 33 [ещё нет, но скоро]

Форум — Talks

Основные изменения:

  • btrfs по умолчанию на десктопных вариантах

  • swap on zram по умолчанию

  • systemd-resolved по умолчанию

  • nano - редактор по умолчанию

  • earlyoom включен в KDE редакции

  • включение демона uresourced по умолчанию для резервации ресурсов сессии для активного пользователя, см https://fedoraproject.org/wiki/Changes/Reserve_resources_for_active_user_WS - это должно помочь обрабатывать ситуации нехватки памяти

Прочие мелочи, см https://fedoraproject.org/wiki/Releases/33/ChangeSet

 

hakavlad ()

Systemd 247 объединяет Systemd-OOMD для улучшения обработки нехватки памяти

Форум — Talks

Всего несколько часов назад слился [1] с systemd Git - новый компонент systemd-oomd, продвигаемый Facebook.

Systemd-oomd был разработан для улучшения поведения Linux, связанного с нехваткой памяти / давлением памяти, и основан на коде демона нехватки памяти Facebook, который был расширен для работы не только с серверами Linux, но и с настольными системами.

Демон systemd-oomd опрашивает контрольные группы с поддержкой OOMD для мониторинга и завершает работу в зависимости от нехватки памяти или использования подкачки. Поведение systemd-oomd можно настроить с помощью нового файла конфигурации oomd.conf. Этот демон будет уничтожать группы только в том случае, если EnableOomdKill установлен как явно не желающий убивать случайные процессы из-за использования памяти. Другие новые настройки включают параметры ManagedOOMSwap=, ManagedOOMMemoryPressure= и ManagedOOMMemoryPressureLimitPercent=. Команда oomctl используется для анализа состояния systemd-oomd.

Для первоначального выпуска systemd 247, в котором проходит премьера, systemd-oomd будет отключен по умолчанию и требует установки -Dmode=developer во время сборки для активации режима разработчика. По крайней мере, на данный момент это считается функцией предварительного просмотра и все еще дорабатывается, поэтому на данный момент не рекомендуется для производственных сред.

Слияние составляет чуть более трех тысяч строк нового кода.

Разработчики Systemd работают над подготовкой systemd 247 к выпуску в ближайшие недели.

  1. https://github.com/systemd/systemd/commit/69c0807432fa4fbfbf507a53872664cd26715559

 

hakavlad ()

Десктоп бати-пенсионера: Linux Mint 18.3 Mate

Галерея — Скриншоты

Еще фото: https://imgur.com/a/dGPCVJd

Старенький ноутбук 2 ядра 1.7 гига Lenovo G580. Своп на zram, disksize=2.6G.

Стренький Минт, уже несколько лет работает. Систему обновляю раз в несколько месяцев.

Основная задача: беспроблемный веб-браузинг: ютуб, яндексы, погода, новости, местные сайты. Доступ к популярным сайтам обеспечивается браузерм c визуальными закладками.

Firefox с одним обработчиком контента для экономии потребления памяти.

Для обработки нехватки памяти используется, конечно, nohang (при обычном браузинге на самом деле до этого никогда не доходит, десятки вкладок можно без проблем открыть).

С веб-браузингом машина вполне справляется, zram помогает делать своппинг безболезненным.

На системном мониторе со старта занято 600М, с браузером с несколькими вкладками - 1G.

Все работает как часы, проблем никаких не было. Батя доволен. Единственный случай был: установщики роутера из Ростелекома предлагали снести эту непонятную систему и установить вместо этого нормальную винду.

>>> Просмотр (1366x768, 788 Kb)

 ,

hakavlad ()

Просто оставлю это здесь: Игра в supertux2 с множественными `tail /dev/zero` в фоне без зависаний

Форум — Desktop

Собственно: https://youtu.be/fPnbnNX9CPE

Система на HDD, Debian 9 Mate, MemTotal=10GB, swap on zram (disksize=14GB). memavaild, prelockd и nohang-desktop работают в фоне и помогают сохранять отзывчивость несмотря ни на что.

https://github.com/hakavlad/nohang

https://github.com/hakavlad/prelockd

https://github.com/hakavlad/memavaild

Кратко: prelockd - новейшее оружие в борьбе за отзывчивость при нехватке памяти.

Спрашивайте ответы.

 

hakavlad ()

Python3.9 использует много анонимной памяти

Форум — Development

python3.9.0rc1, Fedora 33

Сравним два сценария:

  1. https://github.com/hakavlad/nohang-extra/blob/master/NOH_39_FAT/2/1
  2. https://github.com/hakavlad/nohang-extra/blob/master/NOH_39_FAT/2/2

На первый вздляд скрипты одинаковы: в самом начале запускается бесконечный цикл, и интерпретация никогда не продолжится дальше.

Однако:

Первый скрипт при запуске потребляет 11924 кб анонимной памяти (VmRSS: 16 MiB).

Второй - 3856 кб анонимной (VmRSS: 8 MiB).

В чем подвох? С более старыми версиями проблемы не было. С новым интерпретатором - аномально высокое потребление анонимной памяти. Каково возможное объяснение явления? Само рассосётся или репортить?

 

hakavlad ()

Швейцарские физики выбирают nohang для обработки нехватки памяти

Форум — General

Физики Швейцарской высшей технической школы Цюриха (самого престижного вуза Швейцарии) выбирают nohang для обработки нехватки памяти на своих рабочих станциях:

OOM долгое время был проблемой, к счастью, пакет nohang с бэкпортированием для 18.04 и 20.04 очень помогает. Имейте в виду, что с 20.04 он работает намного лучше из-за более нового ядра и поддержки PSI.

https://readme.phys.ethz.ch/linux/software_on_the_d-phys_linux_computers/

 ,

hakavlad ()

Похоже, systemd-oomd соберется вместе для systemd 247

Форум — Talks

Скоро выйдет systemd 246, похоже, что вскоре после этого новый демон нехватки памяти будет объединен, что даст достаточно времени для тестирования перед systemd 247.

Systemd-oomd - это демон нехватки памяти, разработанный Facebook и разработчиками systemd. Они стремятся к тому, чтобы Linux лучше справлялся с ситуациями нехватки памяти / нехватки памяти. Facebook изначально написал свой код OOMD для своих серверов и с тех пор продолжает дорабатывать и адаптировать, чтобы он одинаково хорошо работал и на настольных компьютерах, и не только.

Systemd-oomd опрашивает systemd на наличие контрольных групп с поддержкой OOMD, чтобы отслеживать их и уничтожать в зависимости от нагрузки на память или использования подкачки. Поведение systemd-oomd контролируется с помощью нового файла конфигурации oomd.conf. Cgroups должен будет использовать EnableOomdKill, если они хотят быть убитыми, когда находятся под давлением.

Возвращаясь к марту, вы получили запрос 15206 с незавершенным кодом systemd-oomd. Недавно произошел всплеск изменений в коде.

http://www.phoronix.com/scan.php?page=news_item&px=systemd-oomd-coming-soon

 

hakavlad ()

RSS подписка на новые темы