PyCon Russia 2021 – конференция для продвинутых python-разработчиков

Место: Природный курорт Клязьма Резорт в 12 км. от Москвы
Даты: 5-6 сентября 2021 г.

Питонисты со всей России и ближнего зарубежья соберутся на 2 дня в подмосковном комплексе Клязьма Резорт, чтобы погрузиться в python-сообщество, расширить контакты и хорошо отдохнуть.

В программе:

• 24 доклада в 2 потока: Разработка на python и ML&Data Science;
• 3 мастер-класса;
• развлечения и призы от спонсоров;
• крутой python-мерч;
• еда (много еды!);
• after-party;
• песни у костра;
• пивной безлимит.

>>> PyCon Russia 2021

Tribler – клиент BitTorrent с открытым исходным кодом, разрабатываемый Делфтским Техническим Университетом (Нидерланды). Клиент написан на PyQt+LibTorrent. Особенности клиента:

• собственная TOR-подобная сеть для анонимизации закачек и раздач;
• приоритизация «альтруистичных» пользователей анонимной сети;
• децентрализованная база торрентов, наполняемая по принципу краудсоринга.

>>> Tribler 7.10

В каталоге Python Package Index нашли несколько пакетов со скрытыми майнерами. Проблемы были в пакетах maratlib, maratlib1, matplatlib-plus, mllearnlib, mplatlib и learninglib, имена которых были придуманы в честь самого себя, а также похожими по написанию на популярные библиотеки (matplotlib) с расчётом, что пользователь ошибётся при написании или попросту перепутает название пакета и не заметит отличий. Пакеты были размещены в апреле под учётной записью nedog123 (другие подписи/ники: Marat Nedogimov и maratoff).

Вот небольшая статистика скачиваний за два месяца:

• maratlib: 2,371
• maratlib1: 379
• matplatlib-plus: 913
• mllearnlib: 305
• mplatlib: 318
• learninglib: 626

Суммарно выходит около 5000 раз, но учитывая зависимости речь скорее идёт о 2500 загрузках.

Вредоносный код был размещён в библиотеке maratlib, которая использовалась в остальных пакетах в форме зависимости. Сам код был скрыт с использованием самописной обфускации, не определяемой типовыми утилитами, и запускался при выполнении сборочного скрипта setup.py, который выполняется во время установки пакета. Далее с GitHub скачивался один из скриптов seo.sh, aza.sh, aza2.sh или aza-obf.sh, который уже загружал сам майнер Ubqminer или T-Rex.

>>> Подробности

Вышло обновление video2midi – кроссплатформенной утилиты, предназначенной для воссоздания многоканального midi-файла из видеороликов в которых присутствует виртуальная midi-клавиатура/нотный лист аналогичный синтезии.

Основные изменения с версии 0.4.0.2:

• Добавлена ​​функция RollCheck, используется для улучшения считывания нажатия нот ( отсеивания ложных срабатываний на чёрных клавишах ), что помогает улучить реконструкцию midi с гибридных видео, где нотный лист отображён с ситнезии а клавиши затёрты реальным пианино.

• Добавлен ползунок в дополнительное окно для управления высотой вертикальных линий клавиш, что позволяет более точно позиционировать клавиши относительно видео.

• Добавлен ползунок для регулировки относительного положения черных клавиш.

• Добавлена ​​возможность определять повторное нажатие/отпуск клавиш по искрам. В некоторых видео многократное нажатие клавиш отображается на виртуальной клавиатуре длительным удержанием клавиш.

• Изменен тип midi формата по умолчанию на 0 (старый тип по умолчанию 1).

• Добавлена ​​возможность указать выходной формат файла midi. Не все DAW могут разделять многоканальные midi типа 1 при импорте. Поэтому, если ваша DAW импортирует многоканальные MIDI-файлы как одноканальную дорожку, попробуйте поиграться с выходным MIDI-форматом.

• Добавлена ​​новая функция квантования нот по времени (привязка к сетке 1/32).

• Внесены изменения в графический интерфейс, переработан код отвечающий за работу кнопок и ползунков.

>>> Подробности

r-test - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций в условиях нехватки памяти. Код открыт под лицензией CC0.

Основной способ использования - считывание файлов из указанной директории в случайном порядке и их добавление в список, пока не будет считано заданное число мебибайт.

Имеет два режима работы. Первый - вспомогательный - служит для создания директории заданного объема. При этом в директории создается заданное число мебибайтных файлов со случайными именами.

Второй режим - основной - режим чтения файлов из указанной директории в случайном порядке. Во время чтения растет объем потребляемой скриптом памяти, а скорость считывания заданного объема файлов зависит от объема кэшированных файловых страниц.

Частью проекта также является вспомогательных скрипт drop-cache, который рекомендуется выполнять перед началом теста.

В процессе работы скрипта в режиме чтения выводится общее время работы, средняя скорость чтения, имя последнего считанного файла.

Скрипт также позволяет логировать результаты в файл. Пример лога:

2021-05-30 21:47:56,084: mkdir testdir1
2021-05-30 21:47:56,211: written testdir1/0.9860985015646311; total size: 1M
2021-05-30 21:47:56,289: written testdir1/0.0691916965192153; total size: 2M
2021-05-30 21:47:56,377: written testdir1/0.27868153831296383; total size: 3M
2021-05-30 21:47:56,455: written testdir1/0.7341114648416274; total size: 4M
2021-05-30 21:47:56,533: written testdir1/0.5363495159203434; total size: 5M
2021-05-30 21:47:56,533: OK
2021-05-30 21:48:23,193: found 5 regular files in testdir1, total size: 5.0M
2021-05-30 21:48:23,199: setting self oom_score_adj=1000
2021-05-30 21:48:23,199: reading files from the directory testdir1
2021-05-30 21:48:23,229: read 1.0M (20.0%) in 0.0s (avg 32.9M/s); file 0.7341114648416274
2021-05-30 21:48:23,296: read 2.0M (40.0%) in 0.1s (avg 20.8M/s); file 0.0691916965192153
2021-05-30 21:48:23,298: read 3.0M (60.0%) in 0.1s (avg 30.3M/s); file 0.0691916965192153
2021-05-30 21:48:23,299: read 4.0M (80.0%) in 0.1s (avg 40.1M/s); file 0.7341114648416274
2021-05-30 21:48:23,352: read 5.0M (100.0%) in 0.2s (avg 32.6M/s); file 0.27868153831296383
2021-05-30 21:48:23,353: --
2021-05-30 21:48:23,353: read 5.0M in 0.2s (avg 32.6M/s); src: 5 files, 5.0M
2021-05-30 21:48:23,354: OK

>>> Подробности

На онлайн-конференции Python Language Summit 2021 автор языка и сотрудник Майкрософт Гвидо ван Россум рассказал о запланированном на версию 3.11 увеличении скорости CPython.

За проект Ван Россум благодарит пандемию и Майкрософт. Ему стало скучно на пенсии, он попробовал наняться в Майкрософт, его взяли и разрешили самому выбрать, чем заняться. Таким образом Майкрософт «возвращает долги» Питону.

( читать дальше... )

>>> Презентация

Вышла новая версия реализации языка программирования Python, ориентированная на производительность и основанная на CPython. По заявлениям разработчиков, форк быстрее в среднем на 30% относительно CPython, во многом за счёт вырезания возможностей по отладке программ.

Исходный код новой версии, которая является первой с полностью открытым исходным кодом, опубликован под лицензией PSFLv2.

Название произносится как [пистон].

>>> Подробности

Состоялся LTS-релиз фреймворка Web-приложений Django версии 3.2 со сроком поддержки до апреля 2024 года.

• Новые фичи

• Список изменений, несовместимых с предыдущими выпусками

• Список фич, объявленных устаревшими

>>> Полный список изменений

1 апреля было объявлено о включении инсталлятора Archinstall в состав установочных образов Arch Linux. И нет, это не первоапрельская шутка – пакет действительно добавлен в репозиторий и в профиль /usr/share/archiso/configs/releng/. Также существует графическая надстройка от того же автора.

Данный инсталлятор написан на языке Python и предлагает два режима работы: пошаговый диалоговый, в котором пользователь должен ответить на набор вопросов, связанных с основным руководством по установке, и "минимальный" режим, позволяющий автоматизировать установку с помощью скриптов. Такой способ позволяет, к примеру, создавать и использовать различные профили установки для рабочих станций, серверов, сетевого развёртывания и т.д.

Ссылка на новость OpenNET: https://www.opennet.ru/opennews/art.shtml?num=54884

>>> Подробности

Многих интересует работа с токенами PKCS#11 с поддержкой российской криптографии в скриптовом языке Python.

В окружении Python имеется замечательный пакет PyKCS11, однако в нём отсутствует поддержка электронной подписи по ГОСТ Р 34.10-2012. Автор пакета PyKCS11, к сожалению, не планирует добавлять эту поддержку пакет. Как альтернатива PyKCS11, можно рассматривать пакет pyp11. В нём реализована поддержка следующих криптографических функций:

• генерация ключевых пар по ГОСТ Р 34.10-2012 (512 и 1024 бита для открытого ключа), и даже по ГОСТ Р 34.10-2001;

• подсчет хэша по ГОСТ Р 34.10-2012 (256 и 512 бит), а также по ГОСТ Р 34.11-94 и SHA1;

• подписание и проверка подписи.

Из общих функций реализованы:

• управление токенами (инициализация токена, установка и смена PIN-кодов);
• получения списка слотов и информации о них;
• импорт сертификатов и ключей (только для ГОСТ-криптографии): установка меток для объектов (сертификаты, ключи); и другие.

>>> Подробности

14 декабря произошло отключение поиска в PyPi с помощью pip search в связи с возросшей нагрузкой на сервера.

Теперь в консоли любезно сообщается:
PyPI's XMLRPC API has been temporarily disabled due to unmanageable load and will be deprecated in the near future.

График нагрузки
В прошлом году

>>> Подробности

На GitHub опубликована Open Source утилита для генерации коротких алиасов по истории bash/zsh: https://github.com/CSRedRat/topalias

Задачи, которые решает программа:

• Анализ файлов ~/.bash_aliases, ~/.bash_history, ~/.zsh_history с историей выполнения команд в терминале Linux в оболочке Bash/Zsh
• Предлагает короткие аббревиатуры (акронимы) для длинных, долго набираемых и сложно запоминаемых, но часто используемых команд (хотя об этом можно даже не догадываться)
• Выводит некоторую статистику
• Обрабатывает управляющие параметры

Установка и запуск:

pip install topalias
python -m topalias

Если кого-то заинтересовала структура проекта - напишите, пожалуйста. Есть идея сделать актуальный шаблон для новых проектов на Python, включающий CI/CI (GitHub Actions, GitLab CI, Travis CI, git pre-commit hooks), проверенная линтерами из коробки рыба проекта, запуск программы как python-пакет, модуль, скрипт.

>>> Подробности разработки

Создатель языка программирования Python Гвидо ван Россум сделал несколько шокирующее объявление:

Мне стало скучно на пенсии, так что я вышел на работу в подразделение разработки (Developer Division) в Microsoft. Чем я буду заниматься? Столько вариантов, даже не знаю, что выбрать! Но в результате использовать Python станет удобнее (и не только на Windows :-). Тут полно опенсорса. Следите за новостями.

>>> Подробности

Tornado — это неблокирующий веб-сервер и фреймворк, написанный на Python. Tornado был создан для обеспечения высокой производительности, и может обрабатывать десятки тысяч одновременных постоянных подключений, что делает его идеальным решением для обрабоки long poll запросов, WebSockets и web-приложений, требующих долговременное соединение с каждым пользователем. Tornado состоит из веб-фреймворка, HTTP-клиента и сервера, реализованного на основе асинхронного сетевого ядра и библиотеке корутин.

Новое в этой версии:

• это последний выпуск, поддерживающий Python 3.5, для будущих версий потребуется Python 3.6+
• binary wheels теперь доступны для Windows, MacOS и Linux (amd64 и arm64)

httpclient

• по умолчанию используется User-Agent Tornado/$VERSION, если параметр user_agent не указан
• tornado.simple_httpclient всегда использует GET после 303 редиректа
• отключение тайм-аута установкой значения ноль в request_timeout и/или connect_timeout

httputil

• ускорен парсинг заголовка
• parse_body_arguments теперь принимает non-ASCII ввод с неполным экранированием

web

• RedirectHandler.get теперь принимает именованные аргументы
• при отправке 304 ответов теперь сохраняется больше заголовков (включая Allow)
• заголовки Etag по умолчанию теперь генерируются с помощью SHA-512 вместо MD5

websocket

• таймер ping_interval теперь останавливается при закрытии соединения
• websocket_connect при редиректе теперь вызывает ошибку вместо зависания

>>> Подробности

Вышел новый стабильный релиз популярного языка программирования Python.

Python – высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода. Основные черты – динамическая типизация, автоматическое управление памятью, полная интроспекция, механизм обработки исключений, поддержка многопоточных вычислений, высокоуровневые структуры данных.

Python – стабильный и распространённый язык. Он используется во многих проектах и в различных качествах: как основной язык программирования или для создания расширений и интеграции приложений. Основные области применения: веб-разработка, машинное обучение и анализ данных, автоматизация и системное администрирование. В настоящий момент Python занимает третье место в рейтинге TIOBE.

( читать дальше... )

>>> Подробности

Bpytop – это монитор системных ресурсов, который показывает текущее значение и статистику по использованию процессора, памяти, дисков, сети и отдельно по процессам. Написан на Python с использованием psutil.

Это порт утилиты bashtop на Python. По заявлениям автора, он быстрее и потребляет меньше CPU сам по себе.

( читать дальше... )

>>> Подробности

Buttplug — открытый стандарт и набор ПО для управления интимными устройствами, такими как фаллоимитаторы, сексмашины, электростимуляторы и прочее.

Особенности:

• Набор библиотек для Rust, C#, Javascript/Typescript и других популярных языков программирования;

• Поддержка устройств Kiiroo, Lovense, Erostek и других. Полный список здесь;

• Поддерживает управление по Bluetooth, USB, HID, Serial интерфейсам, а также звуковое управление;

• Исходный код открыт по лицензии (BSD 3-Clause).

Среди ПО доступны:

• Intiface Desktop — контрольный сервер управления устройствами;

• LaunchControl — плагин для Kodi и VLC для синхронизации с фильмами;

• Virtual Romance Club — игра с поддержкой устройств виртуальной реальности;

• Intiface Game Haptics Router — программа для управления устройствами с геймпадов и ВР-контроллеров.

>>> Подробности

Snoop Project — это криминалистический OSINT инструмент, который разыскивает никнеймы в публичных данных.

Snoop — это форк Sherlock-a, с некоторыми улучшениями и изменениями:

• База Snoop в несколько раз больше вместе взятых баз Sherlock + Spiderfoot + Namechk.
• У Snoop меньше, чем в Sherlock ложноположительных срабатываний, которые бывают у всех подобных инструментов (пример сравнения Websites: Ebay; Telegram; Instagram), изменения в алгоритме работы (snoop умеет детектировать username.salt).
• Новые опции.
• Поддержка сортировки и формата HTML
• Улучшенный информативный вывод.
• Возможность обновления ПО.
• Информативные отчёты (прокачанный формат ‘csv’)

В версии 1.1.9 БД Snoop превысила отметку в 1k сайтов. В ПО Snoop добавлены два soundtrack-а в жанре сyberpunk. Наиболее значимые изменения находятся здесь

Snoop заявлен, как один из самых перспективных OSINT-инструментов по поиску username в открытых данных и доступен рядовому пользователю.

Инструмент ориентирован в том числе и на RU-сегмент, что является его огромным плюсом по сравнению с аналогичными OSINT-приложениями.

Изначально планировалось огромное обновление Sherlock Project-a по части СНГ (но спустя ~1/3 обновления всей базы), однако в какой-то момент разработчики Sherlock изменили свой курс и перестали принимать обновления, объяснив такое положение вещей «Реструктуризацией» проекта и приближением к максимально возможному количеству ресурсов в своей websites-БД; так появился Snoop, который ушёл далеко вперёд, не подстраиваясь под какие-либо внешние интересы.

Проект поддерживает ОС GNU/Linux, Windows, Android.

>>> Подробности

PyTorch — популярный фреймворк для машинного обучения — обновился до версии 1.5.0. Этот релиз включает в себя несколько крупных дополнений и улучшений API, среди которых можно отметить:

• C++ API, ранее считавшийся экспериментальным, окончательно стабилизирован. Теперь пользователи могут легко переводить свои модели с Python API на C++ API.

• Стабилизирован пакет torch.distributed.rpc, предоставляющий широкие возможности в распределенном обучении, включая автоматическое вычисление градиентов и обновление параметров модели.

• Обновлен torch_xla — пакет, который использует компилятор XLA для ускорения обучения моделей на облачных TPU.

• Также обновлены пакеты torchaudio, torchvision и torchtext, предоставляющие инструменты для разработки моделей, обрабатывающих звуковые, графические и текстовые данные.

• Python 2 больше не поддерживается. Вся дальнейшая разработка будет вестись только для Python 3.

>>> Подробности

Тихо и незаметно 20 апреля 2020 года разработчики объявили о выходе Python 2.7.18 — последней версии Python из ветки Python 2, поддержка которой отныне прекращается официально.

Python — высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода. Синтаксис ядра Python минималистичен. В то же время стандартная библиотека включает большой объём полезных функций.

Python поддерживает структурное, объектно-ориентированное, функциональное, императивное и аспектно-ориентированное программирование. Основные архитектурные черты — динамическая типизация, автоматическое управление памятью, полная интроспекция, механизм обработки исключений, поддержка многопоточных вычислений, высокоуровневые структуры данных. Поддерживается разбиение программ на модули, которые, в свою очередь, могут объединяться в пакеты.

Всем пользователям рекомендуется перейти на третью ветку языка — Python 3.

Также стоит отметить, что для поддержания стабильности работы уже существующих проектов, устранением уязвимостей в Python 2.7 будет заниматься сообщество, представители которого в этом до сих пор заинтересованы. Например, Red Hat будет поддерживать пакеты с Python 2.7 для дистрибутивов RHEL 6 и 7, а для 8-й версии дистрибутива будет формировать обновления пакетов в Application Stream до июня 2024 года.

>>> Подробности