Состоялся релиз Tribler 7.11 — BitTorrent-клиента с открытым исходным кодом, разрабатываемого Делфтским Техническим Университетом (Нидерланды).

Отличительными чертами Tribler являются собственная децентрализованная база данных торрентов и TOR-подобная сеть анонимизации пользователей. Клиент написан с использованием библиотек PyQt и LibTorrent.

Главным нововведением релиза стала система краудсорсинга тегов: пользователь может назначить торренту тег, и ассоциация «торрент-тег» распространится по сети анонимно.

Кроме того, список файлов в торренте теперь представлен в виде дерева.

Для разработчиков: в результате массивного рефакторинга, бэкенд (Tribler Core) теперь разбит на отдельные компоненты. Разработчики утверждают, что разобраться с кодом стало намного проще.

>>> Подробности

Опубликован свежий выпуск проекта Snoop v1.3.2.

Snoop — это OSINT-инструмент, который разыскивает учётные записи пользователей в публичных данных (разведка на основе открытых источников), а также имеет различные плагины, позволяющие работать с IP/Geo/Yandex-ом. Программа анализирует различные сайты, форумы и социальные сети на предмет наличия искомого имени пользователя, т.е. позволяет определить на каких сайтах имеется пользователь с указанным ником. Проект разработан по материалам исследовательской работы в области скрапинга публичных данных.

Сборки подготовлены для Linux и Windows. Из исходников Snoop собирается и для Android/Termux.

Код написан на языке Python и распространяется под лицензией, ограничивающей применение только для личного пользования.

Snoop внесён в российский Единый реестр российских программ для электронных вычислительных машин и баз данных с заявленным кодом 26.30.11.16: «Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515». На данный момент Snoop выслеживает наличие пользователя по 2000+ интернет ресурсам в полной версии и по самым популярным ресурсам в Demo-версии.

Изменения:

• Расширен формат БД: добавлен параметр ‘grey_list’ динамические сайты временно отключенные. В csv-отчеты записываются статусы о временно отключённых сайтах, с опцией --verbose, -v информация о сайтах из grey_list отображается и в CLI.

• Для build-версий Snoop добавлен прядильщик при синхронизации локальной и удаленной БД. При синхронизации/обновлении БД временно всплывает анимированное сообщение: ‘синхронизация с БД онлайн’.

• По просьбе донатера опция отображение детальной информации о БД snoop: --list all теперь может записываться в сокращённом виде -l y.

• Добавлена новая опция --exclude, -e RU — исключить из поиска выбранные регионы, например, wr — мир. Допустимо использовать опцию несколько раз: -e ru -e us. Опция регистронезависимая, информация о флаге страны отображается в cli и записывается во все отчеты. Несуществующие, выбранные регионы подсвечены в CLI красным цветом.

• Добавлена опция --one-level, -o UA — включить для поиска конкретные регионы. Допускается использовать опцию несколько раз, например, поиск только по украинским и белорусским сайтам -o UA -o BY. Опция регистронезависимая, информация о флаге страны также добавляется в cli и во все отчеты. Несуществующие выбранные регионы подсвечены в CLI красным цветом.

• Опция --site, -s выводит теперь и сообщения, если желаемый для поиска сайт замечен в БД full-версии, но отсутствует в БД Demo-версии.

• Права на документ Общее руководство Snoop Project.pdf исправлены с 755 на 644. Исправление подсказали в комментариях к предыдущей новости на LOR, набравшей > 400 комментариев, половина из которых была зачищена.

• Обновлена справка в ПО snoop --help.

• Мелкие и незначительные улучшения в кодовой базе.

>>> Релиз

Snoop Project — это криминалистический OSINT-инструмент. Основная функциональность Snoop Project — выслеживание «nickname» в публичных данных, расширенная функциональность — различные OSINT-плагины (в т.ч. разработанные на идеях и материалах обнаруженных уязвимостей в Яндексе (при участии в программе багбаунти от Яндекса)), позволяющие работать с IP/GEO/Yandex-ом.

Snoop Project внесён в реестр отечественного ПО РФ с заявленным кодом 26.30.11.16: Программное Обеспечение, обеспечивающее выполнение установленных действий при проведении оперативно-розыскных мероприятий:: No7012 приказ 07.10.2020 No515.

Snoop Project разработан по материалам исследовательской работы в области скрапинга публичных данных (собственная БД). На данный момент Snoop выслеживает nickname по > 2200+ интернет ресурсам (Full версии) и по самым популярным ресурсам (Demo версии).

Для пользователей подготовлены готовые сборки для OS GNU/Linux и OS Windows. Из исходников Snoop собирается и для Android/Termux.

v1.3.1 (A)

• Расширена поисковая веб-база Snoop, она включает более 2200+сайтов.

• Добавлено в html/csv-отчёты и в CLI параметр: ‘сессия’:: обработанные данные трафика (ungzip) в целом и персонально для каждого сайта (с опцией ‘-v’ визуально в CLI; новый столбец ‘Сессия/Kb’ в csv-отчёте; ‘сессия’ в html-отчёте).

• При превышении стандартных параметров Internet Censorship в общий вывод-CLI добавлена информация о пропуске: err БД в ‘%’.

• Обновлён плагин Yandex_parser до v0.4 (пропуск обработки данных несуществующих username в БД Яндекса).

• Изменены пути записи отчётов для Snoop for Windows (issues/49).

• Обновлены права Snoop for GNU/Linux build-версий с 744 на 644 (issues/50).

• Вместо utf-8 для csv-отчётов введён автоматический выбор кодировки (для OS Windows — 1251).

• Вывод информации о БД Snoop опции [–list all] и в файле websites.md сортируются без учёта регистра (проще найти LOR).

• В аргументах CLI обновлён ключ: --update y до сокращения -U y.

• Добавлен Readme.en.

• Продлена лицензия необновляемой Snoop EN-версии на год.

• Обновлена документация: ‘Общее руководство Snoop Project.pdf’

• Мелкие и незначительные улучшения в CLI.

>>> Релиз

PyCon Russia 2021 – конференция для продвинутых python-разработчиков

Место: Природный курорт Клязьма Резорт в 12 км. от Москвы
Даты: 5-6 сентября 2021 г.

Питонисты со всей России и ближнего зарубежья соберутся на 2 дня в подмосковном комплексе Клязьма Резорт, чтобы погрузиться в python-сообщество, расширить контакты и хорошо отдохнуть.

В программе:

• 24 доклада в 2 потока: Разработка на python и ML&Data Science;
• 3 мастер-класса;
• развлечения и призы от спонсоров;
• крутой python-мерч;
• еда (много еды!);
• after-party;
• песни у костра;
• пивной безлимит.

>>> PyCon Russia 2021

Tribler – клиент BitTorrent с открытым исходным кодом, разрабатываемый Делфтским Техническим Университетом (Нидерланды). Клиент написан на PyQt+LibTorrent. Особенности клиента:

• собственная TOR-подобная сеть для анонимизации закачек и раздач;
• приоритизация «альтруистичных» пользователей анонимной сети;
• децентрализованная база торрентов, наполняемая по принципу краудсоринга.

>>> Tribler 7.10

В каталоге Python Package Index нашли несколько пакетов со скрытыми майнерами. Проблемы были в пакетах maratlib, maratlib1, matplatlib-plus, mllearnlib, mplatlib и learninglib, имена которых были придуманы в честь самого себя, а также похожими по написанию на популярные библиотеки (matplotlib) с расчётом, что пользователь ошибётся при написании или попросту перепутает название пакета и не заметит отличий. Пакеты были размещены в апреле под учётной записью nedog123 (другие подписи/ники: Marat Nedogimov и maratoff).

Вот небольшая статистика скачиваний за два месяца:

• maratlib: 2,371
• maratlib1: 379
• matplatlib-plus: 913
• mllearnlib: 305
• mplatlib: 318
• learninglib: 626

Суммарно выходит около 5000 раз, но учитывая зависимости речь скорее идёт о 2500 загрузках.

Вредоносный код был размещён в библиотеке maratlib, которая использовалась в остальных пакетах в форме зависимости. Сам код был скрыт с использованием самописной обфускации, не определяемой типовыми утилитами, и запускался при выполнении сборочного скрипта setup.py, который выполняется во время установки пакета. Далее с GitHub скачивался один из скриптов seo.sh, aza.sh, aza2.sh или aza-obf.sh, который уже загружал сам майнер Ubqminer или T-Rex.

>>> Подробности

Вышло обновление video2midi – кроссплатформенной утилиты, предназначенной для воссоздания многоканального midi-файла из видеороликов в которых присутствует виртуальная midi-клавиатура/нотный лист аналогичный синтезии.

Основные изменения с версии 0.4.0.2:

• Добавлена ​​функция RollCheck, используется для улучшения считывания нажатия нот ( отсеивания ложных срабатываний на чёрных клавишах ), что помогает улучить реконструкцию midi с гибридных видео, где нотный лист отображён с ситнезии а клавиши затёрты реальным пианино.

• Добавлен ползунок в дополнительное окно для управления высотой вертикальных линий клавиш, что позволяет более точно позиционировать клавиши относительно видео.

• Добавлен ползунок для регулировки относительного положения черных клавиш.

• Добавлена ​​возможность определять повторное нажатие/отпуск клавиш по искрам. В некоторых видео многократное нажатие клавиш отображается на виртуальной клавиатуре длительным удержанием клавиш.

• Изменен тип midi формата по умолчанию на 0 (старый тип по умолчанию 1).

• Добавлена ​​возможность указать выходной формат файла midi. Не все DAW могут разделять многоканальные midi типа 1 при импорте. Поэтому, если ваша DAW импортирует многоканальные MIDI-файлы как одноканальную дорожку, попробуйте поиграться с выходным MIDI-форматом.

• Добавлена ​​новая функция квантования нот по времени (привязка к сетке 1/32).

• Внесены изменения в графический интерфейс, переработан код отвечающий за работу кнопок и ползунков.

>>> Подробности

r-test - это Python скрипт, позволяющий оценить влияние настроек виртуальной памяти (vm.swappiness, vm.watermark_scale_factor, Multigenerational LRU Framework и прочих) на производительность выполнения задач, выполнение которых зависит от кэширования файловых операций в условиях нехватки памяти. Код открыт под лицензией CC0.

Основной способ использования - считывание файлов из указанной директории в случайном порядке и их добавление в список, пока не будет считано заданное число мебибайт.

Имеет два режима работы. Первый - вспомогательный - служит для создания директории заданного объема. При этом в директории создается заданное число мебибайтных файлов со случайными именами.

Второй режим - основной - режим чтения файлов из указанной директории в случайном порядке. Во время чтения растет объем потребляемой скриптом памяти, а скорость считывания заданного объема файлов зависит от объема кэшированных файловых страниц.

Частью проекта также является вспомогательных скрипт drop-cache, который рекомендуется выполнять перед началом теста.

В процессе работы скрипта в режиме чтения выводится общее время работы, средняя скорость чтения, имя последнего считанного файла.

Скрипт также позволяет логировать результаты в файл. Пример лога:

2021-05-30 21:47:56,084: mkdir testdir1
2021-05-30 21:47:56,211: written testdir1/0.9860985015646311; total size: 1M
2021-05-30 21:47:56,289: written testdir1/0.0691916965192153; total size: 2M
2021-05-30 21:47:56,377: written testdir1/0.27868153831296383; total size: 3M
2021-05-30 21:47:56,455: written testdir1/0.7341114648416274; total size: 4M
2021-05-30 21:47:56,533: written testdir1/0.5363495159203434; total size: 5M
2021-05-30 21:47:56,533: OK
2021-05-30 21:48:23,193: found 5 regular files in testdir1, total size: 5.0M
2021-05-30 21:48:23,199: setting self oom_score_adj=1000
2021-05-30 21:48:23,199: reading files from the directory testdir1
2021-05-30 21:48:23,229: read 1.0M (20.0%) in 0.0s (avg 32.9M/s); file 0.7341114648416274
2021-05-30 21:48:23,296: read 2.0M (40.0%) in 0.1s (avg 20.8M/s); file 0.0691916965192153
2021-05-30 21:48:23,298: read 3.0M (60.0%) in 0.1s (avg 30.3M/s); file 0.0691916965192153
2021-05-30 21:48:23,299: read 4.0M (80.0%) in 0.1s (avg 40.1M/s); file 0.7341114648416274
2021-05-30 21:48:23,352: read 5.0M (100.0%) in 0.2s (avg 32.6M/s); file 0.27868153831296383
2021-05-30 21:48:23,353: --
2021-05-30 21:48:23,353: read 5.0M in 0.2s (avg 32.6M/s); src: 5 files, 5.0M
2021-05-30 21:48:23,354: OK

>>> Подробности

На онлайн-конференции Python Language Summit 2021 автор языка и сотрудник Майкрософт Гвидо ван Россум рассказал о запланированном на версию 3.11 увеличении скорости CPython.

За проект Ван Россум благодарит пандемию и Майкрософт. Ему стало скучно на пенсии, он попробовал наняться в Майкрософт, его взяли и разрешили самому выбрать, чем заняться. Таким образом Майкрософт «возвращает долги» Питону.

( читать дальше... )

>>> Презентация

Вышла новая версия реализации языка программирования Python, ориентированная на производительность и основанная на CPython. По заявлениям разработчиков, форк быстрее в среднем на 30% относительно CPython, во многом за счёт вырезания возможностей по отладке программ.

Исходный код новой версии, которая является первой с полностью открытым исходным кодом, опубликован под лицензией PSFLv2.

Название произносится как [пистон].

>>> Подробности

Состоялся LTS-релиз фреймворка Web-приложений Django версии 3.2 со сроком поддержки до апреля 2024 года.

• Новые фичи

• Список изменений, несовместимых с предыдущими выпусками

• Список фич, объявленных устаревшими

>>> Полный список изменений

1 апреля было объявлено о включении инсталлятора Archinstall в состав установочных образов Arch Linux. И нет, это не первоапрельская шутка – пакет действительно добавлен в репозиторий и в профиль /usr/share/archiso/configs/releng/. Также существует графическая надстройка от того же автора.

Данный инсталлятор написан на языке Python и предлагает два режима работы: пошаговый диалоговый, в котором пользователь должен ответить на набор вопросов, связанных с основным руководством по установке, и "минимальный" режим, позволяющий автоматизировать установку с помощью скриптов. Такой способ позволяет, к примеру, создавать и использовать различные профили установки для рабочих станций, серверов, сетевого развёртывания и т.д.

Ссылка на новость OpenNET: https://www.opennet.ru/opennews/art.shtml?num=54884

>>> Подробности

Многих интересует работа с токенами PKCS#11 с поддержкой российской криптографии в скриптовом языке Python.

В окружении Python имеется замечательный пакет PyKCS11, однако в нём отсутствует поддержка электронной подписи по ГОСТ Р 34.10-2012. Автор пакета PyKCS11, к сожалению, не планирует добавлять эту поддержку пакет. Как альтернатива PyKCS11, можно рассматривать пакет pyp11. В нём реализована поддержка следующих криптографических функций:

• генерация ключевых пар по ГОСТ Р 34.10-2012 (512 и 1024 бита для открытого ключа), и даже по ГОСТ Р 34.10-2001;

• подсчет хэша по ГОСТ Р 34.10-2012 (256 и 512 бит), а также по ГОСТ Р 34.11-94 и SHA1;

• подписание и проверка подписи.

Из общих функций реализованы:

• управление токенами (инициализация токена, установка и смена PIN-кодов);
• получения списка слотов и информации о них;
• импорт сертификатов и ключей (только для ГОСТ-криптографии): установка меток для объектов (сертификаты, ключи); и другие.

>>> Подробности

14 декабря произошло отключение поиска в PyPi с помощью pip search в связи с возросшей нагрузкой на сервера.

Теперь в консоли любезно сообщается:
PyPI's XMLRPC API has been temporarily disabled due to unmanageable load and will be deprecated in the near future.

График нагрузки
В прошлом году

>>> Подробности

На GitHub опубликована Open Source утилита для генерации коротких алиасов по истории bash/zsh: https://github.com/CSRedRat/topalias

Задачи, которые решает программа:

• Анализ файлов ~/.bash_aliases, ~/.bash_history, ~/.zsh_history с историей выполнения команд в терминале Linux в оболочке Bash/Zsh
• Предлагает короткие аббревиатуры (акронимы) для длинных, долго набираемых и сложно запоминаемых, но часто используемых команд (хотя об этом можно даже не догадываться)
• Выводит некоторую статистику
• Обрабатывает управляющие параметры

Установка и запуск:

pip install topalias
python -m topalias

Если кого-то заинтересовала структура проекта - напишите, пожалуйста. Есть идея сделать актуальный шаблон для новых проектов на Python, включающий CI/CI (GitHub Actions, GitLab CI, Travis CI, git pre-commit hooks), проверенная линтерами из коробки рыба проекта, запуск программы как python-пакет, модуль, скрипт.

>>> Подробности разработки

Создатель языка программирования Python Гвидо ван Россум сделал несколько шокирующее объявление:

Мне стало скучно на пенсии, так что я вышел на работу в подразделение разработки (Developer Division) в Microsoft. Чем я буду заниматься? Столько вариантов, даже не знаю, что выбрать! Но в результате использовать Python станет удобнее (и не только на Windows :-). Тут полно опенсорса. Следите за новостями.

>>> Подробности

Tornado — это неблокирующий веб-сервер и фреймворк, написанный на Python. Tornado был создан для обеспечения высокой производительности, и может обрабатывать десятки тысяч одновременных постоянных подключений, что делает его идеальным решением для обрабоки long poll запросов, WebSockets и web-приложений, требующих долговременное соединение с каждым пользователем. Tornado состоит из веб-фреймворка, HTTP-клиента и сервера, реализованного на основе асинхронного сетевого ядра и библиотеке корутин.

Новое в этой версии:

• это последний выпуск, поддерживающий Python 3.5, для будущих версий потребуется Python 3.6+
• binary wheels теперь доступны для Windows, MacOS и Linux (amd64 и arm64)

httpclient

• по умолчанию используется User-Agent Tornado/$VERSION, если параметр user_agent не указан
• tornado.simple_httpclient всегда использует GET после 303 редиректа
• отключение тайм-аута установкой значения ноль в request_timeout и/или connect_timeout

httputil

• ускорен парсинг заголовка
• parse_body_arguments теперь принимает non-ASCII ввод с неполным экранированием

web

• RedirectHandler.get теперь принимает именованные аргументы
• при отправке 304 ответов теперь сохраняется больше заголовков (включая Allow)
• заголовки Etag по умолчанию теперь генерируются с помощью SHA-512 вместо MD5

websocket

• таймер ping_interval теперь останавливается при закрытии соединения
• websocket_connect при редиректе теперь вызывает ошибку вместо зависания

>>> Подробности

Вышел новый стабильный релиз популярного языка программирования Python.

Python – высокоуровневый язык программирования общего назначения, ориентированный на повышение производительности разработчика и читаемости кода. Основные черты – динамическая типизация, автоматическое управление памятью, полная интроспекция, механизм обработки исключений, поддержка многопоточных вычислений, высокоуровневые структуры данных.

Python – стабильный и распространённый язык. Он используется во многих проектах и в различных качествах: как основной язык программирования или для создания расширений и интеграции приложений. Основные области применения: веб-разработка, машинное обучение и анализ данных, автоматизация и системное администрирование. В настоящий момент Python занимает третье место в рейтинге TIOBE.

( читать дальше... )

>>> Подробности

Bpytop – это монитор системных ресурсов, который показывает текущее значение и статистику по использованию процессора, памяти, дисков, сети и отдельно по процессам. Написан на Python с использованием psutil.

Это порт утилиты bashtop на Python. По заявлениям автора, он быстрее и потребляет меньше CPU сам по себе.

( читать дальше... )

>>> Подробности

Buttplug — открытый стандарт и набор ПО для управления интимными устройствами, такими как фаллоимитаторы, сексмашины, электростимуляторы и прочее.

Особенности:

• Набор библиотек для Rust, C#, Javascript/Typescript и других популярных языков программирования;

• Поддержка устройств Kiiroo, Lovense, Erostek и других. Полный список здесь;

• Поддерживает управление по Bluetooth, USB, HID, Serial интерфейсам, а также звуковое управление;

• Исходный код открыт по лицензии (BSD 3-Clause).

Среди ПО доступны:

• Intiface Desktop — контрольный сервер управления устройствами;

• LaunchControl — плагин для Kodi и VLC для синхронизации с фильмами;

• Virtual Romance Club — игра с поддержкой устройств виртуальной реальности;

• Intiface Game Haptics Router — программа для управления устройствами с геймпадов и ВР-контроллеров.

>>> Подробности