Опубликован перевод очередной главы из 1 тома книги «Архитектура приложений с открытым исходным кодом» — «Архитектура системы управления пакетами в Python».

При разговоре о системах установки приложений обычно упоминают о двух подходах. Первый подход, характерный для Windows и Mac OS X, заключается в распространении самодостаточных пакетов приложений, процесс установки которых не должен зависеть от внешних факторов. Эта философия упрощает процесс управления приложениями: каждое приложение имеет свое отдельное «окружение» и его установка или удаление не влияет на другие части ОС. Если приложению для работы требуется нестандартная библиотека, эта библиотека включается в состав пакета для распространения приложения.

Второй подход, характерный для систем на основе ядра Linux, рассматривает программное обеспечение как набор небольших программных компонентов, называемых пакетами. Библиотеки добавляются в пакеты, причем любой пакет с библиотекой может зависеть от других пакетов. Процесс установки приложения может включать в себя процесс поиска и установки определенных версий множества других библиотек. Эти зависимости обычно доставляются из стандартного репозитория, содержащего тысячи пакетов. Данная философия обуславливает использование в дистрибутивах Linux таких сложных систем управления пакетами, как dpkg и RPM для отслеживания зависимостей и предотвращения установки двух приложений, использующих несовместимые версии одной и той же библиотеки.

У каждого подхода есть свои достоинства и недостатки.

Система управления пакетами в Python разрабатывалась с использованием второго подхода — использовалось множество зависимостей для каждого пакета, а также система должна была быть так дружелюбна к разработчику, администратору и пользователю, как это возможно. К сожалению, она имела (и имеет) различные дефекты, обуславливающие и приводящие к разного рода проблемам: использованию неинтуитивных схем записи версий, наличию необрабатываемых файлов с данными, сложностям с повторной упаковкой и другим. Три года назад группа разработчиков Python решили повторно разработать эту систему для устранения вышеописанных проблем.

>>> Подробности (rus-linux.net)

Вышла новая версия транслятора из языка Python в представление на C++. Данное представление компилируется в исполняемый файл, использующий библиотеку libpython для управления объектами (аналогично CPython).

На данный момент Nuitka — хорошая замена интерпретатору Python, она поддерживает совместимость на уровне компиляции с CPython 2.6, 2.7 и 3.2.

В данной версии Nuitka на тесте pystone производительнее CPython на 258%, несмотря на то, что еще не сделаны все планируемые оптимизации.

Основные изменения:

• поддержка FreeBSD;
• опция для выявления исключений на этапе компиляции;
• базовая поддержка Python 3.3;
• исправления ошибок.

>>> Подробности (nuitka.net)

10 апреля в 18.00 в 433 аудитории главного корпуса ВГУ пройдёт встреча пользователей Linux и СПО.

Планируется рассказ про библиотеку для построения графиков matplotlib, а так же обсуждение тематики следующих встреч.

Для входа на территорию ВГУ может потребоваться удостоверение личности.

>>> Подробности (vsi.ru)

На сервисе Kickstarter идет сбор средств на новый движок для нелинейного видеоредактора с открытым исходным кодом OpenShot. Основными акцентами при разработке станут кроссплатформенность и стабильность. Из других нововведений:

• Python API.
• Новый интерфейс, использующий HTML5, JQuery, CSS и WebKit.
• Изменение параметров видео и аудио с помощью кривых Безье.
• Многослойный композитинг.

>>> Страница проекта на Kickstarter.com (kickstarter.com)

Компания «Redsolution» (известная как разработчик Xabber — свободного XMPP-клиента для Android) объявила о выпуске программы «Электроочередь» под лицензией GNU Affero GPL v3.

Программа предназначена для организации услуги электронной очереди в детские сады, отличается антикоррупционной прозрачностью и открытостью. Ну и, разумеется, распространяется бесплатно.

Исходный код на github

Официальный сайт программы

>>> Подробности (habrahabr.ru)

После 10 месяцев разработки вышла новая версия популярного веб-фреймворка.

Интересного в новом релизе очень много, остановлюсь на нескольких ключевых моментах.

• Появилась экспериментальная поддержка Python 3 и была убрана поддержка Python 2.5. Теперь для запуска требуется минимум версия 2.6 или 3.2.
• Новые удобства для моделей:
  • частичное сохранение полей;
  • полностью настраиваемая модель пользователя;
  • кэширование для связанных экземпляров.
• В шаблонах:
  • новый блок verbatim, в котором не будет обрабатываться содержимое. Очень удобно при использовании AngularJS и многих шаблонизаторов на JavaScript;
  • новая переменная view, позволяющая использовать переменные из соответствующего экземпляра класса.

Ставить так:

pip install Django

>>> Release Notes (djangoproject.com)

RapidDisk — проект, представляющий собой модуль ядра (rxdsk) в комплекте с утилитой для администрирования (rxadm). Разрабатывается с целью применения в высокопроизводительных системах. Аналог Ramdiskadm в Solaris.

По мнению разработчика данного проекта Petros Koutoupis'а (имеющего немалый опыт в разработке ядра Linux и использовании Solaris), несмотря на то, что в ядре есть поддержка нескольких типов ramdisk-модулей, они примитивны и не могут конкурировать с аналогами из Solaris или FreeBSD, и RapidDisk, осуществляющий динамическое постраничное выделение оперативной памяти в качестве блочных устройств, должен восполнить этот пробел.

Особенности:

• динамическое подключение/отключение и изменение размеров RAM-дисков;
• чтение/запись из блочного устройства на высоких скоростях (в 20-30 раз быстрее работы SATA-дисков);
• создание и управление размерами от нескольких мегабайт до 1 терабайта (через CLI или GUI);
• сжатие/распаковка и восстановление данных по мере необходимости;
• привязка к кэшу физического диска для повышения производительности операций ввода/вывода, вследствие чего увеличивается его срок службы.

Изменения в этой версии:

• очистка кода;
• удаление неиспользуемых и нереализованных функций кэширования;
• некоторые изменения в модулях Makefile;
• поддержка Linux 3.8 (проверялась на 3.8-rc7).

Исходный код

>>> Подробности (rapiddisk.org)

Eric — интегрированная среда разработки для Python и Ruby написанная в свою очередь на Python с пользовательским интерфейсом на Qt4 и использующая для редактирования исходных текстов компонент Scintilla.

Существуют две стабильные ветки: Eric4 на Python2 и Eric5 на Python3.

Особенности:

• менеджер проектов;
• графический отладчик с поддержкой интерактивного исследования во время приостановки и автоостановки на критических исключениях;
• профайлер;
• опции при запуске кода Python;
• модульное тестирование;
• отслеживание выполняемых задач (автообновляемый TODO-лист);
• расширяемость за счёт плагинов (для Django, TurboGears, wxPython, PyLint и др.).

>>> Страница загрузки

>>> Подробности (python-projects.org)

OpenEMM — веб-приложение для email-маркетинга (рассылки писем с маркетинговой информацией с согласия получателей, от которой, в свою очередь, в любой момент можно отказаться) с многофункциональным пользовательским интерфейсом, множеством графической статистики в режиме реального времени, системой управления контентом, сценариями для реализации отдельных задач и т.п.

OpenEMM, разработка которого начата ещё в 1999 году — первое приложение с открытым исходным кодом подобного рода.

Основное отличие от коммерческих аналогов автоматизации маркетинга (EMM (wikipedia.org)), которые функционируют на нескольких серверах или «ПО как услуга» (SaaS), заключается в том, что OpenEMM можно установить на один сервер.

Используется такими компаниями, как IBM, Daimler, Siemens и Deutsche Telekom.

Особенности:

• набор форм и шаблонов;
• импорт/экспорт бизнес-процессов с помощью мастеров;
• создание списков рассылки групп получателей;
• база данных MySQL для хранения профилей клиентов;
• создание/редактирование профилей;
• чёрный список адресов электронной почты;
• интегрированный HTML-редактор;
• предварительный просмотр писем;
• отправка почты с задержкой времени;
• экспорт статистики и многое другое.

Изменения с версии 2011

>>> Подробности (openemm.org)

Увидел свет новый релиз популярного фреймворка для разработки веб-приложений Django. Основные нововведения версии 1.5:

• Экспериментальная поддержка Python 3. Полная поддержка Python 3 обещана в следующем релизе, который должен выйти через полгода.
• В функции Model.save() теперь можно указывать список измененных полей.
• Улучшена поддержка потоковых ответов (streaming responses).
• В GeoDjango добавлена поддержка PostGIS 2.0.
• Новый синтаксис тега {% url %}, обратно-несовместимый с предыдущим. (Ранее был опционально доступен с помощью {% load url from future %}).
• Прекращена поддержка Python 2.5.

>>> Подробности (djangoproject.com)

Editra — мощный и гибкий мультиплатформенный текстовый редактор, целью создания которого является простой в использовании интерфейс и функции помогающие в разработке ПО. В настоящее время поддерживает подсветку синтаксиса и множество других полезных функций для более чем 60 языков программирования. Проект находится в стадии разработки, но для загрузки доступны и стабильные версии. Лицензирован и находится в свободном доступе для использования в соответствии с WxWindows License.

Возможности редактора расширяются с помощью плагинов.

В этой версии:

• Расширена поддержка подсветки каскадных таблиц стилей (CSS) и практически готова поддержка CSS3;
• Обновлен плагин FileBrowser до версии 2.2;
• Множественные исправления ошибок.

>>> Скриншоты

>>> Страница загрузки

>>> Подробности (editra.org)

Вышла новая версия программы для аппроксимации экспериментальных данных (20 зависимостей на выбор, экспорт/импорт из csv/xml, отображение графиков).

В новой версии добавлен график в полярных координатах.

>>> Подробности (firelizardsoftware.com)

Вышла новая версия программы для древовидного хранения заметок OutWiker. Основными особенностями программы являются:

• База заметок хранится в виде директорий на диске, а не в одном файле.
• К каждой заметке можно прикреплять любое количество файлов.
• Поддержка плагинов.
• Кроссплатформенность (поддержка Windows и Linux).
• Страницы могут быть разных типов. В данный момент поддерживаются текстовые страницы, страницы в формате HTML и вики-страницы.
• Поддержка тегов и групповая работа с ними.
• Поддержка закладок на страницы.
• Возможность вставки формул в нотации TeX.
• Каждая ветвь дерева может быть открыта как отдельная вики.
• Возможность установки внешнего вида страниц с помощью стилей CSS.
• Программа распространяется с открытыми исходными кодами под лицензией GPL v.3.

В версии 1.7.0 произошли следующие изменения:

• Добавлена возможность открывать заметки в отдельных вкладках.
• Панель инструментов разделена на несколько перемещаемых панелей.
• Теперь сохраняется и показывается дата последней правки на странице.
• Значительно ускорены разбор и раскраска викисинтаксиса (по тестам ускорение от 2 до 10 раз).
• Добавлен интерфейс для вставки некоторых элементов викисинтаксиса.
• Добавлена возможность с помощью викисинтаксиса делать более крупный и мелкий шрифт.
• Добавлена возможность сортировки результатов поиска по алфавиту или по дате.
• Добавлена возможность принудительной пересборки HTML-кода по викинотации.
• Исправления в шаблонах страниц.
• В дистрибутив под Linux добавлена векторная иконка и иконки больших размеров.
• Изменения во внешнем виде страницы поиска.
• Создан инсталятор под Windows.
• Исправлена ошибка, из-за которой не создавались превьюшки на викистраницах, если расширения файлов с картинками было записано заглавными буквами.
• Исправлена ошибка из-за которой не сохранялись размеры внутренних окон (дерево заметок, прикрепленные файлы и т.п.)
• Исправления других ошибок.
• Множество небольших исправлений и улучшений в интерфейсе

Подробнее про изменения в этой версии можно прочитать здесь.

>>> Подробности (jenyay.net)

Аналитики Ars Technica проанализировали IT-стратегии кандидатов на пост президента США: команда Обамы собрала большой штат IT-сотрудников, а также вложила крупные средства в применение технологических инноваций — облачных технологий и открытых программных платформ, на основе которых строились приложения.

Техническое обеспечение кампании Обамы обошлось участникам на $14,5 млн дешевле: команда Ромни потратила $23,6 млн на консалтинг и аутсорсинг IT-услуг. В то же время, команда Обамы (на оплату работы которой ушло около $2 млн) потратила на технологии и консалтинг всего $9,3 млн. Причина этого в том, что многие программные продукты, применявшиеся в предвыборной гонке, были бесплатными.

Ядром операционной системы для серверов, развертываемых в ходе гонки, стал Linux. Команда применяла различные дистрибутивы, однако стандартом была Ubuntu. Обработкой данных компании занимались около 10 DBMS/NoSQL-систем. За время компании разработчики создали более 200 приложений для различных целей с использованием открытых языков программирования и фреймворков: Python, Ruby, PHP, Java и Node.js. Часть написанного кода, по словам разработчиков, вскоре будет выложена в открытый доступ.

Кроме того, открытые технологии применялись вместе с облачными: ИТ-инфраструктура кампании почти полностью была вынесена в облака Amazon EC2. Централизованное управление конфигурацией операционных систем и программ, установленных в облаке, осуществлялось при помощи Puppet. Настройки облака находились в виде deb-пакетов в apt-репозитории, созданном для хранения внутренних и сторонних приложений. Позже, когда инфраструктура расширилась, команда взяла на вооружение конфигуратор Asgard — открытый веб-интерфейс для управления облаками, разработанный Netflix.

Частично скопировано с cnews.ru

>>> Подробности (cnews.ru)

Вышла новая версия популярной библиотеки для построения графиков с использованием языка программирования Python — matplotlib 1.2.0.

Некоторые изменения:

• поддержка Python 3.x (в частности 3.1 и 3.2) и отказ от поддержки ранних версий Python (<= 2.6);
• экспорт в формат PGF/TikZ;
• в mplot3d добавлен новый метод plot_trisurf() (пример, png (matplotlib.org));
• в функцию colorbar() добавлен новый аргумент extendfrac, который определяет минимальное и максимальное растяжение colorbar (пример, png (matplotlib.org));
• теперь пользователи могут включить свои собственные методы для вычисления медианы и ее доверительных интервалов в методе boxplot() (пример, png (matplotlib.org)).

Исходные коды библиотеки matplotlib распространяются на условиях лицензии PSF (python.org) и могут быть загружены из репозитория проекта.

>>> Подробности (matplotlib.org)

Представлен очередной релиз экспериментальной среды проектирования для языка Python. Конечной целью проекта является поддержка проектирования используя не только традиционный текстовый формат представления программы, но и графическое представление потока управления, похожее на блок-схемы алгоритма. Разработчик сможет переключаться между текстом и графикой и редактировать или читать программу в том виде, который лучше подходит данному моменту. Блок-схемы пока не реализованы, но для работы с текстовым представлением среда вполне пригодна. Вот далеко не полный список возможностей, не включающий базовые:

• генерация интерактивной диаграммы зависимостей;
• быстрый парсер питона и иерархическое представление различных сущностей проекта;
• интеграция с pylint, pymetrics и PythonTidy;
• анализ проекта на неиспользуемые функции, классы и глобальные переменные;
• представление результатов профилировки в интерактивной графической и табличной форме;
• дизассемблирование функций и классов;
• поиск объектов в проекте по имени;
• многое другое.

Проект на Google Code

>>> Cайт проекта (satsky.spb.ru)

Вышла новая версия программы Weewx, написанной на Python, для работы с погодными станциями.

Список изменений:

• Добавлена поддержка Oregon Scientific WMR100 (одной из самых дешевых метеостанций).
• Добавлена поддержка баз данных MySQL.
• Из неприятностей: нарушена обратная совместимость конфигурационных файлов.
• Добавлен симулятор погодных станций.
• Добавлена возможность использования метрических единиц в БД.
• Наконец-то доступно отображение давления в «мм рт.ст.»
• В астрономических данных добавлена информация о фазах Луны и времени сумерек.
• Добавлена ​​утилита config_vp для конфигурирования Davis VantagePro II с ПК.
• Добавлена ​​утилита config_database.py для конфигурирования и конвертации баз данных.
• Уменьшен расход памяти.
• Множество мелких изменений и исправлений ошибок.

Cкачать.

>>> Подробности (weewx.com)

В свободной системе управления контентом Plone, написанной на языке Python с использованием сервера приложений Zope, обнаружено несколько критических уязвимостей. Уязвимости затрагивают все версии Plone и также проявляются в Zope и других продуктах на его основе. Выявленные уязвимости позволяют внешнему атакующему повысить свои привилегии, обойти ограничения безопасности и выполнить произвольный код на сервере.

Детали уязвимостей не сообщаются, известно только, что проблемы найдены при проведении внутреннего аудита и пока не обнародованы публично. Обновление с устранением уязвимостей планируется выпустить 6 ноября. Всем пользователям рекомендуется спланировать на 6 ноября проведение экстренного обновления своих систем, так как после публикации патча злоумышленники сразу могут атаковать уязвимые системы.

Одновременно стало известно о принятии в репозиторий проекта KDE патча с устранением четырёх опасных уязвимостей, позволяющих организовать выполнение кода при открытии специально оформленных web-страниц в Konqueror.

Python 3.3 является первым выпуском, в который включены изменения в языке, после двухлетнего моратория — Python 3.2 имел только внутренние нововведения интерпретатора, не затрагивающие совместимость со старым кодом. Кроме того, это первый выпуск, никакие новые свойства которого не будут портированы в ветку 2.x.

Основные изменения:

• Синтаксис:
  • оператор

    yield from

  • в целях совместимости и упрощения переноса приложений с ветки 2.x синтаксис строк вида

    u'unicode'

     — никаких реальных изменений.
• Новые модули:
  • faulthandler для отладки низкоуровневых падений;
  • ipaddress для высокоуровневых операций с адресами и масками;
  • lzma — сжатие данных с помощью алгоритма XZ/LZMA;
  • unittest.mock — тестирование;
  • venv — виртуальные рабочие пространства, независимые от системного, каждое представляет собственный бинарник и набор модулей.
• Новые встроенные свойства:
  • переработана иерархия исключений ввода/вывода.
• Улучшения реализации:
  • переписаны механизмы импорта, основанные на importlib;
  • более компактные юникодные строки для экономии места;
  • более компактные словари, см. PEP412.
• Улучшения безопасности:
  • рандомизация хэшей включена по умолчанию.

>>> Что нового в Python 3.3 (python.org)

Разработчики популярного веб-фреймворка Django 19 августа сообщили, что разрабатываемая версия успешно прошла все тесты Python 3.
«В мае этого года Vinay Sajip опубликовал форк, показав таким образом возможность поддержки Python 2 и 3 в рамках единой кодовой базы. Вскоре после этой демонстрации основные разработчики проекта решили использовать six (python.org) в качестве слоя совместимости. Было решено писать код Python 3, заботясь о совместимости со второй версией, а не наоборот, чтобы избежать возможных проблем в будущем».

Однако не стоит думать, будто Django с этого момента готов для применения с Python 3 на действующих системах. Изменения кода затронули многие части проекта, и хотя были приложены все усилия для исправления ошибок, все равно требуется полномасштабное тестирование кода в реальных условиях. Разработчики просят рассматривать код как «пре-альфа версию» и сообщать не только об ошибках в коде Python 3, но и в регрессиях кода Python 2.

Авторов приложений для Django убедительно просят сделать порт как можно быстрее, подсказки для этого доступны в документации.

>>> Запись в веблоге разработчиков (djangoproject.com)