Компания Ittelo (ООО «Серверный Флот»), специализирующаяся на продаже б/у серверов и комплектующих, предоставила нам сервер для сайта Linux.org.ru. Сервер не новый, но по характеристикам превосходит используемое нами сейчас оборудование, ресурсов которого нам недавно стало не хватать.

Сейчас наш сайт работает на двух двухядерных чипах Xeon 5140 (анонсированных еще в 2006 году) и 12Gb оперативной памяти FB-DIMM DDR2. Предоставленный нам сервер оборудован двумя четырехядерными чипами Xeon E5620 и 48Gb оперативной памяти. По нашим расчетам в оперативной памяти будет закеширована вся БД сайта и индекс полнотекстового поиска, также теперь у нас будет запас по ресурсам CPU.

Замену сервера произведем в течение ближайших двух-трех недель — за это время мы установим в сервер жесткие диски, установим операционную систему (скорее всего CentOS 7), подготовим нужное нам ПО и решим вопросы с установкой оборудования в стойку. Сам переход на новый сервер постараемся сделать с минимальным downtime'ом.

>>> Ittelo.ru

В рамках третьей научно-технической конференции GraphHPC-2016 по проблемам параллельной обработки больших графов с использованием суперкомпьютеров состоится конкурс GraphHPC.

В этот раз участникам предстоит найти самую быструю реализацию задачи Community Detection в неориентированном графе с весами.

Для реализации задачи участникам предлагаются две категории вычислительных систем: одноузловая вычислительная система (CPU и/ или GPU) и 36-узловой вычислительный кластер.

Огранизаторы приглашают к участию студентов, аспирантов, молодых ученых и IT-специалистов, для которых данный конкурс может стать реальным шансом заявить о себе перед научным сообществом и ведущими IT-компаниями.

На сайте конкурса вы можете ознакомиться с условием задачи и скачать пример реализации. Конкурс будет проводиться с 1 по 29 февраля при помощи автоматической системы, которая будет запущена 1 февраля, но работать над решением можно начинать уже сейчас.

Победителей конкурса и творчески отличившихся участников ждут ценные призы, а также они смогут рассказать о своей реализации задачи на конференции. Для студентов предусмотрена отдельная номинация.

>>> Подробности

Обновляем Fedora; ожидайте недоступность сайта несколько раз минут по 5-10 в ближайшее время.

Выпущена новая версия Elasticsearch — современного распределенного движка полнотекстового поиска и выполнения аналитических запросов реального времени. Elasticsearch построен на основе библиотеки Apache Lucene и распространяется под лицензией Apache.

На пути от версии 1.0 к 2.0 было принято 2799 pull request'ов от 477 разработчиков.

Основные изменения в этой версии:

• В предыдущих версиях выборка данных ограничивалась комбинацией запросов (query) и фильтров (filter); запросы отличались от фильтров возможностью вычисления функции ранжирования, а фильтры от запросов — более быстрым методом выполнения и возможностью кеширования. В новой версии запросы и фильтры были объединены, а режим исполнения выбирается контекстом в котором находится запрос. Это заметно упростило логику построения сложных запросов, так же позволило провести ряд оптимизаций. Так, например, медленные запросы поиска фраз и геопоиска теперь выполняются в две стадии — сначала выполняется быстрая апроксимация в режиме «фильтра», а после — медленный уточняющий запрос.
• Многие фильтры в Elasticsearch могут выполняться в двух режимах — с поддержкой кеширования и без. В режиме с поддержкой кеширования первое применение фильтра приводит к полному вычислению значения фильтра на всех документах индекса, в режиме без кеширования фильтр вычисляется для множества документов, ограниченных предыдущими условиями. Ранее выбор режима выполнения отдавался пользователю, в новой версии режим выбирается автоматически на основе накопленной статистики выполнения запросов. Так же была повышена эффективность кеша — вместо простых bitset'ов теперь используется более быстрое и компактное представление.
• Новая реализация parent/child-отношений более эффективна в комбинациях с другими типами запросов. Также в предыдущих версия колонка _parent, используемая для связи, целиком кешировалась в оперативной памяти. В новой версии используется дисковое хранилище «doc values», что привело к существенному снижению использования оперативной памяти сервером.
• Добавлен новый тип агрегатных функций — "pipeline aggregations", позволяющий производить вычисления поверх других агрегатов. Этот режим применяется для вычисления производных, поиска максимальных и средних значений среди результатов других агрегатов, сглаживания графиков, прогнозирования временных рядов и аналогичных функций.
• Улучшения надёжности — операция индексации теперь заканчивается после выполнения fsync журнала транзакций; для всех файлов индекса вычисляются и проверяются контрольные суммы; все операции перемещения файлов индекса теперь гарантировано атомарны. Протокол управления кластером модифицирован для более быстрого распространения изменений в больших кластерах.
• Большой рефакторинг mapping'а — описания схемы данных и настроек индексации. Исправлено большое количество проблем, которые приводили к неоднозначным или неожиданным результатам. Выпущен специальный плагин для проверки совместимости схемы с новой версий и упрощения миграции.
• Для компрессии данных теперь может использоваться не только быстрый алгоритм LZ4, но и более медленный (но эффективный) DEFLATE. Смена алгоритма может быть произведена на существующем индексе перед его оптимизацией, например для исторических данных, в которых больше не ожидается изменений.

Новая версия Elasticsearch может работать с индексами, созданными предыдущими версиями (начиная с 0.90). Опубликован список изменений, которые нужно учесть при миграции с предыдущих версий.

Вместе с выходом новой версии было объявлено, что проприетарный плагин для мониторинга кластера, Marvel, теперь можно бесплатно использовать для production-установок. Коммерческая лицензия требуется только для функций мониторинга группы кластеров Elasticsearch.

>>> Подробности

Функции сайта, которые используют внешний индекс будут не доступны на некоторое время, а потом будут работать не по всему объему пока индексация не завершится:

• поиск
• статистика пользователя и тега
• похожие темы (внизу топика)

закончится 15-го октября утром

Amazon анонсировал выход своей собственной реализации TLS — библиотеки s2n. Основная причина разработки своей библиотеки — гиганский объем кода OpenSSL и сложность его аудита, а также целая серия уязвимостей, найденных в ней за последние два года.

Библиотека представляет свою собственную реализацию TLS поверх низкоуровневой криптографии из OpenSSL. Исходные тексты (на языке Си) в настоящий момент состоят из 6000 строк кода, тогда как в OpenSSL около 70000 строк так или иначе связаны с поддержкой TLS. Лицензия новой библиотеки — Apache, исходные тексты доступны в репозитории на github.

>>> Подробности

Перестрою поисковый индекс. Поиск, «похожие темы» и часть статистики будет некоторое время работать не по полному объему данных. Думаю завтра утром процесс закончится.

О проблемах пишите тут plz.

Раздел «wiki» на сайте скоро прекратит свое существование.

Посещаемость этого раздела довольно низкая (<0.5%), также wiki самостоятельное приложение слабо интегрированное с остальными частями сайта.

В ближайшее время wiki перейдет в режим readonly. Полностью wiki будет отключено к 1-му августа 2015.

Результаты розыгрыша билетов на DevConf 2015 (Выиграй бесплатное участие в конференции DevConf 2015 (Москва)).

Организаторы предоставили нам 3 бесплатных приглашения на основной день конференции. Их получают следующие участники форума:

• himmih (не ответил, вмесно него realloc)
• LOONTIK (отказался, вместо него приглашение получает ggrn)
• fMad (подтвердил участие)

Дополнительно в резервном списке: ggrn, sl4mmer, realloc, Ripper-tm и xazar. Кому-то из них перейдет приглашения если кто-то из основного списка откажется от приглашения или не выйдет на связь до 13-го июня.

Просьба всем попавшим в любой из этих списков подтвердить свое желание пойти на конференцию. Если вы попали в один из списков и не хотите или не можете посетить конференцию — пожалуйста напишите об этом.

Потребуется также регистрация на конференцию, инструкцию я вышлю по почте.

DevConf 2015 — профессиональная конференция, посвященная ведущим технологиям программирования и веб-разработки. Подробнее с программой можно познакомиться на сайте конференции и в анонсе на linux.org.ru. Конференция пройдет 19-го июня в Москве.

Оргкомитет конференции предлагает несколько бесплатных приглашений для участников форума Linux.org.ru. В розыгрыше могут принять участие пользователи, зарегистрированные до 15-го мая 2015 года. Участники будут выбраны случайным образом 8-го июня во второй половине дня.

Для участия в розыгрыше, пожалуйста, подтвердите участие вводом кода 'devconf2015' и нажатием кнопки

Пожалуйста, не нажимайте кнопку если вы не имеете возможности/желания посетить данную конференцию. Пожалуйста, убедитесь что в вашем профиле на сайте указан корректный e-mail. Если мы не сможем связаться с победителем до 10-го июня, приглашение перейдет к другому участнику форума.

Вышла новая версия Play Framework — фреймворка для построения веб-приложений на Scala и Java.

Основное изменение этой версии — поддержка dependency injection (DI). В прошлых версия Play многие компоненты были реализованы в виде глобальных синглтонов, DI поддерживался только для пользовательского кода и добавлялся сторонними плагинами. В этой версии для управления зависимостями был выбран Google Guice, а компоненты Play теперь стали доступны через него. Также была сохранена возможность смены реализации DI, в том числе возможна реализация статического связывания компонентов без использования сторонних фреймворков.

Добавление DI существенно облегчает написание тестов и должно помочь в написании приложений, состоящих из отдельно разрабатываемых модулей.

Также в этой версии:

• URL routing теперь можно задавать не только в конфигурационном файле, но и с использованием Routing DSL. Предполагается, что такой способ будет более удобен для написания REST-сервисов.
• Переход на Java 8, который позволил существенно упростить Java API. Также добавлена поддержка новых типов дат в Play JSON.
• Опциональная возможность использования стандартной для sbt схемы размещения исходных файлов проекта вместо принятой в Play.
• Продолжена модуляризация компонентов Play: API для работы с базами данных, Anorm и Ebean, были вынесены в отдельные компоненты.
• Поддержка TLS SNI в http-клиенте WS.
• Экспериментальная реализация HTTP-backend'а на базе akka-http и реализация Reactive Streams API для работы с HTTP-потоками.

Для пользователей Play 2.3 подготовлено руководство по переходу на 2.4.

Релиз назван “Damiya” в память о Kate von Roeder.

>>> Подробности

Кто-нибудь будет в понедельник на Jpoint? Можно там пересечься, возьму некоторое количество значков l.o.r.

Приделал показ числа уведомления на «табло» Яндекс Браузера.

Если вы пользуетесь этим браузером, напишите plz заработало оно у вас или нет.

Будут недоступны некоторое время, а потом будут работать частично и отставанием следующие функции сайта:

• Поиск
• Список комментариев в пользователя и статистика в профиле
• Похожие темы (внизу страницы топика)

В норму вернется где-то в 18.00.

Выпущена новая версия Elasticsearch — современного распределенного движка полнотекстового поиска и выполнения аналитических запросов реального времени.

Основные изменения этой версии:

• Добавлена экспериментальная функция доступа к данным дочерних документов при выполнении запросов по parent/child отношениям и при работе с nested-объектами. Поддерживается извлечение произвольного количества дочерних документов с поддержкой постраничной выдачи, сортировки по релевантности и подсветки найденных фрагментов текста.
• Shadow-реплики — возможность запуска нескольких узлов кластера Elasticsearch над одной (сторонней) распределенной файловой системой. Фактическая репликация и надежность хранения данных в этом случае обеспечивается файловой системой, а Elasticsearch обеспечивает отказоустойчивое распределение функций master/slave по узлам кластера.
• Улучшены алгоритмы управления кластером, благодаря чему функции распределения шардов, создания, восстановления и удаления индексов стали работать более надежно и предсказуемо.
• Были доработаны функции проверки контрольных сумм данных, добавленные в прошлой версии Elasticsearch 1.4.

>>> Подробности

Представлена новая версия Scala.js, плагина компилятора языка программирования Scala, создающего в результате компиляции Javascript вместо обычного байт-кода JVM. Выпущенная версия 0.6 лишилась флага «экспериментальной версии» и стала первой стабильной сборкой проекта.

Scala.js позволяет программировать для браузера с использованием всех возможностей языка, включая макросы и большую часть стандартной библиотеки. Разработчики могут пользоваться готовой инфраструктурой сборки и тестирования, а также писать код который может исполняться как в браузере, так и на серверной стороне в JVM.

За два года существования проект обзавелся экосистемой, включающей модули для интеграции с различными браузерными фреймворками, средствами тестирования и отладки.

>>> Подробности

Редакция журнала Linux Format объявляет, что до 31/01/2015 действует акция с прошлогодними ценами на подписку: http://www.linuxcenter.ru/linuxformat

Все, оформившие подписку на печатную версию журнала, получают в подарок диск с архивом Linux Format и PDF-версии этих же журналов. Теперь вы можете приступить к чтению журнала сразу в момент выхода свежего номера, не дожидаясь, пока вам доставят бумажную версию.

( читать дальше... )

>>> Подробности

Похоже ahbl.org закончил свое существование.

Команда разработчиков СУБД PostgreSQL представила новую версию продукта — 9.4.

Основное изменение в этой версии — JSONB, бинарное хранилище JSON документов. Для JSONB реализована поддержка быстрой выборки и простых поисковых выражений на основе обобщённых инвертированных индексов (GIN). Ряд новых вспомогательных функций позволяет пользователям извлекать JSON-данные и далее манипулировать ими так же быстро (а иногда и быстрее), как это можно делать в популярных документно-ориентированных базах данных. JSONB позволяет с лёгкостью интегрировать документные и табличные данные в контексте одной базы данных.

Также в этой версии:

• Добавлена поддержка агрегатных функций, выполняющих вычисление над отсортированными множествами. Это позволило реализовать функцию для вычисления заданной персентили. Также в агрегатные функции была добавлена возможность дополнительной фильтрации данных (WHERE) и поддержка быстрого вычисления скользящих функций, таких как скользящее среднее.
• Повышена производительность GIN-индексов — теперь они на 50% меньше и в 3 раза быстрее.
• «Логическое декодирование» — новый API для чтения, фильтрации и манипулирования данными «на лету», в потоке репликации PostgreSQL. Этот интерфейс является основой новых инструментов репликации — например, двусторонней репликации, позволяющей строить PostgreSQL-кластеры с несколькими ведущими узлами (multi-master). Другие улучшения, такие как репликационные слоты и реплики с задержкой по времени, улучшают управляемость и расширяют сферы применения серверов с репликами.
• pg_prewarm — расширение, позволяющее быстро заполнить кеш СУБД после перезагрузки.
• Возможность обновления материализованных представлений без блокировки операций чтения. Это достигается путем создания новой версии представления во временной таблице и последующем обновлении данных представления командами UPDATE/DELETE.

23-го декабря в Москве состоится очередной PostgreSQL-митап, посвещенный выпуску 9.4. На этот раз он пройдёт в компании Parallels. Увидеть подробности и записаться можно здесь: http://www.meetup.com/postgresqlrussia/

>>> Подробности