Сайт будет некоторое время не доступен с 2 до 3-х утра 27-го мая.

21 февраля вечером состоится встреча, на которой разработчики раскажут о возможностях и устройстве полнотекстового поиска в СУБД PostgreSQL.

Мероприятие состоится в ГАИШ МГУ. Участие бесплатное, по предварительной записи. Количество мест ограничено.

>>> Подробности (meetup.com)

Перестраивается база поиска, некоторое время новые комментарии не будут видны в поиске и «остановятся» счетчики сообщений в разных местах.

Вечером будут технические работы, сайт будет недоступен некоторое время.

Вечером планируются технические работы, сайт будет не доступен некоторое время.

Выпущена новая версия языка программирования Scala.

Основной темой релиза стала интеграция с платформой Java 8 и использование полезных возможностей этой JVM.

( читать дальше... )

>>> Подробности (scala-lang.org)

18 лет назад, в октябре 1998 года, был зарегистрирован домен Linux.org.ru.

По традиции просьба написать в комментариях, что бы вы хотели изменить на сайте, чего не хватает и какие функции стоит дальше развивать. Интересны и идеи по развитию, и мелочи, которые хотелось бы поменять, например, мешающие проблемы юзабилити и баги.

>>> Подробности (linux.org.ru)

DevConf 2016 — профессиональная конференция, посвященная ведущим технологиям программирования и веб-разработки. Подробнее с программой можно познакомиться на сайте конференции. Конференция пройдет 17-го июня в Москве.

Оргкомитет конференции предлагает несколько бесплатных приглашений для участников форума Linux.org.ru. В розыгрыше могут принять участие пользователи, зарегистрированные до 15-го мая 2016 года. Участники будут выбраны случайным образом 14-го июня во второй половине дня.

Для участия в розыгрыше, пожалуйста, подтвердите участие вводом кода 'devconf2016' и нажатием кнопки

Пожалуйста, не нажимайте кнопку если вы не имеете возможности/желания посетить данную конференцию. Пожалуйста, убедитесь что в вашем профиле на сайте указан корректный e-mail. Если мы не сможем связаться с победителем до 16-го июня, приглашение перейдет к другому участнику форума.

Сайт будет не доступен некоторое время, планируются какие-то работы в ДЦ.

Сегодня планируются технические работы где-то между 21:00-23:30, сайт будет некоторое время не доступен.

Компания Ittelo (ООО «Серверный Флот»), специализирующаяся на продаже б/у серверов и комплектующих, предоставила нам сервер для сайта Linux.org.ru. Сервер не новый, но по характеристикам превосходит используемое нами сейчас оборудование, ресурсов которого нам недавно стало не хватать.

Сейчас наш сайт работает на двух двухядерных чипах Xeon 5140 (анонсированных еще в 2006 году) и 12Gb оперативной памяти FB-DIMM DDR2. Предоставленный нам сервер оборудован двумя четырехядерными чипами Xeon E5620 и 48Gb оперативной памяти. По нашим расчетам в оперативной памяти будет закеширована вся БД сайта и индекс полнотекстового поиска, также теперь у нас будет запас по ресурсам CPU.

Замену сервера произведем в течение ближайших двух-трех недель — за это время мы установим в сервер жесткие диски, установим операционную систему (скорее всего CentOS 7), подготовим нужное нам ПО и решим вопросы с установкой оборудования в стойку. Сам переход на новый сервер постараемся сделать с минимальным downtime'ом.

>>> Ittelo.ru (ittelo.ru)

В рамках третьей научно-технической конференции GraphHPC-2016 по проблемам параллельной обработки больших графов с использованием суперкомпьютеров состоится конкурс GraphHPC.

В этот раз участникам предстоит найти самую быструю реализацию задачи Community Detection в неориентированном графе с весами.

Для реализации задачи участникам предлагаются две категории вычислительных систем: одноузловая вычислительная система (CPU и/ или GPU) и 36-узловой вычислительный кластер.

Огранизаторы приглашают к участию студентов, аспирантов, молодых ученых и IT-специалистов, для которых данный конкурс может стать реальным шансом заявить о себе перед научным сообществом и ведущими IT-компаниями.

На сайте конкурса вы можете ознакомиться с условием задачи и скачать пример реализации. Конкурс будет проводиться с 1 по 29 февраля при помощи автоматической системы, которая будет запущена 1 февраля, но работать над решением можно начинать уже сейчас.

Победителей конкурса и творчески отличившихся участников ждут ценные призы, а также они смогут рассказать о своей реализации задачи на конференции. Для студентов предусмотрена отдельная номинация.

>>> Подробности (dislab.org)

Обновляем Fedora; ожидайте недоступность сайта несколько раз минут по 5-10 в ближайшее время.

Выпущена новая версия Elasticsearch — современного распределенного движка полнотекстового поиска и выполнения аналитических запросов реального времени. Elasticsearch построен на основе библиотеки Apache Lucene и распространяется под лицензией Apache.

На пути от версии 1.0 к 2.0 было принято 2799 pull request'ов от 477 разработчиков.

Основные изменения в этой версии:

• В предыдущих версиях выборка данных ограничивалась комбинацией запросов (query) и фильтров (filter); запросы отличались от фильтров возможностью вычисления функции ранжирования, а фильтры от запросов — более быстрым методом выполнения и возможностью кеширования. В новой версии запросы и фильтры были объединены, а режим исполнения выбирается контекстом в котором находится запрос. Это заметно упростило логику построения сложных запросов, так же позволило провести ряд оптимизаций. Так, например, медленные запросы поиска фраз и геопоиска теперь выполняются в две стадии — сначала выполняется быстрая апроксимация в режиме «фильтра», а после — медленный уточняющий запрос.
• Многие фильтры в Elasticsearch могут выполняться в двух режимах — с поддержкой кеширования и без. В режиме с поддержкой кеширования первое применение фильтра приводит к полному вычислению значения фильтра на всех документах индекса, в режиме без кеширования фильтр вычисляется для множества документов, ограниченных предыдущими условиями. Ранее выбор режима выполнения отдавался пользователю, в новой версии режим выбирается автоматически на основе накопленной статистики выполнения запросов. Так же была повышена эффективность кеша — вместо простых bitset'ов теперь используется более быстрое и компактное представление.
• Новая реализация parent/child-отношений более эффективна в комбинациях с другими типами запросов. Также в предыдущих версия колонка _parent, используемая для связи, целиком кешировалась в оперативной памяти. В новой версии используется дисковое хранилище «doc values», что привело к существенному снижению использования оперативной памяти сервером.
• Добавлен новый тип агрегатных функций — "pipeline aggregations", позволяющий производить вычисления поверх других агрегатов. Этот режим применяется для вычисления производных, поиска максимальных и средних значений среди результатов других агрегатов, сглаживания графиков, прогнозирования временных рядов и аналогичных функций.
• Улучшения надёжности — операция индексации теперь заканчивается после выполнения fsync журнала транзакций; для всех файлов индекса вычисляются и проверяются контрольные суммы; все операции перемещения файлов индекса теперь гарантировано атомарны. Протокол управления кластером модифицирован для более быстрого распространения изменений в больших кластерах.
• Большой рефакторинг mapping'а — описания схемы данных и настроек индексации. Исправлено большое количество проблем, которые приводили к неоднозначным или неожиданным результатам. Выпущен специальный плагин для проверки совместимости схемы с новой версий и упрощения миграции.
• Для компрессии данных теперь может использоваться не только быстрый алгоритм LZ4, но и более медленный (но эффективный) DEFLATE. Смена алгоритма может быть произведена на существующем индексе перед его оптимизацией, например для исторических данных, в которых больше не ожидается изменений.

Новая версия Elasticsearch может работать с индексами, созданными предыдущими версиями (начиная с 0.90). Опубликован список изменений, которые нужно учесть при миграции с предыдущих версий.

Вместе с выходом новой версии было объявлено, что проприетарный плагин для мониторинга кластера, Marvel, теперь можно бесплатно использовать для production-установок. Коммерческая лицензия требуется только для функций мониторинга группы кластеров Elasticsearch.

>>> Подробности (elastic.co)

Функции сайта, которые используют внешний индекс будут не доступны на некоторое время, а потом будут работать не по всему объему пока индексация не завершится:

• поиск
• статистика пользователя и тега
• похожие темы (внизу топика)

закончится 15-го октября утром

Amazon анонсировал выход своей собственной реализации TLS — библиотеки s2n. Основная причина разработки своей библиотеки — гиганский объем кода OpenSSL и сложность его аудита, а также целая серия уязвимостей, найденных в ней за последние два года.

Библиотека представляет свою собственную реализацию TLS поверх низкоуровневой криптографии из OpenSSL. Исходные тексты (на языке Си) в настоящий момент состоят из 6000 строк кода, тогда как в OpenSSL около 70000 строк так или иначе связаны с поддержкой TLS. Лицензия новой библиотеки — Apache, исходные тексты доступны в репозитории на github.

>>> Подробности (amazon.com)

Перестрою поисковый индекс. Поиск, «похожие темы» и часть статистики будет некоторое время работать не по полному объему данных. Думаю завтра утром процесс закончится.

О проблемах пишите тут plz.

Раздел «wiki» на сайте скоро прекратит свое существование.

Посещаемость этого раздела довольно низкая (<0.5%), также wiki самостоятельное приложение слабо интегрированное с остальными частями сайта.

В ближайшее время wiki перейдет в режим readonly. Полностью wiki будет отключено к 1-му августа 2015.

Результаты розыгрыша билетов на DevConf 2015 (Выиграй бесплатное участие в конференции DevConf 2015 (Москва)).

Организаторы предоставили нам 3 бесплатных приглашения на основной день конференции. Их получают следующие участники форума:

• himmih (не ответил, вмесно него realloc)
• LOONTIK (отказался, вместо него приглашение получает ggrn)
• fMad (подтвердил участие)

Дополнительно в резервном списке: ggrn, sl4mmer, realloc, Ripper-tm и xazar. Кому-то из них перейдет приглашения если кто-то из основного списка откажется от приглашения или не выйдет на связь до 13-го июня.

Просьба всем попавшим в любой из этих списков подтвердить свое желание пойти на конференцию. Если вы попали в один из списков и не хотите или не можете посетить конференцию — пожалуйста напишите об этом.

Потребуется также регистрация на конференцию, инструкцию я вышлю по почте.