LINUX.ORG.RU

Сообщения shty

 

Spark 1.5 — распределенная система обработки данных

Новости — Open Source
Группа Open Source

9 сентября 2015 года стала доступна новая версия высокопроизводительной системы распределенной обработки данных.

Apache Spark — это высокопроизводительная система для распределенной обработки данных, основанная на модели вычислений в памяти.

Spark предназначен для запуска в окружении Hadoop-кластера через использование механизма YARN или в одиночном режиме. В качестве уровня хранения данных могут быть использованы HDFS, HBase, Cassandra, Hive или любой Hadoop input format. Поддерживается работа в пакетном режиме (подобно map-reduce), а также режимы потоковой обработки, интерактивных запросов и машинного обучения. Spark предоставляет программные интерфейсы для работы с языками Python, Java и Scala.

Является проектом верхнего уровня Apache Software Foundation (ссылка).

( читать дальше... )

>>> Подробности

 

shty ()

новости

Форум — Linux-org-ru

ребят, новости висят в неподтвержденных, или заапрувьте, или покритикуйте/отбейте

 

shty ()

Ceph 0.94 - распределенное отказоустойчивое хранилище данных

Новости — Open Source
Группа Open Source

7 апреля стала доступна новая версия отказоустойчивого распределенного хранилища данных Ceph.

Ceph — это масштабируемое петабайтное хранилище с открытым исходным кодом, в основе которого лежит принцип объединения дисковых пространств серверов в единое объектное хранилище, что позволяет реализовать гибкую многократную псевдослучайную избыточность данных. Ceph предоставляет на выбор три различных интерфейса для работы с хранилищем:

  • RADOS Gateway (RGW) — S3- и Swift-совместимый RESTful интерфейс;
  • RADOS block device (RBD) — блочное устройство с поддержкой тонкого роста и снэпшотами;
  • Ceph FS — распределенная POSIX-совместимая файловая система.

Для горячих голов: CephFS пока ещё не рекомендуется использовать для хранения информации, которую будет жалко потерять. :)

Основные изменения:

  • увеличено быстродействие RADOS: в OSD (Object Storage Daemon) и в библиотеку librados внесён ряд улучшений, направленных на улучшение работы на flash-накопителях, а также на улучшение параллелизма и масштабируемости системы на быстрых узлах;
  • добавлено версионирование объектов RGW: добавлена поддержка S3 obect versioning API;
  • добавлено шаридирование бакетов RGW: индексы бакетов теперь поддерживают разнесение на разные узлы, что увеличивает быстродействие для больших бакетов;
  • добавлены карты объектов RBD: создан механизм, отслеживающий аллокации частей образов блочных устройств, что увеличивает производительность операций клонирования, удаления и др.
  • много улучшений в механизме создания снэпшотов CephFS;
  • много улучшений направленных на повышение скорости и стабильности в утилитах восстановления и диагностики CephFS;
  • улучшения в CRUSH*): добавлен новый алгоритм (straw2), который позволяет снизить количество миграций при переконфигурировании кластера.

*) CRUSH - Controlled Replication Under Scalable Hashing; алгоритм определяющий распределение данных по узлам и, соответственно, их извлечение.

исходный код

>>> Подробности

 ,

shty ()

Redis 3.0.0

Новости — Open Source
Группа Open Source

1-го апреля 2015 года стала доступна новая версия нереляционной СУБД Redis. Основной отличительной особенностью данного релиза является то, что это первая стабильная версия Redis со встроенной поддержкой кластеризации*).

Redis - это нереляционная СУБД типа ключ-значение (key-value) с открытым исходным кодом.

Поддерживает следующие структуры данных:

  • строка (string);
  • хэш (hash);
  • список (list);
  • множество (set);
  • сортированное множество (sorted set);
  • битовый массив (bitmap);
  • HyperLogLog (структура данных для реализации алгоритма рандомизированного вероятностного подсчета количества уникальных значений).

Для всех этих типов поддерживаются атомарные операции (например вставка в список или пересечение множеств). База данных Redis хранится в основной памяти, а для обеспечения долговременного хранения используется синхронизация на диск.

Основные изменения:

  • встроенная поддержка кластеризации;
  • улучшен аппроксимационный алгоритм вытеснения ключей для LRU**)-кешей;
  • добавлена команда CLIENT PAUSE: остановка обработки всех запросов клиента на определенное время;
  • переработан механизм обеспечения долговременного хранения даных AOF***) с целью уменьшения задержек при сбросе буфера на медленных дисках;

*) Redis Cluster Specification
**) least recently used
***) append only file

>>> Подробности

 , ,

shty ()

Neo4J 2.2 — новая версия графовой базы данных

Новости — Open Source
Группа Open Source

25 марта вышла новая версия графовой базы данных Neo4J.

В этом релизе представлены улучшения, которые, как утверждается, позволят существенно повысить производительность операций чтения и записи данных, а также улучшают возможности по отладке и тестированию.

Ключевые моменты изменений версии 2.2:

  • новый планировщик запросов для языка Cypher основанный на анализе затрат (cost-based optimizer);
  • поддержка профилирования и отладочного вывода для запросов Cypher;
  • новый механизм кеширования операций чтения, основанный на размещении страниц кеша в памяти (in-memory page cache);
  • новый механизм быстрой буферизации записи и оптимизация сброса транзакций на диск.

На начало 2015 года графовая база данных Neo4J занимает 23 место по популярности (по версии сайта DB-ENGINES).

>>> Подробности

 ,

shty ()

[тагил] рулит, реально разруливает

Форум — Talks

After Deputy Prime Minister Dmitry Rogozin accused the United States of being the main suspect in rendering their Phobos-Grunt Mars spacecraft useless, the United States Strategic Command has mysteriously deleted all the spaceship's data from their Space Track database.

The US military has not given any official explanation and industry experts can't imagine what could be reasons of this strange decision, which goes against current Space Track policies.

отсюда

shty ()

[loroogle][TRAC language] fundamentals

Форум — Development

Может завалялся у кого TRAC language fundamentals (желательно от 2001 года)?

А то гуглил-гуглил и не нагуглил.

shty ()

[loroogle] опознать песню

Форум — Talks

http://www.youtube.com/watch?v=MkzWE_jyboA

помогите опознать, что-то знакомое, но из головы вылетело совсем, может кто знает? :)

если поможет могу часть лириксов, которые расслушиваются, написать здесь, правда гугление по ним ничего вменяемого не дало

shty ()

[стас-михайлов-тредъ] навеяло

Форум — Talks

Ну вот доколе всякие дегенераты будут делать вид что они певцы великие?

Сравните, песни про одно и то же:

http://www.youtube.com/watch?v=h-ymLiNxDWo&feature=related

http://www.youtube.com/watch?v=vv5ZKMm0EH4

shty ()

LLVM 3.0

Новости — Open Source
Группа Open Source

30.11.2011 в свет вышла очередная версия фреймворка для построения компиляторов и виртуальных машин.

Википедия

Low Level Virtual Machine (LLVM) — универсальная система анализа, трансформации и оптимизации программ, реализующая виртуальную машину с RISC-подобными инструкциями. Может использоваться как оптимизирующий компилятор этого байткода в машинный код для различных архитектур либо для его интерпретации и JIT-компиляции (для некоторых платформ).

Проект LLVM официально включает в себя следующие основные проекты:

  • LLVMCore - библиотеки для обеспечения платформонезависимой оптимизации и кодогенерации под различные виды процессоров и платформ;
  • CLang - компилятор языков C/C++/Objective-C для LLVM;
  • dragonegg - объединяет в себе парсер GCC-4.5 и оптимизацию и кодогенерацию на основе библиотек LLVM;
  • LLDB - дебаггер, использует Clang и LLVM;
  • libc++ - реализация стандартной библиотеки C++ (включает неполную поддержку стандарта C++11);
  • vmkit - реализация языков Java и .Net для LLVM;
  • SAFECode - память-безопасный компилятор С/С++.

Помимо упомянутых официальных проектов существует большое количество проектов, которые используют LLVM для компиляции программ для таких языков как Ruby, Python, Haskell, Java, D, PHP, Lua и т.д.

Основные изменения:

  • llvm-gcc больше не поддерживается, рекомендуется использовать clang или dragonegg;
  • LLVM IR (intermediate representation - платформонезависимый ассемблер для LLVM) включает в себя полную поддержку атомарных операций с памятью (load, store, compare, exchange, read/modify/write, etc.);
  • полностью переделан механизм обработки исключений в LLVM IR;
  • полностью переделана система типов LLVM IR;
  • MIPS backend доведён до production quality;
  • ...

Полный и подробный перечень изменений можно посмотреть в подробностях.

В настоящее время для скачивания доступен только исходный код (через svn). В ближайшее время на сайте в списке закачек ожидается появление бинарных сборок и тарболла.

>>> Подробности (англ.)

 , ,

shty ()

[котэ] никому не нужно?

Форум — Talks

Есть мелкий котэ. Возраст - около 1 месяца, цвет - серый, лохматый. Вроде деука, но хрен там поймёт.

На вид не больной, но то только в ветеринарке точно сказать смогут.

Регион - мск.

Собственно вот, если кому нужно - стучитесь в жабу, или здесь пишите.

// Сам не видел, фоток нет.

shty ()

[c++] early returns vs instrucion cache

Форум — Development

Читал тут статью, наткнулся на фразу «Avoid early returns or lots of function calls to “help” performance, as it kills the instruction cache.»

Нет, ну я понимаю про «lots of function calls», а что там с «early returns»? Может имеется в виду «early returns» как типа оптимизация «lots of function calls»?

Что скажут знатоки?

shty ()

[tiling][wm] решил попробовать, что порекомендуете

Форум — Desktop

Что-то зачесалось попробовать тайлинговый wm. Занимаюсь, в основном, программированием, так что вроде выглядит разумно. :)

В настоящее время рассматриваю:

  • awesome
  • xmonad/bluetile (кстати, какой из них интереснее?)
  • qtile
  • stumpwm
  • ion3

Похвалите/поругайте перечисленные, может кто что ещё использует. Расскажите о своём опыте. Заранее благодарен.

//Ненужноляторы идут лесом.

shty ()

[иснова] флуд в разделе Development

Форум — Linux-org-ru

Обращаю внимание на большое количество искромётного школьного «юмора» и зашкаливающее количество испортившегося жира вот в этой теме.

В связи со сложившейся ситуацией предлагаю снести данную тему, с одной стороны за её абсолютной ненужностью ТС для целей, помимо глупой и натужной попытки потроллить, и, с другой стороны, по причине практически нулевой ценности для прочих участников форума.

Так как под удаление подходят практически все посты SexualOpenSourceCode, предлагаю предлагаю объявить ему благодарность путём выполнения запроса к базе пользователей.

Далее, у меня есть стойкое ощущение, что данный пользователь является чьим-то виртуалом. Предлагаю провести расследование (хоть и не уверен что оно даст результат).

Полагаю что пора остановить вакханалию.

shty ()

новость только для модераторов?

Форум — Linux-org-ru

а почему в новости про выход Fedora 15 стоит ограничение на добавление коментариев «только для модераторов»?

это новое слово в новостеписании или просто кто-то промахнулся мимо кнопки?

http://www.linux.org.ru/news/opensource/6295780

shty ()

[весеннее обострение][Барин-клован] нда...

Форум — Talks

простите мне жёлтую прессу, но звукопруф прилагается

для Ъ

Господин Михалков был так любезен, что раскрыл не только свои тайны, но и секреты своих коллег. Например, он рассказал много интересного про «трахающего на Красной площади козу» Диброва и «отобранную у Путина» мигалку.

- Хотите обосрать меня - конечно, вперед! - предложил режиссер.

shty ()

[fedora] всегда так?

Форум — Talks

решил поиграться с fedora и lxde, поставил, напоролся на: https://bugzilla.redhat.com/show_bug.cgi?id=646041

в голове не укладывается как можно было пропустить такой баг тестерам, походу просто не тестировали

в fedora всегда так?

//про ССЗБ знаю

shty ()

частные вопросы разработки и тестирования

Форум — Development

обсуждаем частные вопросы разработки и тестирования

(тема заведена дабы не оффтопить в соседней теме)

shty ()

e-learning

Форум — Talks

товарищи студенты, преподаватели, админы, а также просто товарищи которые в курсе, а вот какие e-learning средства используются в Вашем alma mater?

shty ()

[VCS] gitorious vs github

Форум — Development

Выбираю систему контроля версий для нового проекта. Выбор стоит между Gitorious и Github. Проект чисто программистский (никаких ресурсов и прочего) и открытый, будет рассчитан изначально на небольшое количество человек, но в дальнейшем, может быть существенно отмасштабирован по количеству участников.

Я проштудировал материалы в этих самых «интернетах» и более или менее представляю достоинства и недостатки данных систем контроля версий (в табличном виде). Однако, сравнения и графики - это конечно прекрасно, но хотелось бы сугубо личных (можно даже сказать предвзятых) впечатлений и доводов удобнее/неудобнее. Короче, поделитесь какая из представленных 2-х систем Вам лично больше нравится и какую чаще Вы используете.

Заранее спасибо! :)

shty ()

RSS подписка на новые темы