LINUX.ORG.RU

SciDB - 13.6

 , , ,


2

3

Вышла новая версия проекта SciDB и Paradigm4 extensions - 13.6

SciDB - проект Майка Стоунбрейкера, отца многих СУБД. SciDB - версионируемая СУБД для аналитики, работающая с большими многомерными распределёнными массивами.

Доступны два вида синтаксиса:

  • Array Query Language (AQL) — язык очень похожий на SQL, но работающий не с таблицами (таблица = одномерный массив), а с многомерными массивами;
  • Array Functional Language (AFL) — «чистый» в функциональном смысле полностью эквивалентный AQL язык.

Партицирование данных и запросов, линейная алгебра, математическая статистика и машинное обучение из коробки.

С момента предыдущей новости про версию 12.2 про SciDB выходило две минорные версии - 13.1 и 13.3.

Изменения (по сравнению с версией 12.12) включают в себя:

  • Интеграция
    • JDBC коннектор - теперь запросы можно запускать из java
    • SciDB R-package - поддержка языка R
    • ScaLAPACK теперь доступен для всех платформ - CentOS 6, RedHat 6, Ubuntu 12.04 LTS (ранее была лишь Ubuntu)
    • интеграция с Intel Math Kernel Library - ускорение запросов с линейной алгебры в 10-12 раз (!)
    • Добавлены deployment скрипты для установки SciDB на кластер
  • Исправления
    • Исправление критичного бага по работе со строками
    • Существенно улучшена производительность redimension_store (оператор по созданию измерения из аттрибута)
    • Улучшена производительность оператора window (оконные вычисления функций)
    • NOT EMPTY (dense) массивы deprecated и не рекомендуются более к использованию
  • Новые операторы
    • Оператор GEMM - General Matrix Multiply
    • Оператор GESVD - Generalized Singular Value Decomposition
    • Оператор TSVD - Truncated Singular Value Decomposition
    • Оператор GML - Generalized Linear Model

>>> Скачать (требуется регистрация)



Проверено: catap ()

Ответ на: комментарий от anonymous

Эксперимент по использованию коммерческой СУБД в науке для хранения больших объёмов данных был: Fermilab в роле испытуемых и Objectivity в роли СУБД — это был эпичнейший фэйл. PostgreSQL, как SciDB не зря астрономы пилят — они в курсе что такое большой объём данных в отличии от. Коммерсам ловить в этих местах совершенно нечего — они тут аутсайдеры.

Evgueni ★★★★★ ()
Ответ на: ArrayQL от Woofywoof

Колоночное хранение Каждый атрибут хранится отдельно

zabivator ()
Ответ на: комментарий от Evgueni

PostgreSQL, как SciDB не зря астрономы пилят — они в курсе что такое большой объём данных

Это только в россии и все от нищеты.

Слоуновский цифровой обзор неба использует Майкрософт SQL, Вроде как институт астрономии в Принстоне - db2 и oracle 10 g. И что главное - астрономы заняты выполнением свой прямых обязанностей, а не строчат говнокод, пытаясь переплюнуть фирму оракл.

anonymous ()
Ответ на: комментарий от anonymous

Это международный проект, и головной офис находится в Бостоне

zabivator ()
Ответ на: комментарий от anonymous

Вы бы посмотрели на исходный код, прежде чем поливать помоями.

zabivator ()
Ответ на: комментарий от zabivator

И что? Люди будут покупать проверенные решения у того же оракла, с поддержкой и всем остальным.

anonymous ()
Ответ на: комментарий от zabivator

А чего смотреть? Ясно что движок базы пишут не физики и не астрономы, я про «решение» для клиента. Видел код на перле, написанный биологами - как это можно поддерживать, выше моего понимания.

anonymous ()
Ответ на: комментарий от anonymous

Ну а я видел код профессионального программиста, который был замечательный, но только не решал нужную задачу.

Тут некоторое недопонимание: продукт и решение конкретной проблемы это разные вещи. В случае решения задачи лучше предметник и посредственный программист, нежели великолепный программист и посредственный предметник.

Evgueni ★★★★★ ()
Ответ на: комментарий от anonymous

И почему нет никаких бенчмарок, говорящих о мегакрутости данной базы? Взяли бы к примеру ROOT с его подходом с обработке очень больших объемов. И посчитали параметры бозона Хигса на распределенной базе в 1600 террабайт.

anonymous ()
Ответ на: комментарий от Evgueni

хороший предметник пишет хорошее тз на разработку продукта и заказывает его, а не заставляет несчастных студентов-физиков заниматься программированием на питоне, что наблюдается сплошь и рядом.

anonymous ()
Ответ на: комментарий от anonymous

1600 ТБ — это сырые данные, на которые необходимо натравить реконструкцию для начала. Но в принципе SciDB вполне себе решение для хранения сырых файлов заходов, хотя и избыточное.

Evgueni ★★★★★ ()
Ответ на: комментарий от anonymous

Сказки про ТЗ я слышал многократно. Если человек не понимает что делать, то ему никакое ТЗ не поможет, особенно если ТЗ меняется в процессе анализа. В том то и фича, что ТЗ неизвестно, так как сам анализ это есть его составление.

Evgueni ★★★★★ ()
Ответ на: комментарий от Evgueni

Я пишу ТЗ. Заключаю договор, оплачиваю и получаю продукт в установленный срок. А как иначе? Откуда деньги на содержание собственных программистов или электронщиков в небольшой лаборатории?

anonymous ()
Ответ на: комментарий от anonymous

Хотелось бы понять на сколько ваши задачи типовые. С типовыми задачами проблем нет, но они и не интересны.

Evgueni ★★★★★ ()

А как стать таким же Марком Стоунбрейкером? Вот я тоже люблю делать свои проекты, но обычно всё время уходит на работу на дядю. А где взять денег, чтобы запиливать исключительно свои проекты? Хочу, чтобы появлялись новости «новая софтина от Димы Бортникова»... Как?

kiverattes ★☆ ()
Ответ на: комментарий от kiverattes

Для Майка это и была основная работа, как и собственно SciDB сейчас.

Evgueni ★★★★★ ()
Ответ на: комментарий от kiverattes

время уходит на работу на дядю. А где взять денег

у дяди, ясен хрен

anonymous ()
Ответ на: комментарий от Evgueni

А как так сложилось, что основная работа была увлечением? )

kiverattes ★☆ ()

SciDB R-package - поддержка языка R

А вот за это - огромное спасибо. Близок тот день, когда можно будет попробовать на домашнем компе и посоветовать знакомым нейрофизиологам. :)

Vinni_Pooh ★★★★★ ()

А почему «таблица = одномерный массив»?... Вообще-то он двухмерный...

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.