LINUX.ORG.RU

Посоветуйте хранилище

 , , , ,


1

3

Что там модно сейчас для хранения и обработки больших объемов данных? Riak? Cassandra? CouchDB? VoltDB? Vertica? Hadoop? Даже elasticsearch может? ...? Свои велосипеды?

Масштабируемость основной критерий. Объем большой. Полноценный SQL, наверное, не нужен.


«Масштабируемость основной критерий. Объем большой. Полноценный SQL, наверное, не нужен.» - если сомневаетесь, подумайте о модели данных еще. Как бы позже страдать не пришлось.

anonymous ()

Полноценный SQL, наверное, не нужен.

А что нужно?

anonymous ()

Что за «обработка»-то? Если «хочу то, не знаю что» - то надо брать Oracle и забить на big data-мир.

Нужны сначала конкретные задачи, под которые уже выбирается система. В перечисленном списке каждый продукт решает отдельную задачу, непонятно как вы их собрали в один список: Cassandra - это, грубо говоря, распределенная хэш-таблица, Vertica - OLAP, Hadoop - платформа для распределенных вычислений, ElasticSearch - поисковый сервер с возможностью кластеризации. Что надо-то в итоге?

Slackware-ch ()

Что в твоём понимании BIGDATA? Неужени тебе нужно ежесекундно обрабатывать сотни гигабайт данных? Если нет то всё равно что выбрать.

anonymous ()
Ответ на: комментарий от Slackware-ch

Будет некоторый поток данных, на основе которых нужно будет производить вычисления других данных=) Вычисления можно производить не так часто(скажем, раз в сутки), но также где-то хранить результаты и обновлять.

forCe ()
Ответ на: комментарий от forCe

Ты хотя бы примерно можешь сказать, сколько будет данных? Если у тебя 1 запись в минуту, а рассчеты раз в сутки, то хоть в файл их пиши.

Хотя.. Просил то не знаю что — бери mongodb.

kardapoltsev ★★ ()
Ответ на: комментарий от kardapoltsev

Изначальных записей ожидается несколько тысяч в секунду. Да, есть вариант просто их писать только в логи, обработку осуществлять отдельно.

forCe ()
Ответ на: комментарий от BattleCoder

Как у него с масштабированием? В идеале хотелось бы иметь возможность в случае необходимости просто «добавить узел».

forCe ()

Сейчас смотрю на HyperDex, если у кого есть опыт использования - делитесь.

forCe ()
Ответ на: комментарий от forCe

Сейчас смотрю на HyperDex, если у кого есть опыт использования - делитесь.

И как, успешно? Я вот щас тоже смотрю на него, и вот не знаю.

Debasher ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.