LINUX.ORG.RU

Посоветуйте хранилище

 , , , ,


1

3

Что там модно сейчас для хранения и обработки больших объемов данных? Riak? Cassandra? CouchDB? VoltDB? Vertica? Hadoop? Даже elasticsearch может? ...? Свои велосипеды?

Масштабируемость основной критерий. Объем большой. Полноценный SQL, наверное, не нужен.

★

«Масштабируемость основной критерий. Объем большой. Полноценный SQL, наверное, не нужен.» - если сомневаетесь, подумайте о модели данных еще. Как бы позже страдать не пришлось.

anonymous
()

Полноценный SQL, наверное, не нужен.

А что нужно?

anonymous
()

Что за «обработка»-то? Если «хочу то, не знаю что» - то надо брать Oracle и забить на big data-мир.

Нужны сначала конкретные задачи, под которые уже выбирается система. В перечисленном списке каждый продукт решает отдельную задачу, непонятно как вы их собрали в один список: Cassandra - это, грубо говоря, распределенная хэш-таблица, Vertica - OLAP, Hadoop - платформа для распределенных вычислений, ElasticSearch - поисковый сервер с возможностью кластеризации. Что надо-то в итоге?

Slackware-ch
()

Что в твоём понимании BIGDATA? Неужени тебе нужно ежесекундно обрабатывать сотни гигабайт данных? Если нет то всё равно что выбрать.

anonymous
()
Ответ на: комментарий от Slackware-ch

Будет некоторый поток данных, на основе которых нужно будет производить вычисления других данных=) Вычисления можно производить не так часто(скажем, раз в сутки), но также где-то хранить результаты и обновлять.

forCe ★
() автор топика
Ответ на: комментарий от forCe

Ты хотя бы примерно можешь сказать, сколько будет данных? Если у тебя 1 запись в минуту, а рассчеты раз в сутки, то хоть в файл их пиши.

Хотя.. Просил то не знаю что — бери mongodb.

kardapoltsev ★★★★★
()
Ответ на: комментарий от kardapoltsev

Изначальных записей ожидается несколько тысяч в секунду. Да, есть вариант просто их писать только в логи, обработку осуществлять отдельно.

forCe ★
() автор топика
Ответ на: комментарий от BattleCoder

Как у него с масштабированием? В идеале хотелось бы иметь возможность в случае необходимости просто «добавить узел».

forCe ★
() автор топика

Сейчас смотрю на HyperDex, если у кого есть опыт использования - делитесь.

forCe ★
() автор топика
1 июля 2015 г.
Ответ на: комментарий от forCe

Сейчас смотрю на HyperDex, если у кого есть опыт использования - делитесь.

И как, успешно? Я вот щас тоже смотрю на него, и вот не знаю.

Debasher ★★★★★
()
Вы не можете добавлять комментарии в эту тему: топик перемещен в архив.