LINUX.ORG.RU

Перевод интервью с разработчиком Twitter о переходе на Cassandra

 , , ,


0

0

Cassandra - это не-SQL хранилище данных, изначально написанное для Facebook. Недавно оно стало одним из основных проектов Apache Software Foundation (новость на opennet). И вот теперь стало известно о том, что Twitter будет переходить на эту БД с использовавшегося ранее MySQL.

Перевод интервью.

>>> Оригинал интервью

Все эти мегараспараллеливающиеся хранилища - от жадности в первую очередь.

kopete_jingle ()

Кто нибудь этим пользуется? Расскажите впечатления.

Guest_now ()
Ответ на: комментарий от kopete_jingle

Вообще уже пора использовать базы данных на основе файловой системы.

Guest_now ()

>изначально написанное для Facebook

... и используемое им в данный момент, или как?

jcd ★★★★★ ()

твиттеру прежде всего нужно с говно-руби сползти

ArtemZ ()
Ответ на: комментарий от Guest_now

+1

БД появились когда ФС были не лучше всяких FATов, для компенсации недостатков тогдашних ФС.

Но сечас времена изменились и ФС существенно выигрывают у БД в производительности.

anonymous ()
Ответ на: комментарий от ArtemZ

> твиттеру прежде всего нужно с говно-руби сползти

Ну дык, если им настолько дорог труд программиста, что они на кластерную систему хранения на Джаве переходят, то почему бы им не остаться на руби?

moradan ()

offtop

Twitter - креативная технология:

http://pleaserobme.com/why

Hey, do you have a Twitter account? Have you ever noticed those messages in which people tell you where they are? Pretty annoying, eh. Well, they're actually also potentially pretty dangerous. We're about to tell you why.

yantux ()
Ответ на: комментарий от moradan

Тогда не вижу причин не приветствовать подобное начинание. На фэйсбуке огромные нагрузки на хранилище, с которыми оно вполне справляется, значит вещь годная.

jcd ★★★★★ ()
Ответ на: комментарий от kopete_jingle

Есть линк на описание устройства контакта? Хоть какой-нибудь? Очень интересно.

moradan ()
Ответ на: комментарий от anonymous

> Но сечас времена изменились и ФС существенно выигрывают у БД в производительности.

Ну да. А когда вдруг требуются БД-специфичные фичи, производительность ФС-основанных решений вдруг проседает на два-три порядка.

Igron ★★★★★ ()
Ответ на: комментарий от Igron

Например какие? Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

Guest_now ()
Ответ на: комментарий от Guest_now

когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL, а теперь наоборот. Класс.

mono ★★★★★ ()
Ответ на: комментарий от Guest_now

>Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

А не есть ли это случай, подпадающий под бритву Оккама? Нужны ли в файловой системе все эти БД-специфичные фичи? Их там и своих вон сколько - не разгребешь.

moradan ()
Ответ на: комментарий от moradan

Вопрос не в том чтобы ФС снабдить фичами базы, а в том чтобы получать к базе доступ на прямую миную абстракцию существующих ФС. В целом это может не быть ФС в общепринятом виде.

Guest_now ()
Ответ на: комментарий от Guest_now

> Например какие? Речь идет о способе хранения данных а не о БД-специфичных фичах, они то как раз останутся. Просто исчезнет еще одна прослойка.

БД-срачей уже было предостаточно.
http://www.linux.org.ru/forum/talks/3599295

Igron ★★★★★ ()
Ответ на: комментарий от jcd

На фэйсбуке огромные нагрузки на хранилище, с которыми оно вполне справляется, значит вещь годная


Справляется. За счет того, что гарантирует, что не все транзакции пропишутся. А в энтерпрайзе это не пройдет. Представь, что ты в банкомате положил деньги на счет, а транзакция не прошла

Karapuz ★★★★★ ()
Ответ на: комментарий от Guest_now

> Вопрос не в том чтобы ФС снабдить фичами базы, а в том чтобы получать к базе доступ на прямую миную абстракцию существующих ФС. В целом это может не быть ФС в общепринятом виде.

Ага, давайте снабдим фичами ФС базу. Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д. Разделение на два слоя - ФС и БД вполне логично для подавляющего числа задач.

moradan ()
Ответ на: комментарий от Karapuz

> За счет того, что гарантирует, что не все транзакции пропишутся.

Можно линк?

moradan ()
Ответ на: комментарий от Igron

Это ничего не доказывает. Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

Guest_now ()
Ответ на: комментарий от Karapuz

>Справляется. За счет того, что гарантирует, что не все транзакции пропишутся. А в энтерпрайзе это не пройдет. Представь, что ты в банкомате положил деньги на счет, а транзакция не прошла

Разумеется, но ведь мы говорим не о банкоматах, а о твиттере. Уровень необходимости обязательной обработки всех транзакций там по сути тот же, что на фэйсбуке - та же соц.сеть.

jcd ★★★★★ ()
Ответ на: комментарий от mono

> когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL, а теперь наоборот.

Наверное это было тогда, когда ещё ждали WinFS.

sv75 ★★★★★ ()

А почему не рассматривался кластер серверов под управлением какого-то там Оракла к примеру, он бы справился с нагрузкой бы.

mobile ()
Ответ на: комментарий от ArtemZ

>руби ещё хуже джавы

Завидно что-ли, что он на руби?

Не нравиться, напишите свой твиттер, без руби и блекджека.

Flcn ()
Ответ на: комментарий от moradan

>Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д.

Не обязательно. Тот же мускул, движок innodb, умеет хранить данные прямо на диске минуя фс

goingUp ★★★★★ ()

Сходил по ссылке

...а там:

Why does Cassandra slow down after doing a lot of inserts?

This is a symptom of having Cassandra's memtable thresholds too high, resulting in a storm of GC operations as the JVM frantically tries to free enough heap to continue to operate. You can increase the amount of memory the JVM uses, or decrease the insert threshold before Cassandra flushes its memtables. See MemtableThresholds for details.

Так жаба все-таки тормозит, да?

linuxfan ()
Ответ на: комментарий от Flcn

не завидно, а мерзко. руби - это такой выкидышь, что без боли на него смотреть невозможно

ArtemZ ()
Ответ на: комментарий от ArtemZ

ты просто его не осилил. среди популярных скриптовых языков пока лучше ничего нету.

anonymous ()
Ответ на: комментарий от mono

>>когда-то давно я читал на ЛОРе пост о том, что пора переходить на файловую систему на основе SQL

И поставить на неё MySQL!!!111

mclaudt ()
Ответ на: комментарий от anonymous

Любимое оправдание говноедов(простите) - ты не осилил. А руби и правда, ужас. Правда с новой VM сейчас он догнал Py2.6, но до Py3.0 далековато.

tia ()
Ответ на: комментарий от Guest_now

Вообще уже пора использовать базы данных на основе файловой системы.


Стоп. Насколько я помню фс древовидная а скуль нет.
( за это в принципе создатель скуля и ругал скуль )

Или я не понял ?

mx_ ()

Твиттер еще и на руби? Кошмар какой. А зачем вобще этот твиттер нужен? Кто нить знает? Я думал для ссылок, но есть вроде бы делисиоз для этого.

kristall ★★ ()

Запрашивает Миша Рыцаревъ

Стандартные вопросы на этот случай жизни: а не бывает ли так, что с выходом нового в нем

появляются недостатки те, которых раньше не было? (регрессия) А изменяется ли его

совместимость со старым железом? (хуже или лучше после этого становится?) Когда ядро станет

таким, что в нем усовершенствовать и улучшать станет уже в общем то нечего? И что будет собой

представлять это «светлое будущее»? Какие недостатки в нем еще остались? А насколько оно

сейчас совершенней ядра винды? (интересно, а заимствуют ли чего из него специалисты MS?) А

если открыть ея исходники, то будут ли те же линукс-специалисты таким же образом заниматься еще и с виндой? А то есть же слух например вот этот- http://www.infopk.ru/index.php?showtopic=16990 . (еще вот этот вот необычный еще есть- http://www.softboard.ru/lofiversion/index.php/t47513.html ) Да и базы же там всякие продают (Я например встречал более 80 их наименований. Интересно, а чего на этот счет я еще не встречал?). Может,- таким же образом наши умельцы и код винды раздобудут? (интересно, а для кого он наиболее интересен?) А какой есть русскоязычный сайт- аналог kernel.org ? (а как пользоваться сервисом онлайн-перевода?) То, что я нашел- это все бывало хорошо работавшим лишь в прошлом. А сейчас все то- почему то заброшено. Заброшенных или неполноценных сайтов о линуксе- много, ох как много! (теперь некоторые из таковых хороши лишь как «виртуальный музей» и историческое пособие. Например вот это- http://linuxkernel.ru/ ). Подскажите, а что в рунете на этот счет теперь лучшее?

ua9oas ()

Ганс прав.

«Если вы используете дополнительный слой для хранения данных у вас просто плохая файловая система.» (Ганс Райзер)

И таки мы с mv уже обсуждали и пришли к выводу, что БД хранящая данные не в файлах на файловой системе, но использующая для этого разделы НЖМД может быть рассмотрена как файловая система.

Camel ★★★★★ ()
Ответ на: комментарий от moradan

> Все равно ведь надо каким-то образом управлять кластерами, фрагментацией, поиском данных на физическом устройстве и т.д.

Встречайте: Oracle ASM. В 11.2 на его основе даже сделали файловую систему ASMFS, но я еще не пробовал. А сам ASM очень даже хорош для базы данных, как для RAC - само собой, так и для standalone. Есть опыт.

twoflower ()
Ответ на: комментарий от Guest_now

> Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

По этому поводу мне очень нравится эпизод из мультфильма «Ишь ты, Масленица!»: Покуда твой конь четырьмя ногами: раз, два, три, четыре, мальчишка на двух ногах: раз-два, раз-два… Давай коня постерегу, а ты бегом: раз-два, раз-два. :)

twoflower ()
Ответ на: комментарий от anonymous

>среди популярных скриптовых языков пока лучше ничего нету.

питон уже непопулярен?

KDE41user ()
Ответ на: комментарий от anonymous

> ты просто его не осилил. среди популярных скриптовых языков пока лучше ничего нету.

Очень смелое заявление )))

Alesh ()
Ответ на: комментарий от anonymous

> среди популярных скриптовых языков пока лучше ничего нету.

Лучшего для чего?

Gukl ★★ ()
Ответ на: комментарий от Guest_now

> Сам посчитай, какая схема быстрее: клиент-сервер-фс-база или клиент-база ?

Ололо. Можно подумать клиент сразу обращается к БД минуя сервер.

Igron ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.