LINUX.ORG.RU

Вышел Hadoop Connector для MongoDB

 ,


0

1

Представлен релиз Mongo+Hadoop Connector — набор модулей для платформы Hadoop, обеспечивающих подключение к NoSQL базе данных MongoDB. Теперь MongoDB может выступать в качестве источника данных для Hadoop (Map/Reduce и другие компоненты экосистемы Hadoop). Также возможна и обратная операция — запись результатов работы в MongoDB.

На данный момент поддерживаются основные API Hadoop (известные как Hadoop Common). Обеспечена поддержка записи в MongoDB из Pig и Streaming для выполнения Map/Reduce на Python.

Репозиторий проекта на github.

>>> Подробности

★★★★★

Проверено: Shaman007 ()

Ответ на: комментарий от tensai_cirno

Если не в safe-mode, то потенциально может. Хотя сейчас ситуация намного лучше, чем пару лет назад.

podelkin ()
Ответ на: комментарий от tensai_cirno

MongoDB всё еще дропает записи?

а что, не надо?

anonymous ()

Вот это я понимаю. Вот на этом можно заработать. А то erlang, erlang!

anonymous ()

Господа, киньте кто-нибудь ссылочку на готовую документацию по МонгоДБ, если таковая есть в природе! Очень надо.

Orlusha ★★★★ ()
Ответ на: комментарий от tensai_cirno

MongoDB всё еще дропает записи?

это во времена до 1.8 случалось, работаешь с монгой правильно - все будет шоколадно

real_maverick ★★★ ()

лучше скажите, почему в реплика-сете мастер писать успевает, а реплики отстают причем весьма значительно?

EvilBlueBeaver ()

выполнения Map/Reduce на Python.

так вот он какой, 100% сфероконь...

AVL2 ★★★★★ ()
Ответ на: комментарий от ymn

Это не прямая ссылка, но по ней можно выйти на полное руководство. Спс.

Orlusha ★★★★ ()
Ответ на: комментарий от Orlusha

вроде бы еще есть книга с названием что-то типа «mongodb in action».

ymn ★★★★★ ()
Ответ на: комментарий от real_maverick

это во времена до 1.8 случалось, работаешь с монгой правильно - все будет шоколадно

Работать с монгой правильно — это ставить монго 1.8+?

Когда с ней работал, такой пока не было :)

tensai_cirno ★★★★★ ()

Теперь можно хранить километровые логи в Монго и обрабатывать в Хадупе?

PaRuSoft ★★★★ ()

омг, hadoop, nosql, mongodb, python, pig, streaming... шибануться.

wstorm ★★ ()
Ответ на: комментарий от SI

Балбес. На ней весь серьезный софт крутится. Начиная от IDE заканчивая приложениями для Лондонской биржи. А твой этот похапе, только для хомячков.

anonymous ()
Ответ на: комментарий от EvilBlueBeaver

лучше скажите, почему в реплика-сете мастер писать успевает, а реплики отстают причем весьма значительно?

а ты магический ключик «w» юзаешь? он говорит на сколько членов в реплике разлить прежде чем считать что записал oK

real_maverick ★★★ ()
Ответ на: комментарий от tensai_cirno

Когда с ней работал, такой пока не было :)

я начинал то ли с 1.4 то ли с 1.6 ;) было эпично когда в 1.9 отломали шардинг с которым я до сих пор ловлю слабопонимаемые глюки, но начиная с монги 2.* все более менее стабилизировалось

real_maverick ★★★ ()
Ответ на: комментарий от real_maverick

так тогда писать в принципе будет медленно. вопрос-то собственно в другом был. почему отставание растет? это же не есть нормально

EvilBlueBeaver ()
Ответ на: комментарий от ymn

вроде бы еще есть книга с названием что-то типа «mongodb in action».

Нашёл, спс. Она вышла уже после того, как я последний раз занимался MongoDB.

Orlusha ★★★★ ()

Streaming для выполнения Map/Reduce на Python.

А при чем тут питон? При использовании streaming режима можно писать на любом языке, хоть на баше.

Reset ★★★★★ ()
Ответ на: комментарий от Orlusha

Гугли «The little MongoDB Book»

Или давай мыло, могу скинуть

boombick ★★★★★ ()

У монги ведь есть свой джяваскриптовый mapReduce.

anonymous ()

Господа, а можно кинуть линком, чего почитать про Hadoop? Помнится, год назад гуглил на эту тему, ничего толкового не нагуглил =/

jessey ()
Ответ на: комментарий от jessey

Книжку в смысле? Тогда зайди на amazon и поищи. Сам рекомендую Hadoop in Action & Hadoop: The definitive guide.

anonymous ()
Ответ на: комментарий от jessey

Кстати. Судя по ажиотажу в кремниевой долине и в америке вообще, позиции связанные с data mining'om и map reduce становятся чрезвычайно популярными.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.