LINUX.ORG.RU

Apache Hadoop 2

 ,


1

2

Apache Software Foundation анонсировал выход Hadoop 2.2, платформы для параллельной обработки больших объемов данных и параллельных вычислений. Версия 2.2 стала первой стабильной версией в семействе 2.x.

Основные новинки Hadoop 2.x:

  • YARN — новая платформа управления задачами и ресурсами кластера, расчитанная на одновременный запуск различных приложения на кластере. Помимо Map-Reduce приложений, ядро теперь поддерживает поточные приложения, приложения баз данных, серверы для выполнения интерактивных запросов и т.п. Подробности о отличии новой архитектуры от 1.x можно прочитать в анонсе в блоге компании Hortonworks.
  • NameNode, центральный индекс узел файловой системы HDFS, обзавелся собственными средствами обеспечения высокой доступности. В прошлых версиях NameNode являлась единой точкой отказа, и для повышения его надежности использовались сторонние решения
  • NameNode теперь может быть разделен на несколько узлов, обслуживающих различные пространства имен
  • HDFS, файловая система Hadoop, теперь так же доступна через NFSv3
  • Поддержка снапшотов HDFS
  • Поддержка шифрования трафика между узлами
  • Различные улучшения производительности

>>> Подробности

★★★★★

Поддержка шифрования трафика между узлами

К чему бы это

vertexua ★★☆☆☆ ()

круть, особенно про NFS интересно, как оно реализовано, мож кто объяснит? Жаль, что у нас пока 3й релиз от Cloudera только.

insider ★★★ ()

Пользуясь случаем, упоминаю о недавнем переходе spark в инкубатор apache, что говорит о том, что спарк готов. И там, кстати, в гитхабе как раз обсуждают тоже секьюрность между узлами. Точно готов.

cdshines ★★★ ()
Ответ на: комментарий от cdshines

И еще пользуясь случаем, советую погуглить пост про то, что you don't need Hadoop.

cdshines ★★★ ()

Помимо Map-Reduce приложений, ядро теперь поддерживает поточные приложения, приложения баз данных, серверы для выполнения интерактивных запросов и т.п.

Я правильно понимаю, что джоба может делать, например, SQL запросы к СУБД, которая запущена на нодах? Или что это?

xpahos ★★★★★ ()

Шифрование это конечно круто, но поддержка ipv6 была бы более актуальна. Оно уже есть или всё еще нет?

Reset ★★★★★ ()

«Единой точной отказа» наверно имелось ввиду «точкой»

disee ★★★ ()
Ответ на: комментарий от Reset

боже, неужели где-то в 2013 году ещё нет поддержки ipv6? мрак...

anonymous ()
Ответ на: комментарий от Reset

Шифрование это конечно круто, но поддержка ipv6 была бы более актуальна. Оно уже есть или всё еще нет?

Нет и в ближайшее время не предвидится.

xpahos ★★★★★ ()
Ответ на: комментарий от xpahos

печально :( неужели им самим нравится сношаться с серыми адресами?

Reset ★★★★★ ()
Ответ на: комментарий от xpahos

а в чём сложность? я конечно не силён в этом, но всё же... понимаю там реализовать ipv6 стек в ядре — тут понятно. но добавить поддержку ipv6 в по более высокого уровня — чего такого?

anonymous ()

или я сейчас кончу.... или это звучит лучше, чем есть

namezys ★★★★ ()
Ответ на: комментарий от Reset

печально :( неужели им самим нравится сношаться с серыми адресами?

хз, у нас есть ipv6 :)

xpahos ★★★★★ ()
Ответ на: комментарий от anonymous

а в чём сложность? я конечно не силён в этом, но всё же... понимаю там реализовать ipv6 стек в ядре — тут понятно. но добавить поддержку ipv6 в по более высокого уровня — чего такого?

Я тоже не силен в Hadoop, если мне память не изменяет то проблема в Java

http://stackoverflow.com/a/10378570

xpahos ★★★★★ ()
Ответ на: комментарий от cdshines

И еще пользуясь случаем, советую погуглить пост про то, что you don't need Hadoop.

Ай вонт ту райд май байсикл. Моар, Моар!

anonymous ()
Ответ на: комментарий от Reset

а смысл?сейчас ipv6 только в 12 странах реализовано.... В рашке всего 14 провайдеров работают на ipv6,остальные совместимы но предпочтение ipv4.И то эти 14 это магистралы,а те что дают уже непосредственно людям все ток совместимые,а большинство даже не совместимы.... Я вот даже пропинговать ipv6 адрес не могу с этого провайдера.

erzent ☆☆ ()
Последнее исправление: erzent (всего исправлений: 1)
Ответ на: комментарий от vertexua

К чему бы это

чтобы можно было не переживать за приватность данных при передаче между нодами.

VoDA ★★ ()
Ответ на: комментарий от erzent

Hadoop очень часто про LAN, а не про WAN. А развёртывать локальную сетку на IPv6 сильно удобнее и приятнее чем на IPv4

anonymous ()
Ответ на: комментарий от erzent

В крупных конторах, в которых используется хадуп, внезапно, есть ipv6 и имеется дефицит ipv4 :)

Reset ★★★★★ ()
Ответ на: комментарий от Reset

у них и контракты с магистральными а не с простыми провайдерами,у меня тоже на работе ipv6 основа.

erzent ☆☆ ()
Ответ на: комментарий от erzent

у меня через ipv6 идёт больше трафика, чем через ipv4.

anonymous ()
Ответ на: комментарий от anonymous

Дурачок, я не просто всунул слова на английском абы було. По этой фразе первая гуглится то, что я рекомендую почитать, а не левый шлак. Что мне было, советовать «погуглите Вам Не Нужен Хадуп, только на английском»?

кстати, сабж: http://www.chrisstucchio.com/blog/2013/hadoop_hatred.html

cdshines ★★★ ()
Ответ на: комментарий от RedPossum

Ну и что именно мешает хадупу?

моя память мне изменила. Коллега говорит, что там какие-то хэши от ipv4 адреса зависели.

xpahos ★★★★★ ()
Ответ на: комментарий от erzent

а смысл?сейчас ipv6 только в 12 странах реализовано.... В рашке всего 14 провайдеров работают на ipv6,остальные совместимы но предпочтение ipv4.И то эти 14 это магистралы,а те что дают уже непосредственно людям все ток совместимые,а большинство даже не совместимы.... Я вот даже пропинговать ipv6 адрес не могу с этого провайдера.

При чем тут провайдер? У тебя кластер, скажем, на 1к машин, где ты под них купишь ip адреса? А когда будешь расширяться, то что будешь делать? Все известные мне ДЦ пользуются сетевым оборудованием с поддержкой ipv6.

xpahos ★★★★★ ()
Ответ на: комментарий от xpahos

дай мне пинг вон до этого адреса 146.66.155.152:27033..... ты можешь сделать локалку с ipv6,но интернет у тебя будет на 98% ipv4.Потому что провайдерам лень пока покупать новое оборудование и вводить новшества.

erzent ☆☆ ()
Ответ на: комментарий от xpahos

При чем тут провайдер? У тебя кластер, скажем, на 1к машин, где ты под них купишь ip адреса? А когда будешь расширяться, то что будешь делать? Все известные мне ДЦ пользуются сетевым оборудованием с поддержкой ipv6.

Если это кластер, то доступ к каждому его узлу со всего Интернета всё равно делать никто не станет. :) Поэтому и проблемы нет.

rtvd ★★★★★ ()
Ответ на: комментарий от erzent

дай мне пинг вон до этого адреса 146.66.155.152:27033..... ты можешь сделать локалку с ipv6,но интернет у тебя будет на 98% ipv4.Потому что провайдерам лень пока покупать новое оборудование и вводить новшества.

Еще раз повторюсь, кластера не дома собирают. Вряд ли твоя квартира сможет похвастаться двумя независимыми вводами эл. питания и чиллерами. На площадках ДЦ проблем с ipv6 нет.

И да, у меня есть ipv6 через VPN.

xpahos ★★★★★ ()
Ответ на: комментарий от rtvd

Если это кластер, то доступ к каждому его узлу со всего Интернета всё равно делать никто не станет. :) Поэтому и проблемы нет.

Если у тебя один кластер и больше нет ничего, то да, ничего не нужно. Когда у тебя единая инфраструктура дешевле поддерживать не серые ip адреса для всех машин и резать трафик из определенных подсетей во внешнюю сеть(и из внешней сети).

xpahos ★★★★★ ()
Ответ на: комментарий от erzent

ну так дай пинг на этот адрес….

ну посмотри логи.

xpahos ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.