LINUX.ORG.RU

Google разрешил использование технологии MapReduce в Apache Hadoop

 , , ,


0

0

Компания Google официально делегировала развиваемым под эгидой Apache свободным проектам права по использованию технологий, фигурирующих в патенте 7650331 («Системы и методы эффективной высокомасштабируемой обработки данных»). В патенте изложены принципы реализации метода MapReduce, который активно используется в таких проектах, как Apache Hadoop и Apache MapReduce.

Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Apache Hadoop

Apache Mapreduce

Новость на английском

>>> Подробности

> метода MapReduce

Прошелся по ссылкам, и ничего не понял.

На входе - множество пар ключ-значение. Они независимо преобразуются (map operation) на разных узлах кластера. Результат преобразования - это тоже пары ключ-значение. Результирующее множество пар объединяется (reduce). Все это с балансировкой нагрузки и вотчдогами.

Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

Manhunt ★★★★★ ()

>Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

Ttt ☆☆☆☆☆ ()

«Большой папочка» разрешил подержать (технологию).

tr0ll ()

Ждём, когда майкро$офт официально разрешит моно.

nudoru-kun ()
Ответ на: комментарий от tr0ll

«Большой папочка» разрешил подержать (технологию).

большой папочка - IMHO - не слабо вкладывает в открытость и пользует естественно тоже не слабо

real_maverick ★★★ ()

Ишты, как раздобрилась очередная ИМПЕРИЯ ЗЛА.

Hug37r011 ()

apache он разрешил, а ребят, которые деньги на ём зарабатывают эффективно, может и засудить. а попробуй обойтись без mapreduce сейчас.

anonymous ()
Ответ на: комментарий от Manhunt

> Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

Это патенты!

sv75 ★★★★★ ()
Ответ на: комментарий от anonymous

>а ребят, которые деньги на ём зарабатывают эффективно, может и засудить

не троллинга ради - известен ли вам хоть один прецедент, в ходе которого Google засудил бы кого-то за юзание своих патентов в сфере ПО ?

Voviandr ()

>Компания Google официально делегировала развиваемым под эгидой Apache свободным проектам

А другим свободным проектам? Нет? И вы ещё хвалите гугл?

anonymous ()
Ответ на: комментарий от Manhunt

>Объясните кто-нибудь вкратце, в чем суть изобретения-то?

получаешь патент
ждешь, когда кто-нибудь реализует то, что в нем написано
троллишь реализовавшего
???????
PROFIT

registrant ★★★★★ ()
Ответ на: комментарий от Voviandr

Нет, но патент на такую довольно абстрактную штуку как MapReduce вызывает особенно большое беспокойство, других подобных по величине у гугла я не помню.

anonymous ()

Если так, то это не совсем свободные проекты - на форки же эти разрешения нельзя применить?

Dimanc ★★ ()

Правильно, Старший брат должен быть добрым. Поначалу.

kernelpanic ★★★★★ ()
Ответ на: комментарий от aliens

> А она его где-то запрещала?

Нет, но и не разрешала, а патенты-то все у неё.

nudoru-kun ()
Ответ на: комментарий от Manhunt

Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Кроме того, в большинстве случаев между идеей и реализацией идеи - дистанция огромного размера. Самое сложное - это детали, те самые ватчдоги и балансировка нагрузки.

morbo ()

Вот чёрт, а для одной конторы несколько лет назад скрипты писал по обработки логов, только я не знал что это map->reduce называется, теперь контору засудят? :).

Пойду запатентую пузырьковую сортировку и весь мир будет у моих ног!

true_admin ★★★★★ ()
Ответ на: комментарий от morbo

> Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Солнышко, это тривиальное изобретение еще задолого до появления гугла позволяло считать на больших машинках всякие архиполезные для Человечества штуки... такие как взрыв атомной бомбы. Посему даже в бородатом и седом MPI есть для этого специальные примитивы.

Если «самая не злая» компания вдруг таки изобрела нечто действительно новое - попробуй объяснить в чем суть новизны? Кроме, конечно, того, что ей выдали на это патент.

rtvd ★★★★★ ()
Ответ на: комментарий от true_admin

> Вот чёрт, а для одной конторы несколько лет назад скрипты писал по обработки логов, только я не знал что это map->reduce называется, теперь контору засудят? :).

С конторы - бабки, с тебя - почки (в G-gle Kidney Bank, естественно). Патвен уже в пути.

rtvd ★★★★★ ()
Ответ на: комментарий от rtvd

>Пойду запатентую пузырьковую сортировку и весь мир будет у моих ног!

попробуй объяснить в чем суть новизны? Кроме, конечно, того, что ей выдали на это патент.

если изобретение уже используется давно и многими, то патент не выдается патентным бюро

chevyk ()
Ответ на: комментарий от Ttt

> С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

Им (Apache) доверили горбатиться и писать код за хлебушек и водичку. А могли бы и засудить. А вот насчет проклятых проприетарщиков, что хотят писать код за бутерброд с сыром, пока ничего не сказали. Видимо будут потом дрючить и отбирать бутерброд, когда он у них появится. Видишь какой хороший поступок?

rtvd ★★★★★ ()
Ответ на: комментарий от chevyk

> если изобретение уже используется давно и многими, то патент не выдается патентным бюро

Глупости. Вот яркий пример:

http://netoscope.narod.ru/news/2001/07/04/2795.html

Но таких случаев (пусть и не столь выраженных) - пруд пруди. Ты действительно думаешь, что кто-то там серьезно врубался, что это за map-reduce такой? :)

rtvd ★★★★★ ()
Ответ на: комментарий от chevyk

если изобретение уже используется давно и многими, то патент не выдается патентным бюро

Патентное ведомство не особо в этом разбирается(увы), поэтому OSDL организовало поиски prior art по некоторым направлениям и даже чего-то добилось, в гугле можно найти подробности.

true_admin ★★★★★ ()
Ответ на: комментарий от rtvd

>Глупости. Вот яркий пример:

http://netoscope.narod.ru/news/2001/07/04/2795.html

Но таких случаев (пусть и не столь выраженных) - пруд пруди. Ты действительно думаешь, что кто-то там серьезно врубался, что это за map-reduce такой? :)

я про сферическое бюро в вакууме

ps патенты на по не нужны

chevyk ()
Ответ на: комментарий от Manhunt

> Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

Изобретения нет, как и в 99% программных патентов. MapReduce - суть распараллеливание операций Map и Reduce. Это инженерное решение, поэтому Hadoop так долго и пилят. Вся суть в скалабильности.

faustus ()
Ответ на: комментарий от morbo

> Это тривиальное изобретение позволило гуглу на дешёвом не серверном железе организовать лучший по своим временам поиск.

Хороший поиск Гуглу позолила организовать реализация ничем не оригинального алгоритма PageRank. Как эту реализацию распараллеливать - дело десятое - для эффективного параллельного умножения матрицы на вектор существует миллион алгоритмов.

Кроме того, в большинстве случаев между идеей и реализацией идеи - дистанция огромного размера. Самое сложное - это детали, те самые ватчдоги и балансировка нагрузки.

Ну, если в патенте описываются именно детали, то у Hadoop вообще не должно быть проблем с патентами, не так ли? Ведь не по гугловскому же патенту они писали свою реализацию? Или, все таки, в максимально туманном патенте делается заявка на *все* возможные реализации, как это принято в США с софтверными патентами?

faustus ()

> Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Если б они хотели показать хорошее отношение, они б отдали эти патенты в свободное пользование всему свободному ПО — как делали другие компании, в частности IBM. А так — гугл «разрешил» апачу. Ну и ну. Я б на месте apache foundation и разрешения не спрашивал, а искал бы prior art. Конечно, даже если есть prior art, кто позволит себе издержки в суде, чтобы судиться с google? Вот так и появляются новости типа «google разрешил». Однако чего же в этом хорошего? Куда лучше было бы, если бы google наоборот подал в суд на apache foundation — для всех, кроме последних, конечно. А так висит эта ситуация с софтверными ПО и висит себе дамокловым мечом.

ikm ★★ ()
Ответ на: комментарий от Manhunt

> На входе - множество пар ключ-значение. Они независимо преобразуются (map operation) на разных узлах кластера. Результат преобразования - это тоже пары ключ-значение. Результирующее множество пар объединяется (reduce). Все это с балансировкой нагрузки и вотчдогами.

Так? Если так, то схема тривиальная. Объясните кто-нибудь вкратце, в чем суть изобретения-то?

это патент, а не изобретение. кто первый зарегистрировал, того и тапки / патент

VoDA ★★ ()
Ответ на: комментарий от Ttt

> С моей точки зрения, сабж (отказ от патента на ПО) — нейтральный поступок по отношению к свободному ПО, а никак не хороший.

Google не отказывался от патента - это было бы очень глупо, т.к. найдется патентный тролль, что начнет терроризировать google заново зарегав патент.

Google разрешил Apache использовать свой патент БЕЗ УПЛАТЫ И БЕЗ ИНЫХ ОГРАНИЧЕНИЙ.

VoDA ★★ ()
Ответ на: комментарий от faustus

> Ну, если в патенте описываются именно детали, то у Hadoop вообще не должно быть проблем с патентами, не так ли?

Не так =) Патент на MapReduce. Потому любая контора что реализует MR должна Google за пользование патентом. ИЛИ не применять алгоритм MR в своем софте.

VoDA ★★ ()

а если яндекс задумает воспользоваться этой апачевой софтиной - ему претензии будут?

если да, то фигня это разрешение.

anonymous ()
Ответ на: комментарий от VoDA

Это понятно. Но главное — что этот поступок нельзя назвать хорошим, это нейтральный поступок. Вот если бы заставили платить, то тогда бы был плохой.

Ttt ☆☆☆☆☆ ()

> Очередной раз google на деле показал хорошее отношение к проектам с открытым исходным кодом.

Очередной раз Google на деле показал, что он такой же хитрожопый как Apple. Этим «технологиям масштабирования» лет двадцать пять. Гугла тогда еще в проекте не было (даже гаражном). Другое дело, что все это были академические проекты и научные статьи (consistent hashing и т.п.). А сейчас это стало востребовано. И кто-нибудь явно в скором времени бы судился с Гуглом (и был бы прав). А так вроде как с барской руки, Гугл «делится» инновациями. Противно, чесслово.

northerner ★★★ ()
Ответ на: комментарий от rtvd

Суть патента в том что бы его не получил кто-нибудь еще.
В США так принято. Патенты многие конторы делают не что бы потом кого-то троллить, а что бы кто-нить не затроллил их самих.

anonizmus ()
Ответ на: комментарий от anonymous

а если яндекс задумает воспользоваться этой апачевой софтиной - ему претензии будут?


Нет, потому что яндекс это не США. Патенты это чисто причина см выше, т.е. в США так надо, с целью самообороны. Для серьезного бизнеса надо патенты в тех сферах где он работает получать, что бы потом не затроллили.

anonizmus ()
Ответ на: комментарий от anonizmus

а если яндекс решит вылезти на рынок сша?

ну и даже переформулирую - яху захотят использовать эту апачевую софтину оставляют ли они себе возможность наезда по этому патенту?

если да - это разрешение ничего не стоит?

anonymous ()
Ответ на: комментарий от anonymous

Спроси об этом у Гугла. Я думаю что нет, такой патент наверное можно отсудить - типа до патентования если кто-то уже реализовывал. Просто у гугла он на всякий случай, что бы шавки мелкие не тяфкали на слона.

anonizmus ()
Ответ на: комментарий от anonizmus

так я и спрашиваю что именно они разрешили?

в их заявлении ответ на этот вопрос есть, или нет?

anonymous ()

Читая новости о патентных заморочках, все время вспоминаю старый анекдот:

- У вас есть велосипидоры?
- Что вы себе позволяете?!
- Вы полагаете, велосипедики звучит лучше?

sabbakka ★★ ()
Ответ на: комментарий от faustus

> Хороший поиск Гуглу позолила организовать реализация ничем не оригинального алгоритма PageRank.

ну расскажи, какие же были у PageRank предшественники

www_linux_org_ru ★★★★★ ()
Ответ на: комментарий от www_linux_org_ru

> ну расскажи, какие же были у PageRank предшественники

Зачем мне тебе что-либо рассказывать? Возьми оригинальный TR про PageRank, и почитай Sec. 2.1 про Related Work, а именно про citation index. Если тебе в школе уже рассказали про собственные вектора матриц, может даже что-нибудь и поймешь.

faustus ()
Ответ на: комментарий от faustus

про собственные вектора мне рассказали еще в детском саду, а ссылочку дай, почитать основателей полезно

www_linux_org_ru ★★★★★ ()
Ответ на: комментарий от anonymous

> ну и даже переформулирую - яху захотят использовать эту апачевую софтину оставляют ли они себе возможность наезда по этому патенту?

яху давно использует hadoop, и является одним из крупнейших его пользователей и саппортеров.
Также - Амазон A9, Twitter и другие, смотрите здесь:
http://wiki.apache.org/hadoop/PoweredBy

anonymous ()

Когда я «игрался» с Hadoop'om - меня неподецки напрягал XML, как обёртка для запросов/ответов из нодов. Куда меньшие сковородки можно было бы ставить при больших нагрузках - если бы использовали простой протокол, который определить было - как два пальца ... Видимо, пионерия это дело начинала.
Ну, хотя бы типа передаваемых и возвращаемых мапов в виде пропертей или по типу MIME, т.е. с нормальными одно-символьными delimiter'ами. И такие результаты можно было-бы сразу последовательно грузить в хэш, без обогревания помещений интенсивным (и ненадёжным) парсингом, не говоря о таскании повсюду парсеров. Ведь любой фреймвок даёт ненужный оверхед. А здесь - просто было обойтись без фреймвока.

anonymous ()
Ответ на: комментарий от anonymous

сорри, там с тех времён кажется уже и нормальные делимитеры поддерживаются.

Вот туториал:
http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

(хм, и документация вроде появилась за несколько лет. Где-то надо реализовать кластер на этом чуде)

anonymous ()

Как раз по работе столкнулся с Apache Hadoop. Документация к сожалению никакая, но проект развивается активно, вроде работает. =)

Bohtvaroh ★★★★ ()
Ответ на: комментарий от anonymous

> Вот туториал:
http://hadoop.apache.org/common/docs/current/mapred_tutorial.html

К сожалению там пловина классов уже deprecated, классы связанные с map reduce переехали с пакета mapred в mapreduce. Лучше смотреть примеры в транке.

(хм, и документация вроде появилась за несколько лет. Где-то надо реализовать кластер на этом чуде)


В виртуалбоксе заводится с пол-пинка.

Хороший тутор:

http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Single-Node_...
http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_(Multi-Node_C...

Bohtvaroh ★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.