GridGain Open Source Grid computing

>> Я лишь о производительности распределенных вычислений на жабе в сравнении с ими же на limbo.

Это не вопрос overhead при параллелизации - он очень небольшой. Это опять вопрос скорости выполнения кода на Java и в данном случае Limbo на какой либо ноде в гриде.

Если есть данные по сравнению скорости вычислений на Limbo и Java буду рад если кто ссылку кинет

> Уже говорил: математика и все что ее использует (3D, аналитика, обработка данных, построение сложных отчетов....)

Математика и жава? Смешно.

>> Ну еще бы Сан так считала :)

> Я все же склонен поверить Sun в данном вопросе :) Мы не настолько компетентны чтобы считать и сравнивать производительность Sun JVM, как мне кажется

То есть Вы верите маркетинговым сказкам от производителя? Наивно. А потом пересказывать это другим и отстаивать то, в чём Вы не считаете себя авторитетным -- вообще глупо.

> Что же касается С и других хороших языков то хотел бы я взглянуть кросс платформенный сервер приложений на C или паскале, не тот что странички показывает а тот что обрабатывает сотни гигабайт данных.

Google. Не в смысле "в поиск", а в смысле "смотри на Гугль".

>> То есть Вы верите маркетинговым сказкам от производителя? Наивно. А потом пересказывать это другим и отстаивать то, в чём Вы не считаете себя авторитетным -- вообще глупо.

я не рассказываю сказок и уж тем более не пересказываю слухи. Просто в отличии от многих я не привык бросаться словами просто для того чтобы высказать свое мнение :)

>> Google. Не в смысле "в поиск", а в смысле "смотри на Гугль". Аноним - поверьте на слово в этой области у меня опыта достаточно чтобы делать подобные заявления :)

Обратите внимание на слово кросс-платформенные. Я поверю что есть сишные сборки под разные платформы, но количество сборок не соответствует количеству платформ

>выходить зря я про сети Петри слушал лекции и лабы с MPI писал :(( ведь волшебная жаба всё распараллелит и разрулит. Поставил в 2 раза больше серверов и она сразу в 2 раза быстрее, поставил в 10 раз больше и она в 10 раз быстрее. >пойду поплачу в подушку хнык-хнык :(

Поплачь, может поможет. Так как примерно так и получается с Terracotta и Tangasol. Естественно, в границах их применимости.

MPI по сравнению с ними - что-то типа ассемблера. Можно при желании сделать быстрее, но потребует в десятки раз больше времени на разработку.

>Можете сказать, чем это лучше, чем grid на limbo под inferno ?

Тем, что реально работает.

Nikita Ivanov ???

http://www.vitanuova.com/solutions/grid/gridsw.html

>>Можете сказать, чем это лучше, чем grid на limbo под inferno ?

>Тем, что реально работает.

Реальней чем что ?

> Если из высокого то 3D сцены, финансовую аналитику, мощную математику и прочее.

Денис, я вот как раз для 3Д сейчас и собираюсь вас попробовать. А вы со скалой пока не дружите?

>> Денис, я вот как раз для 3Д сейчас и собираюсь вас попробовать. А вы со скалой пока не дружите?

Привет Андрей, нет не то что бы не дружим - просто не смотрели в этом направление. Если у тебя что то получится то будем признательны если поделишься результатом и мы его включим в дальнейшие поставки естественно со ссылкой на тебя.

>>Тем, что реально работает.

>Реальней чем что ?

Ни в коем случае не умаляю достоинств Лимбо. Лимбо тоже работает и это дело вкуса. Просто есть ряд задач на Java просто требующих использования Грида и в этом смысле GridGain более простое и приемлимое решение поскольку банально написан на том же языке и не требует затрат по поддержанию и конфигурации Инферно + Лимбо + их виртуальная машина.

Это готовое и простое решение для Java приложений.

Guys, Pishu cherez zhopu – russkoy raskladki netu na klave...

Java I “matematica” – eto miliardny busness zdes, tak chto predlagau vynut golovu iz zhopy I zanjatsja samo-obucheniem. Nekotorye komentarii vygljadjat ne serjezno.

Scala: net, I interesa osobogo net. Ispolzovanie Scala v proektax – absolutno nulevoe. V principe, modno xvastatsj pered devushkami, realnogo preminenija pochti nol'. Ruby i tot imeet bolzhe ispolzovanja – da I tot gde-to ~1% ot Java.

My favorite GridGain use-case: zapuskat JUnits na gride. My eto delaem vnutri projekta, snizili s 40 minut do 14 minut na 3-x komputerax. Pozvoljaet delat polny build *I* polny progon *VSEX* testov (~500) na kazhdy komit.

Best, Nikita Ivanov "GridGain - Grid Computing Made Simple"

Подведу черту для тех кто пишет на C и других быстрых (по сравнению с Java) языках.

Есть два подхода - научный и бизнес.

В науке можно строить монстрообразные сервера которые узко-специализированы, сложны и стоят немалых денег. В науке можно считать микросекунды и наносекунды (слово нано... очень модно) и говорить что данный сервер опережает другой на пол микросекунды и он круче.

Бизнесу на это наплевать по большому счету. Есть обширный круг задач которые необходимо решать за приемлимую сумму в идеале бесплатно. Java в этом смысле не исключение, анализ данных (финансы, поисковики, отчеты), обработка огромного количества запросов (создание кластеров для увеличения мощности) - это все требуется и на Java в том числе.

Данный продукт не претендует на науку и наносекунды он не будет выигрывать по сравнению с С. Это сугубо бизнес продукт для решения насущных проблем относительно дешево с использованием практичести любых компьютеров где можно поднять Java VM.

> Scala: net, I interesa osobogo net. Ispolzovanie Scala v proektax – absolutno nulevoe. V principe, modno xvastatsj pered devushkami, realnogo preminenija pochti nol'. Ruby i tot imeet bolzhe ispolzovanja – da I tot gde-to ~1% ot Java.

Никита, у Скалы пока что действительно небольшая доля рынка. Тем не менее, язык становится всё популярнее - вполне возможно, он и не выйдет из академической сферы, а возможно, будет следующим поколением general-purpose language for JVM.

Опять же, в следующем году (или в 2010, уж не сказать точно) - выпустят фортресс. Есть ли планы работать в этом направлении, особенно с учётом того, что паралелизм встроен в уровень языка?

Eto moe mnenie: ja nikogda ne ponimal fetishisma po povoduy novyx jazykov... Kazhdy god academija vypuskaet ~100-200 novys jazykov (desertacii, i.t.d). 2005 was Ruby, 2006 was Erlang, 2007 Scala, 2008.... don't know. Kazdhy jazyk v chem-to interesen – NU I CHTO?

99% of world's enterprise software kotoroe bylo napisano za poslednie 10 let – eto Java. Ja progmatic - I menja interesuut vezhi kotorye budut reshat realnye problemy. GridGain eto novoe pokolenie grid system orientirovannoe na kazhdodnevnye zadachi I sdelannoe s luboviu k Java developeram. Eto kak Spring vs. EJB2... vidish raznicu :)

Vse, vsem privet!

Nikita Ivanov. “GridGain – Grid Computing Made Simple”

> Данный продукт не претендует на науку и наносекунды он не будет выигрывать по сравнению с С. Это сугубо бизнес продукт для решения насущных проблем относительно дешево с использованием практичести любых компьютеров где можно поднять Java VM.

Спасибо за пояснения, слив засчитываем.

>Опять же, в следующем году (или в 2010, уж не сказать точно) - выпустят фортресс.

А клавиатуры для фортресса они выпустят?:)))

боюсь не будет пойдет фортресс в женерал пурпосе. Хотя бы по причине этой самой математической нотации на дослдовном уровне.

к стати я этого не понимаю. Нахрена такое делать? Какой-то VB шный подход.

если написано cos 2x на бумаге ежу понятно что это функшен аппликейшен к произведению, и в систематичной нотации будет cos(2*x) или cos 2*x. Нахрена было опускать знак умножения? Чтобы было похоже на бумагу? Или этих задвиги с уникодом - такое даже из их пдфки нормально не скопировать:( а писать руки кандыбобером станут.

>> как на счёт простой задачи теплопроводности? ;)

> Железо есть? Задача распараллеливается? Ставь на 100 машин и считай

Вы не поняли иронии про "мощную математику" ;)

Данная задача является сильносвязанной так что ваши "100 машин" будут в основном не считать а данными обмениваться ;)

>ещё одно слово, от которого инвесторы получают столь же сильный анальный экстаз, что и от двух предыдущих - это слово "инновации" >Пользуйтесь, дарю ведь идею :)

Спсибо ;)

PS: Мы это слово еще 3 года назад включили в название нашей лаборатории ;)

>Что же касается С и других хороших языков то хотел бы я взглянуть кросс платформенный сервер приложений на C или паскале, не тот что странички показывает а тот что обрабатывает сотни гигабайт данных.
>dkharlamov (*) (12.02.2008 23:04:46)


Навскидку - Apache - устроит дона?

>> Ну еще бы Сан так не считала :)

>Я все же склонен поверить Sun в данном вопросе :) Мы не настолько компетентны чтобы считать и сравнивать производительность Sun JVM, как мне кажется
>dkharlamov

Ты всегда продавцам которые тебе что-то впаривают веришь на слово? Ну-ну - удачи ,)

>Это готовое и простое решение для Java приложений.
>dkharlamov

Ну вот! А то тарахтел про эффективность и прочая :)

>> Данная задача является сильносвязанной так что ваши "100 машин" будут в основном не считать а данными обмениваться ;)

Про affinity split слышали? таску на ту ноду где данные находятся, а про распределенный кеш?

Дело не в иронии а том есть ли голова на плечах или нет. Если не имеет смысла задачу гридизовать то не надо - у меня есть куда применить время помимо ответа иронизирующим :)

>> Ну вот! А то тарахтел про эффективность и прочая :)

А вы попробуйте а потом тарахтите.

>> Ты всегда продавцам которые тебе что-то впаривают веришь на слово? Ну-ну - удачи ,)

Вы не поняли - я не "тарахчу" как сказали выше не обоснованно. Кричать что что то медленно можно имея данные о том на чем и насколькео медленно а не бросаться пустыми словами.

>> Навскидку - Apache - устроит дона?

Спасибо за инфу - знаете процент использования Apache как сервера приложений по сравнению с другими? Еще раз. не для отображения страничек а для обработки гигабайт данных.

>Про affinity split слышали? таску на ту ноду где данные находятся, а про распределенный кеш?

Смешной вы ;) Вместо того чтобы таки разабраться в чём заключается сложность _данной_ задачи начинаете сказки рассказывать ;)

Данная задача даже на ib как среде передачи довольно хреново масштабируется

>Дело не в иронии а том есть ли голова на плечах или нет

Может тогда не нужно тут людям рассказывать про "мощную математику" а потом предлагать разбросать предложенную задачу "на 100 машин" раз не имеете о ней представления ? ;)

>у меня есть куда применить время помимо ответа иронизирующим :)

Зачем тогда отвечать не разобрамшись ? Народ повеселить ? ;)

>> Зачем тогда отвечать не разобрамшись ? Народ повеселить ? ;)

Какой был вопрос такой был ответ.

>Какой был вопрос такой был ответ.

Вопрос был вполне конкретный. Просто не нужно было упоминать "мощную математику" ;) Потому как любой параллельщик пожелает ваc за эту самую "математику" зачепить ;)

>>Вопрос был вполне конкретный. Просто не нужно было упоминать "мощную математику" ;) Потому как любой параллельщик пожелает ваc за эту самую "математику" зачепить ;)

Ну зацепил и зацепил мне не жалко - я не параллельщик. Как то ровно. А под "мощной математикой" каждый видит свое, для кого то теплопроводность для кого то монте-карло а кому то и простые числа.

> А под "мощной математикой" каждый видит свое, для кого то теплопроводность для кого то монте-карло а кому то и простые числа.

Поэтому надо выражаться более конкретно ;)

Я предлагаю закончить "тупой" флейм с обсиранием и подколками - вместо этого напишите какую нибудь софтину - займите мозг.

Конструктивного было мало насколько я вижу и рынок России не готов. Мозг не туда смотрит за и большинство оффшором страдает.

> Как Java разработчик с почти 9 летним стажем скажу что и на C можно такого написать что за год не выполнится.

Не понял логики. "Девять лет Пастернака даже и не открывал, но уверенно осуждаю?"

> Я предлагаю закончить "тупой" флейм с обсиранием и подколками

Предлагаешь вообще закрыть ЛОР, я правильно тебя понял?

> Нахрена было опускать знак умножения?

> Нахрена было опускать знак умножения?

Для Ъ-математиков.

>> Ну вот! А то тарахтел про эффективность и прочая :)

> А вы попробуйте а потом тарахтите.

Товарищ из отдела рекламы, мы не собираемся тратить время на то, чтобы "пробовать" вашу безперспективную мертворожденную технологию.

И, кстати, передайте своему непосредственному начальнику, чтобы больше на ЛОР стажёров не пускал. Пусть направляет более опытных сотрудников, которые умеют показывать хоть какие ссылки в подтверждение своих слов, а не только говорить "а докажите мне, что С быстрее жабы".

>> Товарищ из отдела рекламы, мы не собираемся тратить время на то, чтобы "пробовать" вашу безперспективную мертворожденную технологию.

Я не из отдела рекламы. И не товарищ :) Вы бы не скрывались злобно потирая ручки а залогинились :) Меряться ничем у меня желания нет это удел слабых доказывать другим что они чего то стоят.

Что же касается вас то проявление неуважения к чужому труду и незнание технологий вас не красит (вы не Джавист иначе бы не бросались фразами а зная сколько труда стоит оптимизировать двух дневный отчет может даже и взлянули на продукт)

Все таки ЛОР сильно опустился в плане людей на нем обитающих :)

>> Не понял логики. "Девять лет Пастернака даже и не открывал, но уверенно осуждаю?"

Нет этим я хотел сказать что эффективность реализации в первую очередь зависит от того кто пишел чем от того на чем пришут.

Одну и ту же функциональность можно реализовать неэффективно на C и например более эффективно на Java и тогда вопрос о производительности будет звучать иначе.

Впрочем это прописаная истина.

> Навскидку - Apache - устроит дона?

Нет.

>Для Ъ-математиков.

Вот потому после релиза оно будет никому не нужно. У разрабов работа кончится а рещультаты никому нужны не будут.

> Вот потому после релиза оно будет никому не нужно.

Да, я тоже пессимистичен... но вдруг оно будет живое?

>> Да, я тоже пессимистичен... но вдруг оно будет живое?

А вы не думайте о будущем оно само прийдет. Делайте свое и сейчас :) У меня жена тоже часто говорит - зачем тебе третий ноутбук, чем позднее его купишь тем мощнее он будет. Так ничего в конечном иторе не получил - старая темя про буриданова осла.

>Да, я тоже пессимистичен... но вдруг оно будет живое?

И под него начнут делать клавиатуры чтобы вводить весь этот unicode? Чем они руководствовались для меня загадка.

> Kazhdy god academija vypuskaet ~100-200 novys jazykov ... 2006 was Erlang

ты лет этак на 20 ошибся!

>>> А вот кто нибудь в реальном проекте этого зверя использовал ? Сколько нод в гриде ? Как полет ?

>В списке клиентов те кто использовал. Я послагаю 50 нодов потянет. Сразу скажу что ЕСТЕСТВЕННО повышение производительности не в 50 раз будет а полагаю в 30-40.

Я так понимаю - не использовал. Жаль. В списке клиентов нет личных ощущений админов и проблем, с которыми приходится сталкиваться при применении продукта в реале. А хочется получить такую информацию до набития своих собственных шишек, особенно, если эти шишки получаются в промышленной эксплуатации.