Вышел Scilab 5.4.0

энтерпрайз, фри академик сабскрипшн. а в питоне никаких зондов пока вроде нет.

есть: http://www.activestate.com/activepython/python-financial-scientific-modules

типа то ли ddt.cs.vsu.ru

Он самый. До того (еще когда я там работал) был clust.vsu.ru

энтерпрайз, фри академик сабскрипшн. а в питоне никаких зондов пока вроде нет.

есть: http://www.activestate.com/activepython/python-financial-scientific-modules

и кому это нужно?

ведь все опенсорс: и питон, и scipy, и numpy, и matplotlib, и rpy2. доступны как в репозиториях дистрибутивов, так и в виде исходного кода.

UPD опенсорс и свободное.

оно все есть в R россыпью (если уж нумпу считается :)

http://pastebin.com/Re6nG3G8

алсо, у автора в голове каша была. Та строка, просто «инициализация массива.»

Да, это гораздо понятнее, спасибо! Буду знать, что R и для этого годится.

... ну и медленне заодно, каждый раз оно аллоцирует память :)

и? надо всё теперь бросить и всем сидеть только на R?

1) где это я такое сказал? я просто против «питона головного мозга»

2) если на чем то «сидеть», то это интегратор типа org-mode в котором вставки питона и R сосуществуют :)

угу, аллоцирует. Впрочем в том конкретном случае на память пофиг.

Кстати, изучил код. Получается, что решается-то методом Эйлера. А в scipy.integrate.odeint использует Рунге-Кутты 4-го порядка, да еще и с контролем точности.

http://cran.r-project.org/web/views/DifferentialEquations.html

Это был первый код, который нагуглился.

спасибо

По-поводу аллокации памяти. Можно сделать вот так:

x <- vector(length=n)

1) Омерзительная performance на уже среднем объёме данных - у меня вываливался в корку, выжрав все 16 гигов оперативки, при попытки свести две df с 7 мио. значений с rbind. Костыли для решения этой проблемы или хлопотные и не торт по соотношению усилия/объём задачи(типа Hadopi) или платные. 2) Сообщество даже до сих пор не осилило написать для него IDE с нормальным визуальным дебаггером, а не этим консольным огрызком, что есть сейчас. Хотя эта просьба, сколько я R помню, первая во всех списках с предложениями. Излишне говорить, что у питона, и уж тем более, у матлаба, нет такой проблемы.

По этой, а так же другим причинам(более низкий порог вхождения у питона, как у языка, куда шире область применения) R и торчит до сих пор на небольших объёмах данных и особо извращённых статметодах. А фанбои с умным видом рассуждают о питоне головного мозга. Лучше бы дебаггер написали, больше бы толку было.

ну ты ни о чем кроме R и не пишешь. Наводит на мысль.

x <- vector(length=n)

vs

c(, rep())

я бы базовые манипуляции с массивами как более полезные запоминал(употреблял) в первую очередь. в отличии от всяких питонов в R легче конструировать нужные операции, чем использовать функции. разработчики много сил положили что бы получить 1) хорошую с точки срения интерактивной работы системы типов и 2) набор операторов позволяющий выразить подавляющее большинство операций с данными их лаконичной комбинацией.

а потом да, очень полезно перечитывая хелп находить такие полезности. спасибо, хорошая команда! :)

vaborg

ну ты ни о чем кроме R и не пишешь. Наводит на мысль.

гадаем по аватаркам? :)

да, я пишу о том что мне интересно. наверное ты поступаешь иначе и пишешь о том, что интересно мне? :)

ну вот матлаб (в лице октавы), только что код писал --- вместо paste(строка, переменнаястрока, переменнаячисло, расширение_файла, sep="") из R, надо писать fullfile(строка, переменнаясострокой, num2str(переменнаясчислом), расширение).

то есть вместо навыка работы с универсальной конструкцией сшивания строк,у меня костыль, в котором _вручную_ надо приводить типы? спасибо очень удобно.

в R типы приходится приводить крайне редко, и отвлечение на такие глупости минимально.

1) бла, бла, бла... причем _уже_ опровергнутое в этом треде. ранее я загружал например grass для больших снимков, теперь в R достаточно средств чтобы прибегать к грасу _весьма_ редко (и даже это проще делать не вылезая из R). Кроме того, работа над компилятором R продолжается.

R делает быстрые и эффективные вычисления без нудного програмирования на языке общего назначения каким является питон. и всякие библиотеки для питона смотрятся в нем также чужеродно, как такие же библиотеки в перле (перл и питон не нужны для этих библиотек, вернее не самое удачное куда эти библиотеки надо встраивать).

2)

а) отладка в R ничем не отличается от любой другой схемы.

б) консольный огрызок наблюдается только под виндой (где кстате и получаются сегфаулты, на линуксе такое только в кривом внешнем коде на с) на которой трудно использовать гнутое окружение. но и там просто ставят http://www.rstudio.com/ide/ под онтопиком естественно используют emacs+ess+.... в том числе и «скакание по ошибкам» http://code.google.com/p/ess-tracebug/ (почти слиме :)

а питон это кастрированная схема, единственное преимущество «для вхождения», на таком языке можно писать как на бейсике без особых последствий. он слишком многословен (да и вообще синтаксис слабо приспособлен) для интерактивной работы.

дело в том, что принципиально есть две парадигмы у repl систем:

1) реален код в редакторе, а объекты в системе временны

2) реальны объекты в системе, а код это просто средство коммуникации со строящейся системой.

Исторически второй подход является первым :) И он удобнее для небольших проектов и исследования. Второй подход для тяжелых (не для компа, а для человека :), много этапных задач, и для написания статей-отчетов-программ.

Так вот у R идеальный баланс, можно быстро и эффективно работать интерактивно и так же эффективно писать решение задачи. И все это в целом достаточно далеко от писания программ на языке общего назначения.

Святые слова, батенька: писать объёмные программы на R - лучше уж сразу пулю себе в лоб, чтобы не мучиться. :)

Что там опровергнуто, когда он повис и выжрал всю память на такой фиговом объёме данных, как 7 миллионов численных значение одним вектором в df, я тоже не знаю. Меня не интересует, что там продолжается, меня интересует, что он на этих задачах виснет и уже только после загрузки данных начинает жрать по 800 мб. Любая операция с ними адски тормозит и раздувает его в оперативке ещё больше.

Emacs? Плавали, знаем. Спасибо, лучше уж я докторскую в ed напишу, чем трёхэтажные команды этого властелина кофеварок буду разучивать. Кроме емакса сообщество ничего так и не осилило? Rstudio, в котором его нет, худенько работающий визуальный в Statet, для чего нужно патчить R. Налицо уровень развития языка и сообщества. А зато апломба на целый отдел финансистов хватит. Приобщился к святому R, и ничего что тормозной и сырой, зато не то что эти присные питонисты, ага. :)

Ну и я в упор не вижу преимуществ R перед питоном в грязном, одноразовом анализе. Что Spyder, что Rstudio - никакой разницы, написал, запустил, почесал морду, посмотрел в доку, изменил и снова - пока не заработает как надо. Тут R даже низким порогом вхождения похвастаться не может - традиционно у людей от его парадигм сносит крышу, так же как и от очень своеобразного синтаксиса. В общем, рассказывайте сказки по чудесный R тому, кто с ним никогда не имел дела. :) Дёрнуть его для статистики через RPy - больше я для него применений при имеющихся косяках пока не вижу.

recognized as маркетинговый буллшит.

две df с 7 мио. значений с rbind

а питон при этом не валится?

IDE, визуальные дебаггеры... можно посмотреть зачем они вам нужны? консольный огрызок очень хорош в R: всякие там fix() и подстановки по табу радуют.

более низкий порог вхождения у питона, как у языка

щито?

покажите код-данные который вешает, до этого момента я вижу в лучшем случае человека когда то один раз потыкавшегося в R.

...об этом говорит голословный бред про емакс, про остутствие отладки в студии куда ее как раз впилили... и так и не последововшей реакции на слова о том что все происходит «как в схеме».

кстати в R все прекрасно отлаживается не выходя из репла.

дернуть этот питон для (правда даже незнаю чего :) через http://www.omegahat.org/RSPython/

а так очень сожержательно беседа идет --- как лапак вызывать удобнее, из языка общего назначения или DSL сделанного из(по мотивам) схемы

FIX:

писать объёмные программы - лучше уж сразу пулю себе в лоб, чтобы не мучиться. :)

Тут R даже низким порогом вхождения похвастаться не может - традиционно у людей от его парадигм сносит крышу, так же как и от очень своеобразного синтаксиса.

откуда инфа?

написал, запустил, почесал морду, посмотрел в доку, изменил и снова - пока не заработает как надо.

вот именно это в R делается очень просто и легко, не выходя (практически) из консольной бяки.

А питон при этом не валится, слава numpy. Хотя лучше всего из подходящего по профилю проблемы на таких размерах ведёт себя матлаб.

Конечно, можно - спросите у гугла «зачем нужны IDE», она вам расскажет. Комплексы «илитарности» меня при этом не интересуют, только результаты. Мне за илитарность деньги не платят, никакого стимула.

Щиэто. Никогда в обсуждениях R с адептами не участвовали? Steep learning curve все называю одной из главных проблем. Могу лишь подтвердить, один только совет минимально использовать loops(ещё одна проблема с performance, которую в матлабе, например, давно решили) стоит новичкам изрядной головной боли. На всё есть чудесная функция и волшебный «R way» через зад, только найти их по документации нереально, так что вперёд, на stackoverflow.

Шок! Это делается также в питоне, погуглите про iPython.

Кстати, я скромно забыл упомянуть, что 64-bit int в R всё ещё «не тема». :) Такой уж язык, взрослый, да. :)

А питон при этом не валится, слава numpy. Хотя лучше всего из подходящего по профилю проблемы на таких размерах ведёт себя матлаб.

давай пример на R и на питоне.

Никогда в обсуждениях R с адептами не участвовали? Steep learning curve все называю одной из главных проблем.

называют видимо те, кто кроме паскаля, бейсика и питона не видели больше языков.

loops

ненужны

Шок! Это делается также в питоне, погуглите про iPython.

Ладна, ладна. всё можно сделать даже не голом с.

Алсо, у меня последний аргумент: в R присваивание в разные стороны работает!

где код балабол? :)

в таком случае я могу напомнить про python2, python3 ....

matlab тащемта система несвободная.

про лопс --- не хуже теперь чем в матлабах (циклы компилирует то есть), но использовать этот «индусопатерн» все равно не надо :)

Кстати, я скромно забыл упомянуть, что 64-bit int в R всё ещё «не тема». :) Такой уж язык, взрослый, да. :)

в разработке уже все есть на эту тему (не помню — я уже говорил, что ты живая окаменелость? :), чуток подождать и будет в дистрибутиве.

Не будет вам кода. Не дома я. Создайте два df 7 мио значений и сведите их с rbind. Осилите, я вас вас верю :)

Конечно, не нужны, в R же велосипеды с квадратными колёсами. И ничего, что трясёт и не едет, зато не как у всех, это даёт бонус к илитарности :)

У меня тоже: стрелочку на 1 знак больше писать, чем равно :)

Зайчик, трясти девелом плохой тон. Это никого не интересует, если в стейбле нет, так как из психически здоровых людей со девелом никто не работает, на то он и девел. Мёртвая ты наша окаменелость :)

ты наркоман :)

R version 2.15.1 (2012-06-22) -- "Roasted Marshmallows"
Copyright (C) 2012 The R Foundation for Statistical Computing
ISBN 3-900051-07-0
Platform: i486-pc-linux-gnu (32-bit)

> x<-replicate(10,rep(1, 7000000))
> str(x)
 num [1:7000000, 1:10] 1 1 1 1 1 1 1 1 1 1 ...
> y<-replicate(10,rep(1, 7000000))
> z<-rbind(x,y)
> str(z)
 num [1:14000000, 1:10] 1 1 1 1 1 1 1 1 1 1 ...
> 

это детские объемы мой анаонимный друг.

Там уже можно читать произвольные файлы в формате HDF5?

ты плохо знаешь R дружок. сегодня девел — через три месяца стейбл (иногда даже раздражает :).

Золотце, разве я не сказал «в df»? :)

Я знаю его достаточно хорошо, зайчик, чтобы хотеть иметь с ним как можно меньше дела. :)

золотце у нас ты :)

R version 2.15.0 (2012-03-30)
Copyright (C) 2012 The R Foundation for Statistical Computing
ISBN 3-900051-07-0
Platform: x86_64-pc-linux-gnu (64-bit)

> x<-as.data.frame(replicate(10,rep(1, 7000000)))
> y<-as.data.frame(replicate(10,rep(1, 7000000)))
> z<-rbind(x,y)
> str(z)
'data.frame':	14000000 obs. of  10 variables:
 $ V1 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V2 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V3 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V4 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V5 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V6 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V7 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V8 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V9 : num  1 1 1 1 1 1 1 1 1 1 ...
 $ V10: num  1 1 1 1 1 1 1 1 1 1 ...

Я знаю его достаточно хорошо, зайчик, чтобы хотеть иметь с ним как можно меньше дела. :)

1) ты не знаешь :)

2) ты бесполезен :(

Золотце, ну что ты нас за дурачков то держишь. :) Ты так пробуй:

x<-as.data.frame(replicate(10,rep(1, 7000000)))

И расскажи нам потом про твой memory footprint. У меня только после создания 1.7 гб сожрало. Второй такой df походный нетбук не выдержит. Так что бесполезен здесь ты, золотце :)

сраный лор, уже сам округляет:

x<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))

беспокойный ты наш, я так даже сессию не закрывал :)

> x<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))
> y<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))
> z<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))
> gc()
            used   (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells    212810   11.4     407500   21.8    379589   20.3
Vcells 210331996 1604.8  568521809 4337.5 707332030 5396.6

кстати поскольку паямть уже аллоцирована была пошло вообще «мгновенно» :)

> system.time(x<-as.data.frame(replicate(10,rep(1, 7000000))))
пользователь      система       прошло 
       5.088        1.656        6.771 
> system.time(z<-rbind(x,y))
пользователь      система       прошло 
       8.161        2.972       11.168 
> 

я вообще твоих стонов не понимаю, память сейчас копейки и она в R более чем эффективно используется (кто же виноват что ты именно списки терзаешь?). И если данные помещаются в 16 гиг, то именно 16 гиг ты и отведешь под них. Построишь потоковый алгоритм общета и будешь стонать о скорости ввода вывода? (итераторы (и куча объектов замапленных на файлы) из революшена в R присутствуют хочешь используй их)

ЗЫ твой нетбук... ну ты понял :)

вот целое исследование

http://r.789695.n4.nabble.com/Fast-dependable-way-to-quot-stack-together-quot...

Я тебе расскажу в чём разница, зайчик: матлаб на том же объёме данных за гиг едва переваливает, и это весь файл записи, а не только один канал - сюрприз, сюрприз. А на твой R памяти не напасёшься, так как паршивая работа с ресурсами вылезет в печень рано или поздно. Кусок, на котором я его тестировал и выбросил в ведро, как непригодный, был всего лишь записью минут на 15 одного нерва с одного канала. Экспериментальные записи их имеют несколько, и могут и по часу идти. Сам догадаешься, как твой ненаглядный фетиш встанет раком при операциях на таких данных, или тебе подсказать? У меня в комп больше 32х гигов рамки не влезет, а в рабочем ноуте и вообще только 8 максимум. Но проще не рамку менять, а не использовать тяп-ляп поделки, где никто никогда и не задумывался, как они будут работать со средними объёмами данных. Всё очень просто, золотце, нужно только правильно расставить приоритеты. Сначала задача, а по ней уже инструмент. :)

ха, я кажись тебя припоминаю ламерок :) открой личико гюдьчатай? :) «у нас есть такие приборы, но мы вам о них не расскажем»(С) :)

1) так данных твоего к анала мы так и не дождемся?

2) что такое hdf и ты, и используемые тобой поделки (в которых так забавно крутить виртуальные ручки у стопитьсот к аналов :) не знают?

PS не ну не идиот ли? засунул в датафрейм явный numeric и поднял вонь :) ты еще раскажи что ты в питоне списками свои «средние» данные хранишь-считаешь :)

PPS или у тебя в матлабе (охеренно бесплатно :) списоком оформленный к анал не «перевалил за»? :) ты в оставе его засунь :) но тыж вантузятник --- зачем тебе октава...

PPPS для таких упертых как ты есть платный революшен в котором считаются любые данные. люди с прямыми руками все то же самое делают сами, самостоятельно установив все нужные пакеты и написав десяток строчек кода.

матлаб на том же объёме данных за гиг едва переваливает

> x<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))
> y<-as.data.frame(replicate(10,rep(1.0000000, 7000000)))
> gc()
            used   (Mb) gc trigger   (Mb)  max used   (Mb)
Ncells    171734    9.2     350000   18.7    350000   18.7
Vcells 140273092 1070.2  294531713 2247.1 294272975 2245.2
> 

При создании двух таких фреймов было максимум затрачено 2.2 Гига. Покажи, как будет возможность, сколько кушает матлаб.