numpy обработка большого массива

нэт. обход дерева или массива, возможно только циклом или рекурсией.

Хвостовая рекурсия?

несмотря на то что каждое вычисление не зависит от соседних?

F0([a0,b0,c0,d0],..,[a,b,c,d],..,[aN,bN,cN,dN]) --> F1(func([a0,b0,c0,d0]),..,func([a,b,c,d]),..,func([aN,bN,cN,dN])

а как работают встроенные в numpy функции? тот же

fe0=ones((1e7,4),float)+1
fe1= exp(fe0)+sqrt(fe0)

Они просто реализованы на C. Если не найдёшь подходящую встроенную функцию, обрати внимание на Cython, там даже в документации что-то насчёт numpy было.

строки которого — есть результат вычисления некоторой функции от аргументов соответствующих строк массива F1, причём, если аргументы функции не удовлетворяют некоторому условию, то эта строка пропускается

(mapcar (λ (l) ...) (remove-if-not #'predicatep F0))

Правда внутри это всё равно развернётся в цикл. И это не совсем питон.

ясно. интересно, а в каких языках можно так сделать? к тому же для такой задачи так и просится распараллеливание

в каких языках можно так сделать?

Как «так»? Я вот предлагаю нужную часть на Cython реализовать.

к тому же для такой задачи так и просится распараллеливание

PyCUDA?;)

Так тебе без цикла или распараллелить? Если первое, то в Питоне есть filter, map и list comprehensions.

Очевидно, что человеку нужна сила Луны, а не жалкие списковые генераторы. Особенно, если след. Элемент зависит от предыдущих. Тут астрал не иначе.

А. Не зависит. Извините. Тогда мультипроцессинг, каждому по части массива и вперед.

Либо цикл либо map (генератор). Генератор тут как бы просится, но во первых не оч понятно как оно будет numpy протаскиваться, во вторых была статья Гвидо что не всегда оно хорошо. В общем сделайте неск вариантов и выберите самый быстрый.

А вообще если важна скорость такие вещи делают на С/фортране, питон все же для другого

Я к сожалению не силен в numpy, но в matlab можно вроде так, а если учитывать, что numpy был сделан с оглядкой на matlab, то в нем тоже должно быть можно.

1. сначала фильтр:

t0_1 = t0[:,nonzero(v>0.5)[0]]

2. затем само вычисление

t1 = f(t0_1)

синтакс я уверен не правильный, но идею я надеюсь можно понять.

да теперь и буду реализовывать на фортране и его из питона дёргать. просто на питоне каркас накидать проще.

Я к сожалению не силен в numpy, но в matlab можно вроде так

- Расскажите про слонов.

- Слоны большие и питаются деревьями. А на деревьях живут мухи. Мухи...

да теперь и буду реализовывать на фортране и его из питона дёргать.

Смотрите в сторону модуля F2Py: F2PY – ускоряем вычисления в Питоне в 500 раз