О прожорливости питона

Он под каждый integer выделяет сишную структуру со всякой дополнительной информацией типа счетчиков ссылок. Я пробовал выделять список на 100000000 элементов, так питон в OOM вылетал (при 4г виртуальной памяти), хотя в C это съедало всего 400 мб.

Допустим, а perl например что же делает все по пуритански, просто про него таких выкриков не слышал.

и на перле можно плодить перекрёстные ссылки и он тоже будет жрать память или делать какую-нибудь ерунду, а потом удивляться, что он тормозит.

с кривыми руками всё прожорливое.

>с кривыми руками

Это не баг это фича! (с)

Если ее не брать в расчет, то основная причина это просто тролололо илли как? Про integers верное замечание, однако наверно эта проблема многих языков, где цифра с наворотами реализована

о_О
накидай примеров кода и на том и на другом

Ну тут никакого О-о, посмотри на список методов у обычной цифры и удивись )

> Я пробовал выделять список на 100000000 элементов, так питон в OOM вылетал (при 4г виртуальной памяти), хотя в C это съедало всего 400 мб.

«Кажется, одна из черепашек пи^Wлжет» (с)

$ python
Python 2.5.2 (r252:60911, Jan 4 2009, 17:40:26)
[GCC 4.3.2] on linux2
Type «help», «copyright», «credits» or «license» for more information.

a = [1]*100000000

b = sum(a)

print b

100000000

32434 0.3 12.7 397512 393628 pts/29 S+ 01:12 0:00 python

не хочу
хочу код!
ибо флуд без пруфов - просто флуд

megabaks 16874 4.5 9.5 399864 394500 pts/1 S<+ 01:20 0:01 /usr/bin/python2.7

таки да

и это говорит мегабакс и в самом деле что то в мире не то )

а код весь:запустить IDLE и набрать цифру и поставить точку->???->ПРОФИТ!!!

>и это говорит мегабакс
а ты, вижу, не часто на ЛОР-е бываешь...

Странно, а такой код жрет память

l = []
for i in range(100000000):
    l.append(i)
print(sum(l))

Ты для интереса еще xrange попробуй

список на 100000000 элементов

Я так понял в этом треде критикуют голый интерпретатор при решении задач, для которых он не предназначен, а не модули для интерпретатора, затачивающих его для тех самых задач?

>а ты, вижу, не часто на ЛОР-е бываешь...

4.2

> Странно, а такой код жрет память

А, ну понятно... его аналогом на Си будет вот это:

for (i = 0; i < 100000000; i++)
malloc(sizeof(int));

он и проц жрёт нехило

тогда ты явно не знаешь что к чему и почему

#include <vector>
int main()
{
    std::vector<int> vec;
    for (long long i = 0; i < 100000000LL; i++) {
        vec.push_back(i);
    }
}

Это нормально завершается дойдя до ~500мб.

да оно и предыдущее около 2-х гигов съело и выдало выхлоп

Я тестировал на 3 питоне.

Да тогда ты ее и попробовал )

>А, ну понятно... его аналогом на Си будет вот это:

Нет. Аналогом на C будет malloc(sizeof(int) * 100000000).

Вместо питоновского решения, что представлено выше, ты выбрал пехепешное решение и удивляешься что оно жрет память?

Нет. Аналогом на C будет malloc(sizeof(int) * 100000000).

для такого кода:

l = []
for i in range(100000000):
    l.append(i)
print(sum(l))

это явно не аналог, разве что использовать realloc

Почему оно PHPшное? В реальных программах вполне может понадобиться постепенно добавлять элементы в список.

Вот тебе питоновские решение:

[code=python]range(100000000)[/code]

Запускать на 2 питоне.

> Аналогом на C будет malloc(sizeof(int) * 100000000).

Аналог этого кода я привел в первой мессаге. Учи матчасть.

> это явно не аналог, разве что использовать realloc

Неужели? Расскажи подробнее.

Аналогичный c++-ный код выше уже был. В C можно извратится с realloc'ом.

На 2 питоне будут применять xrange при таких размерах списка

> Неужели? Расскажи подробнее.

про что? про realloc? или про то как его используют?

> «Кажется, одна из черепашек пи^Wлжет» (с)

Хитрец!

In [1]: a = [1]*1000
In [3]: id(a[0])
Out[3]: 28357272
In [4]: id(a[1])
Out[4]: 28357272

>> Неужели? Расскажи подробнее.

про что?

Почему «явно не аналог».

про realloc? или про то как его используют?

Нет, про это не надо. Я верю, что ты уже нагуглил пример кода с realloc.

Если нужен массив интов, то можно numpy.array(dtype=int). Ибо списки - они для другого нужны

Хорошо, вот что получится, немного изменить твой код.

a = [1]*100000000
for i in xrange(100000000):
    a[i] = i

Питон опять лезет в своп и тормозит не хуже чем при 12309. Очевидно для sum выполняется какая-то оптимизация.

> Хитрец!

Список на 100000000 элементов есть? Да. Получите и распишитесь.

А если кто-то хочет создавать объекты по одному - нет проблем, но тогда делайте так и в Си.

> Почему «явно не аналог».

потому-что выполняются разные операции с памятью, как на «бумаге» так и при работе кода

Я верю, что ты уже нагуглил пример кода с realloc.

ну и зря

Java уделывает

Вообще-то python и java - языки и при исполнении питон-скриптов аппетит на оперативку имеет интерпретатор. Не знаю как у жабы ( знаю, что есть несвободная платформа и свободная), а у питона их несколько.

> Хорошо, вот что получится, немного изменить твой код.

Естественно. Здесь ты создаешь 100000000 отдельных объектов.

В общем, если ты собираешься ворочать массивами на сотни миллионов объектов, пользуйся предназначенными для этого средствами.

Если хочется все инты хранить в памяти, можно сделать так:

In [1]: import numpy
In [2]: a = numpy.arange(0, 1000000, dtype=int)
In [3]: b = a**2

Как можно видеть, не только память в порядке, но и арифметические операции выполняются очень быстро. А кто скажет, что numpy - это не чистый питон - используйте Linux без GNU

речь идет о стандартном cpython и jvm

А для ссылок есть аналог array или numpy? Я думаю что в таких программах как portage или mercurial может потребоваться хранить очень много ссылок на объекты. Отрицать тормознутость emerge я думаю никто не будет.

А разве тут должно быть не for i in a?

Нужно присвоить значения элементам массива. Делать это можно как угодно.

Стандартная jvm хранит массивы фиксированной длины в виде куска памяти нужного формата, оверхеда на каждый элемент нет.
Для питона наверняка есть аналоги, вот хотя бы в numpy

Что сказать-то хотел: в любом языке или платформе есть узкие места, надо просто не решать в таком случае в лоб

> А для ссылок есть аналог array или numpy?

Для ссылок обычный список съедает практически ровно столько памяти, сколько едят указатели. Пример Вам уже показали: 100000000 указателей на объект 1: [1]*100000000 (посмотрите top).

Если же хочется непременно список со ссылками (list) и уж точно чистых интов, то и тут всё возможно:
In [6]: a = []

In [7]: for i in range(1000000):
...: a.append(ctypes.c_int64(i))

И в каких задачах на питоне такое нужно?

Ничего странного. Быдлокод всегда прожорливый.

Он не хитрец. Просто ТС не знает пихтон.