печальная правда про гнутые утилиты

> Так какого хрена переполняется память, если это чисто потоковая построчная обработка. > То есть в каждый момент нужна только ОДНА ТЕКУЩАЯ строка.

может быть в файле есть очень длинная строка?

> может быть в файле есть очень длинная строка?

это лог strace -- там не должно быть длинных строк.

К сожалению, я не знаю как узнать макс. длину строки. Сперва у меня упал grep, и я хотел с помощью awk как раз посчитать макс. длину строки. Но awk тоже упал..

А зачем делать cat | grep, когда grep сам может файлы обрабатывать?

у grep'а есть опция --map, попробуй.

сорри, вопрос снят..

Сделал od:

0332060 000000 000000 000000 000000 000000 000000 000000 000000
*

то есть там пустое место из нулей неизвестного размера..

И ещё есть:

--line-buffered
Use line buffering, it can be a performance penality.

> --line-buffered

скорее всего, это к теме не относится. Это просто вызов setvbuf(). Полезно, когда входные данные приходят медленно и построчно, а тебе нужно без задержек выводить результаты на выход.

полезно здесь:

for i in `seq 10`; do echo a $i; sleep 1; done |grep --line-buffer 'a' |cat

man fgrep

Вероятно, там одна дли-и-и-нная строка, так как я обрабатывал 2Гб файл squid'a без проблем

ну да, я выше уже писал что все объяснилось.

Это оказался sparse файл, и там были огромные дыры.

А sparse он оказался потому что strace запускался в кроне, и реально получилось что в один файл писался strace нескольких процессов.