Можно всё сделать на awk ( -F \| '{...}') или писать на нормальном скриптовом языке.

А не проще на сях наклепать?

Можно еще и индексацию сделать простенькую...

Чистый шелл скрипт быстрее awk, насколько я знаю.
На сях слишком уж давно не писал, была конечно мысль, но решил не ворошить, а поискать более красивый вариант на шелле

Ога, особенно если /usr/bin/cut вызывать несколько раз для каждой строчки. Пиши на нормальном скриптовом языке и не выпендривайся.

>> Чистый шелл скрипт быстрее awk, насколько я знаю.

awk разный бывает. Как и шелл.

> Чистый шелл скрипт быстрее awk, насколько я знаю.

Пьяный, что ли?

zcat *gz | awk '-F|' '{print $41, $67}'

Чистый шелл скрипт быстрее awk, насколько я знаю.

чистый шелл это непредсказуемое гогно.

мот в tmpfs сохранять - пайпы вобщемто и тормозят

да, думаю awk

ну конечно всё было не так просто как предполагали комментаторы, но разобравшись с ассоциативными массивами awk (а так хотелось разрулить всё ассоциативными массивами zsh...) пришёл к такому варианту:

(for logfile in *.gz;zcat $logfile) | awk -F'|' '{a[$41]+=$67;b[$41]++;total+=$67}END{for (i in a) {print i, a[i], b[i],a[i]/total*100"% «}}'

работает примерно в 1200 раз быстрее первоначального варианта.