bash. как удалить повторы строк в файле, не сортируя его?

uniq myfile1.txt > myfile2.txt

те, раз тебе важна позиция, нужно оставлять первое вхождение повторяющейся строки? или какое?

$ echo -e 'aa\nnn\naa' |uniq 
aa
nn
aa

да, первое.

man uniq

«Filter adjacent matching lines »

не годится!

без сортировки работать не будет.

ТС: видимо только awk/perl/sed -что ближе и понятней

и да, если файло большое - ОЗУ понадобится много ;)

man uniq

прувом поделитесь? (в контексте задачи)

по сабжу: eddie -mData.List unlines.nub.lines

Из awk one-liners:

[code=awk] # remove duplicate, nonconsecutive lines awk '! a[$0]++' # most concise script awk '!($0 in a) {a[$0];print}' # most efficient script [/code]

Из awk one-liners:

 # remove duplicate, nonconsecutive lines
 awk '! a[$0]++'                     # most concise script
 awk '!($0 in a) {a[$0];print}'      # most efficient script

да, uniq не подходит.

Ну да, логично, я перекрутил.

вот тебе пример с awk дали. я восхищён!

спасибо. подходит. вопрос закрыт.

В фортунки, спасибо.

помни, что это только для max тысяч строк. а то озу отожрёт!:(