смторите какая клевость в awk есть :)))

xxx@izabella:~$ cat test.txt
test 'txt' file
test 'txt' file

ee
test 'txt' file

ee

gg


tt
yy
uu
tt
yy
uu
ee
qq
gg
xxx@izabella:~$ awk '! seen[$0]++' test.txt
test 'txt' file

ee
gg
tt
yy
uu
qq
vilfred@izabella:~$