С помощью uniq можно в отсортированном файле удалить все дубликаты.

А как быть, если необходимо решить обратную задачу: удалить все строки с однократным вхождением и оставить, стало быть, все дубликатные.