LINUX.ORG.RU
Форум — General  

diff: memory exhausted

 


0

1

Пытаюсь сравнить 2 текстовых файла ~5 Гб. Почти одинаковых. Итог: 

> diff output.txt _output.txt 
diff: memory exhausted
Памяти 2 гига. Хотя если бы было больше памяти, сами файлы пропорционально были больше. Чем теперь диффить?

Ответ на: комментарий от anonymous

Да есть своп. overcommit не менял. Ну вот /bin/sort же умеет external sort. Он тебе и терабайтный файл посортирует.

nerdogeek ★
() автор топика
Ответ на: комментарий от tailgunner

Так такие алгоритмы типа diff строк если уйдут в своп, то они очень медленно будут выполняться. Ну будет 16 гигов. Так и файлы будут не 5, а допустим 50. Проблема ж остается, хотя могу ошибаться

nerdogeek ★
() автор топика
Последнее исправление: nerdogeek (всего исправлений: 1)
Ответ на: комментарий от nerdogeek

Ну будет 16 гигов. Так и файлы будут не 5, а допустим 50. Проблема ж остается, хотя могу ошибаться

А если файлы будут по 500Г, проблема будет и с внешней сортировкой.

tailgunner ★★★★★
()

По частям сравнивай

zolden ★★★★★
()
Ответ на: комментарий от tailgunner

Логично. Хотя у сортировки есть хотя бы шанс начать выполняться

nerdogeek ★
() автор топика
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
General