LINUX.ORG.RU

Поиск подстрок в большом txt

 


1

2

Всем Привет, есть такая задача

Есть txt файл со списком ключей (файл большой 15гб) Пример ключей:

  • lU0Hf5FAJQHGkVtou5pJBC4m0gox6sY5pD849lPy7393
  • xCbfzr49Dg4x5uCPeX4j653V8XA1cD89U2HJXo9nbjX
  • 91aJCb1fVb19x7N48gC0bDw7L7fzPgi8M9x3pwBYMiKCR
  • jIRy4351liQ3Za74zxD0oK8EtKceGHD81Hul1Iw
  • 248S4vjJ3U0GSS8Fe6fpt9l8HQdoZ7kSxTcJ
  • Y40x424EG6deZr5IFj6U5v9o82el1fv1bCGCKmefCc6NUQ
  • LF3tIXsr3b6xX2K584E1jbWHRi5F8adWez0v1
  • Km17La72y2mUgKTofdvByNWoO95W1iN3VUIvdI0x88i64
  • sLx7AG4vxrmA794JRD5Z97NoW10yyzM0STj5tm
  • mLImTo671xBS8ixYtKWOdjO9M82UKwjl8l93813f3uW
  • EBGxtgv2OxyE853c9t1LoZsE68pdN9r58iC5GHxXOPxe8OY808
  • VQwelUuhS0o0a6AF4y3raKm17LaLgkO4wjN99U7MuX53B

И есть txt файл со списком подстрок которые нужно искать в большом файле

Пример подстроки: Km17La

В результате найденные подстроки сохраняем в txt

  • Km17La72y2mUgKTofdvByNWoO95W1iN3VUIvdI0x88i64
  • VQwelUuhS0o0a6AF4y3raKm17LaLgkO4wjN99U7MuX53B

каким софтом такое можно решить? озу если что 64 гб

grep -f file1.txt file2.txt > file3.txt

file1.txt - подстроки

file2.txt - большой файл

file3.txt - результат

Deleted ()
Ответ на: комментарий от anonymous

Ахо-Корсик

Судя по википедии реализрован в grep.

anonymous ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.