Исправление legolegs, (текущая версия) :
Узкие места - это интернет при загрузке и диск при поиске. Параллелизацией тут только замедлить можно.
Можно делать поиск на лету во время загрузки:
wget .... -O - | tee ${Date_Time}-url_3.sql.gz | zcat | grep keyword | gzip > keyword.txt.gzИсходная версия legolegs, :
Узкие места - это интернет при загрузке и диск при поиске. Параллелизацией тут только замедлить можно.
Можно делать поиск на лету во время загрузки:
wget .... -O - | tee ${Date_Time}-url_3.sql.gz | zcat | grep ...