LINUX.ORG.RU

Сообщения Machine

 

sh скрипт перестает выполняться

Форум — General

Здравствуйте, Debian 9, есть простой скрипт, который делает бекапы mysqldump, mongodump и в конце завершается. Дело в том, что базы слишком большие и бекапы делаются около 3-х часов в сумме. Если их делать раздельно - все ок, если вместе одним скриптом, то в какое-то время скрипт запущенный в фоне через & в конце строки, просто пропадает из jobs. Через ps ax | grep backup.sh тоже не светится. А лог бекапов заканчивается в любом месте, видимо когда выйдет какой-то лимит времени, примерно так:

http://i.shotnes.com/u/3122/0406/screenshot_7608.png Ну и естественно дальше команды никакие не выполняются, скрипт не выполняет работу до конца.

Что может останавливать выполнения процесса? Пытался найти в гугле про bash/sh timeout или time execution, но безуспешно.. Спасибо.

 , ,

Machine
()

Скорость выполнения запроса (web request debian)

Форум — General

Всем привет. В целях скрапинга чужого ресурса нужно получать и обрабатывать информацию, затем выполнять действие посылая request через nodejs. Парс информации со страницы выполняется с помощью регулярных выражений, поэтому еще сильнее ускорить именно этот процесс нельзя, сам модуль request (который выполняет запрос) в ноде так же реактивный, быстрее пока ничего не придумано. Сервер так же достаточно мощный с хорошим каналом и хорошей сетевой картой Intel, у самого крупного провайдера в идеальной локации для работы с удаленным сайтом, задержки провайдера сведены на минимум. Перечитал миллион статей, не думаю, что с помощью еще каких-либо смен кода самого парсера можно добиться результата еще быстрее. Перепробовал 100 разных вариантов и модулей. Так что это уже гиблое дело.

Не пинайте ногами, вопрос: Можно ли ускорить системно отправку пакета? Важно, когда дойдет до сайта запрос с моего сервера. Сейчас в среднем послать запрос и получить ответ занимает 70-80 мс. Но для меня важны каждые 5мс времени. Есть лишние сервера для теста, есть возможность использовать и проверять любые советы.

Система Debian 8. Пытался ставить CentOS - он даже медленнее в среднем на 3-4 мс.

 , , ,

Machine
()

RSS подписка на новые темы