LINUX.ORG.RU

Скорость выполнения запроса (web request debian)

 , , ,


1

2

Всем привет. В целях скрапинга чужого ресурса нужно получать и обрабатывать информацию, затем выполнять действие посылая request через nodejs. Парс информации со страницы выполняется с помощью регулярных выражений, поэтому еще сильнее ускорить именно этот процесс нельзя, сам модуль request (который выполняет запрос) в ноде так же реактивный, быстрее пока ничего не придумано. Сервер так же достаточно мощный с хорошим каналом и хорошей сетевой картой Intel, у самого крупного провайдера в идеальной локации для работы с удаленным сайтом, задержки провайдера сведены на минимум. Перечитал миллион статей, не думаю, что с помощью еще каких-либо смен кода самого парсера можно добиться результата еще быстрее. Перепробовал 100 разных вариантов и модулей. Так что это уже гиблое дело.

Не пинайте ногами, вопрос: Можно ли ускорить системно отправку пакета? Важно, когда дойдет до сайта запрос с моего сервера. Сейчас в среднем послать запрос и получить ответ занимает 70-80 мс. Но для меня важны каждые 5мс времени. Есть лишние сервера для теста, есть возможность использовать и проверять любые советы.

Система Debian 8. Пытался ставить CentOS - он даже медленнее в среднем на 3-4 мс.

послать запрос и получить ответ занимает 70-80 мс.

не думаю что еще получиться сильно ускорить, учти что генерация страниц сайта тоже занимате время и считаю что 0.07с очень даже хорошее время

В целях скрапинга чужого ресурса

воровать нехорошо

kiotoze ★★★★ ()
Ответ на: комментарий от kiotoze

не думаю что еще получиться сильно ускорить, учти что генерация страниц сайта тоже занимате время и считаю что 0.07с очень даже хорошее время

да, генерация страниц занимает много времени, но я вытягиваю именно ajax, т.е. отдельную информацию нужную мне и ничего больше.

Machine ()