Нужно просканировать 500К картинок на разных сайтах. Планировщик запросов свой. Проблема в том, что после ~ первой тысячи параллельных запросов все нафик затыкается и отваливается по таймауту. Памяти хватает, процессора тоже. Все просто тупо висит.
Я видел в интернетах про http(s).globalAgent.maxSockets, но там вроде давно infinity поставили по умолчанию. ulimit -n тоже подкручен. Ограничивать планировщик на 200 max параллельных соединений (по всем доменам в сумме) тоже пробовал, не помогло.
Кто-нибудь сталкивался с подобным эффектом? Для запросов пробовал модули request и got. Мне сейчас не нужно кешировать соединения, SSL-сессии и т.п. Хочу пока просто делать много запросов к разным серверам, и чтобы они не провисали с моей стороны (пока процессор не кончится).