LINUX.ORG.RU

scrapy парсить с интервалом новое

 ,


0

2

Как на питоне с помощью scrapy парсить постоянно без завершения (с интервалом 30 сек) сайт на предмет новых скажем комментов, и самый новый коммент выводить в консоль? Скажем сайт anysite.ru/posts, а посты такого вида:

<div class="messages">

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:36</div>
<div class="text">Hi fucking world!</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:33</div>
<div class="text">Three...</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:30</div>
<div class="text">Two..</div>
</div>

<div class="message">
<div class="date">04.02.18</div>
<div class="time">07:27</div>
<div class="text">One.</div>
</div>

</div>



Последнее исправление: shiva (всего исправлений: 1)

Нужно делать что-то наподобие CRON планировщика, который будет периодически запускать твой краулер. Эта штука еще Демоном завется в Линуксах.

Вопрос для эксперто: по сути бустрее парсера, чем на Scrapy , уже на Python никак не создать, Типо может подключить aiohttp или еще что?

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.