LINUX.ORG.RU

Сообщения alrond

 

интернет-сканер под Linux

в программировании я не силен, только немного С и PHP. мне надо написать программку сканирования интернета, не знаю как точно это можно реализовать. примерно как поисковый робот гугла и яндекса а вот что она должна делать: 1) брать из MySQL ссылки, то есть адреса сайтов 2) сканировать весь сайт на предмет других ссылок 3) заносить их в базу данных 4) делать некоторую статистику (количество ссылок на ресурс с других серверов, дата.....) на PHP не напишешь...ограничено время скрипта, да и медленно это работает. хотелось бы как демон запускать, чтобы постоянно работал. на трафик плевать (300-400 GB/M), на размер базы тоже, канал хороший - 100MBit

Цель - собрать все интернет адреса :)) a то ни один регистратор их просто так не отдаст ;)

libcurl --> ( Spirit || regex ) --> <a href=???> --> mysqlcppapi как из С сделать доступ к MySQL? и можете кинуть ссылку на пример реализации через С загрузки странички и libcurl?

alrond
()

RSS подписка на новые темы