Набросал тут за вечер. На основе wget --spider.
Бот - парсит html и проверяет не проиндексированы ли уже ссылки.
Кусок бота, который проверяет, чтобы сохраненные ссылки не повторялись.
Клиентская часть.
Короче, скачивается html странички, с помощью wget --spider и утилит для обработки текста выдергиваются ссылки, направляются в файл. Потом в этом файле, в цикле, каждая ссылка проверяется с другой, находятся одинаковые и файл редактируется. Код еще сыроват и полностью программа не заработала, но по отдельным частям проверял. Потом будет выдергиваться краткая информация о страничке и заноситься в индексы в два столбика - ссылка и описание. Вводим в клиенте искомое и выдается ссылка. Это все должно автоматически быть. ЧЯДНТ? Может чего посоветуете? :)