LINUX.ORG.RU
Форум — Talks  

Кто хочет поучаcтвовать в создании распределённого поисковика?


0

2

Есть известный проект majestic12. У них есть master-сервер, а slave-серверы - это добровольцы, у кого дома весь день простаивает интернет. Они хотят убрать гугл, но гуглу, конечно, смешно. У них даже эмблема с бульдозером, сносящим гугл. И здесь речь не об убирании кого-либо.

Мы с другом реализовали скелет такой системы, идентичный по базовой архитектуре - есть сервер, раздающий задания и программа-клиент, исполняющий задания.

Мы выдаём простые задания, вроде «качнуть страницу, применить к ней такую-то процедуру извлечения данных, вернуть на сервер выдернутые данные» или «вернуть свой конфиг» или «пинг». Пока это работает на паре линуксо-виндовых машин у наших знакомых, у которых много неиспользуемого домашнего интернета. Никаких полезных задач не выполняется, проверяются базовые функции типа «дышать». Сейчас такой интернет есть у очень многих.

Есть желание поддерживать этот проект, чтобы иметь свою песочницу для разных экспериментов, типа поиска по содержимому на картинках (картинки анализируются на цветовое содержание, на них ищутся разные «признаки», выделяются объекты...) и др.

Для начала можно попробовать силами нескольких узлов проиндексировать топики и сообщения на ряде популярных форумов и выкатить на публичное обозрение один гигантский форум, содержащий все сообщения и топики пары десятков форумов рунета. Плюс поиск, построение цепочек диалогов, каталог всех профилей и т.п.

Если у кому-то интересно пообсуждать разные идеи, поставить какой-то эксперимент, внести вклад в проект своим интернет-каналом, пишите.

Есть клиент для линукса и винды, гуёвый и консольный. Работает с прокси, умеeт не занимать весь канал, есть авто-обновление, можно поставить и забыть.

jabber: peorg@jabber.org
skype: zumsker

★☆

Последнее исправление: kiverattes (всего исправлений: 3)

Ответ на: комментарий от kiverattes

Т.е. предлагается поставить какой-то блоб, который будет по командам из сети что-то делать на моей машине? Вы серьёзно? При том, что даже целей ясных у проекта нет?

roy ★★★★★
()
Ответ на: комментарий от kiverattes

Исходники вперед, утром - исходники, вечером - помощь или вечером - исходники, а на другой день утром - помощь.

mopsene ★★★
()

так есть же уже поисковик

Karapuz ★★★★★
()

>Есть желание поддерживать этот проект, чтобы иметь свой ботнет для разных экспериментов

fxd.

RedPossum ★★★★★
()

>Мы выдаём простые задания, вроде «качнуть страницу, применить к ней такую-то процедуру извлечения данных, вернуть на сервер выдернутые данные» или «вернуть свой конфиг» или «пинг».

Путинвзрываетдома опенсурс эдишн? =)

Siado ★★★★★
()
Ответ на: комментарий от different_thing

>Да и правда, сдался тебе его код что ли, чтоб его ругать?

А я и не буду ругать. Мой код тоже хорошим не назовешь. Но ты же знаешь ЛОР, кто-нибудь да матюгнется на код. Я буду ругать за то, что он его не показывает и что-то просит у сообщества.

mopsene ★★★
()

> есть сервер, раздающий задания и программа-клиент, исполняющий задания.

То есть, это как гугль, только ты ещё ему бесплатно помогаешь?

Без открытого и распределённого хранилища такой поисковик не нужен.

vasilenko ★★
()

А где код можно качнуть??

jabber: peorg@jabber.org

skupe: zumsker

А если в ни там ни там нет??
зы. Может skype ?

ymuv ★★★★
()

Поставить десяток машин 3-5 летней давности в современный ДЦ сейчас стоит почти бесплатно. И по мощам, и по скорости будет сопоставимо с тем, с чего начинали гуглеводы. Было бы желание.

Igron ★★★★★
()

Кстати, плюсую разработку открытого распределённого поисковика с открытой распределенной базой данных. Выступил бы добровольцем в создании и предоставил бы машинки для экспериментов. Проблема только в том, что сам не потяну.

Chaser_Andrey ★★★★★
()

> Кто хочет поучавствовать в создании распределённого поисковика?

Неосиляторы русского набежали. «Поучаствовать» от слова «участие». Еще школу не закончил?

iVS ★★★★★
()

> можно поставить и забыть.
а потом он ка-а-а-ак раскроется!

Breton ★
()

http://yacy.net/en/Screenshots.html

Web Search by the people, for the people

YaCy is a free search engine that anyone can use to build a search portal for their intranet or to help search the public internet. When contributing to the world-wide peer network, the scale of YaCy is limited only by the number of users in the world and can index billions of web pages. It is fully decentralized, all users of the search engine network are equal, the network does not store user search requests and it is not possible for anyone to censor the content of the shared index. We want to achieve freedom of information through a free, distributed web search which is powered by the world's users.

StrongDollar ★
()
Ответ на: комментарий от StrongDollar

Давайте попробуем для начала лор проиндексировать.

vasilenko ★★
()

Задания на клиенте бот выполняет или человек?

toney ★★★★★
()

Не нравится архитектура. Страниц в инете стока что раздавать задания с центрального сервера сакс. Пусть лучше ноды сами себе ищут работу и хранят результаты поиска у себя. Ну а поиск как-нить по DHT сделать. В общем, есть над чем подумать.

true_admin ★★★★★
()
Ответ на: комментарий от true_admin

Ну ясно, что не на каждый урл будет идти задание.

kiverattes ★☆
() автор топика
Ответ на: комментарий от StrongDollar

о! Я им помогу. Раньше держал паука от grub-ng (wikia.com), но они закрыли проект(

devl547 ★★★★★
()

kiverattes, лучше устройся на оплачиваемую работу.

pacify ★★★★★
()

За это хоть платят?
Я же буду на своём серваке запускать бинарники неизвестного происхождения, платить за трафик провайдеру...

CYB3R ★★★★★
()
Ответ на: комментарий от XVilka

судя по профилю ТС - на С++. Это радует. Могу помочь в тестировании, мелких патчах (потому что я в С++ разбираюсь, как свинья в апельсинах) и канале.

XVilka ★★★★★
()
Ответ на: комментарий от DNA_Seq

у него боты на яве - значит ресурсов много надо для их работы. Сервер-то на яве нормально, но не поисковые боты

XVilka ★★★★★
()
Ответ на: комментарий от XVilka

> значит ресурсов много надо для их работы. Сервер-то на яве нормально, но не поисковые боты

сколько?

Karapuz ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Talks