LINUX.ORG.RU

Состоялся релиз распределённой системы поиска YaCy 1.0

 , ,


0

3

После пяти лет разработки тихо и незаметно вышла YaCy 1.0 - распределённая поисковая система.

YaCy - децентрализованный сервис, в настоящее время работают 600 пиров. Архитектура YaCy не позволяет какой-либо одной организации решать, какие страницы индексировать и в каком порядке располагать их в выдаче. Серверы YaCy работают на компьютерах пользователей, поисковые запросы перед отправкой шифруются. В отличие от привычных нам поисковых систем, при разработке YaCy большое внимание уделялось защите персональной информации пользователя. На компьютере пользователя сохраняются персональные индексы и рейтинги страниц, позвольяющие со временем улучшать качество поиска. Также YaCy можно использовать для поиска на определённом сайте или в пределах локальной сети.

Михаэль Кристен, руководитель проекта YaCy говорит: «Большинство нашей деятельности в сети связано с поиском. Поисковая система связывает нас с необходимой нам информацией. Мы не можем возложить такую жизненно важную функцию на несколько крупных компаний и расплачиваться за это своими личными данными. YaCy - необходимое звено между свободными пользователями и свободной информацией, она возвращает нам, пользователям, контроль над нашим поиском. „Каждый пользователь YaCy - часть большой поисковой сети. Система используется на таких ресурсах, как sciencenet.kit.edu, yacy.geocaching-portal.com и fsfe.org для поиска по сайтам. Поисковые индексы распространяются между серверами по протоколу p2p.

Карстен Герлофф, президент FSF Europe: „Мы уходим от необходимости централизованно контролировать сервисы. Мы понимаем, насколько важна независимость и инфраструктура, не имеющая единой точки отказа. В будущем мире распределённых систем свободные поисковые системы, такие как YaCy - важный элемент.“

Присоединиться к сети можно, установив YaCy на свой компьютер - инсталляция включает в себя crawler и веб-интерфейс для администрирования. Для работы YaCy требуется OpenJDK6 и около 4 Гб для индексов и страниц. Чтобы делиться информацией с другими узлами сети и принимать от них запросы на индексирование страниц (Senior mode в терминологии YaCy) может понадобиться проброс порта на маршрутизаторе. YaCy - кроссплатформенное приложение, распространяемое под лицензией GPL.

Сайт проекта
Поисковый портал (внимание, по ссылке - слэшдот-эффект)
Технические подробности на английском

>>> Оригинал новости в рассылке FSF Europe

★★★★★

Проверено: Shaman007 ()

поставить что-ли? дело вроде хорошее, а комп всё равно вентиляторами всю ночь молотит

shty ★★★★★ ()

А своя социальная сеть с кнопочкой +1 у них есть? Иначе не нужно ведь, хоть и на жабе.

anonymous ()
Ответ на: комментарий от shty

О! Именно.

Правда, поседний раз оно у меня зверски жрало ресурсы, пришлось погасить. Но может к релизу пофиксили.

Hoodoo ★★★★★ ()
Ответ на: комментарий от anonymous

diaspora* же.

Diaspora, yacy и i2p - маст хэв для сознательного анонимуса.

Hoodoo ★★★★★ ()

"тихо и незаметно"

как вы уже за... замучали этой фразой. ЧСВ чешится? Или новость постите только для того чтобы сверкнуть своим мега-знанием этого мема?

anton_derevyanko ()

Что если часть нод в оффлайне? Или данные как-то дублируются?

Ok ()

Стоило бы поисковик переписать с явы на что-нибудь менее тормозящее. И то, он от этого не стал бы нужнее.

self-learningMACHINE ()
Ответ на: комментарий от r2d2

Видимо, это глюк именно данной страницы. У меня оно по-русски понимало, и даже вот поиск по русскоязычному i2p делали на yacy.

Hoodoo ★★★★★ ()
Ответ на: комментарий от Ok

Там предусмотрена какая-то избыточность, подробности можно в FAQ посмотреть.

Hoodoo ★★★★★ ()

Поднял ноду :3 Правда, как-то странно она работает, загрузка около нуля даже в principle режиме.

anonymous ()
Ответ на: комментарий от anonymous

Порт проброшен?

Пока оно вкурит, что у тебя нода есть, пока то, пока сё... Нагрузит. :)

Hoodoo ★★★★★ ()
Ответ на: комментарий от Hoodoo

Аватарка блюющего ежа - автора новости, очень хорошо передаёт отношение к такому г-ну. Пока всё это будет на java - это будет безумно тормозить и жрать кучу ресурсов. Я себе такое г-но на комп не поставлю.

anonymous ()

Надо же, Шома подтвердил «тихо и незаметно». По сабжу - оно запросы на русском не понимает что ли?

sluggard ★★★★★ ()
Ответ на: комментарий от sluggard

YaCy прекрасно понимает запросы на русском (правда, на русском мало что проиндексировано), это страница, видимо, криво передаёт.

Hoodoo ★★★★★ ()
Ответ на: комментарий от Hoodoo

Более того, и список сидов свой отдаю. Для статуса principle это тоже надо.

anonymous ()
Ответ на: комментарий от anonymous

Ну значит надо подождать.

Ещё можно в админке подкрутить интервалы запросов и прочее подобное (кстати, даже, наверное, нужно).

Hoodoo ★★★★★ ()

OpenJDK6

Такие вещи на жабе писать нельзя.

vbv ()

хочу на пару сервачков впихнуть. оно сильно жручее (RAM/CPU)?

dib2 ★★★★★ ()

Всегда знал, что жабакодеры - ламы криворукие, но это же как надо было исхитриться, чтобы юникод в ней поломать?!

AVL2 ★★★★★ ()

Друзья, это гулгкапец или как? Сама идея просто великолепна, я давно заметил, что все поисковые ресурсы выдают не всю информацию в сети, их контролируют.

anonymous ()
Ответ на: комментарий от anonymous

Так и есть, пытался искать информацию по bildeberg club и trilateral comission - гугл режет часть выдачи. Потом знающие люди подсказали прямых ссылок, которых нет в гугле.

anonymous ()
Ответ на: комментарий от anonymous

это гулгкапец или как

Был уже search.wikia.com с пауком grub-ng. Только быстро прикрылись, а жаль. У меня паучок нехило так насобирал за полгода индексов.

anonymous ()
Ответ на: комментарий от AVL2

С доднедом не путаешь? В жабе по дефолту не UTF-8, а системная кодировка. Где-то при IO забыл явно указать кодировку - и приехали.

anonymous ()
Ответ на: комментарий от self-learningMACHINE

А вот и специалисты понабежали по хайлоад.

Следи за моими губами, дятел. «Код выполняется на компьютерах пользователя».

Ява - единственно верное архитектурное решение, пистончик рассматривать не будем.

anonymous ()

Хорошая вещь и желаю ей благополучного будущего. Надеюсь, взлетит.

Ginki ()

Дайте зеркала, основной сервак отвечает 503.

yurikoles ★★★ ()
Ответ на: комментарий от MrHouse

Понимать то понимает, только я ничего в выдаче не понимаю. Вместо кириллицы вопросительные знаки. Жабокодеры такие жабокодеры...

anonymous ()
Ответ на: комментарий от anonymous

Вместо кириллицы вопросительные знаки

ЛОЛ, Когда постил было норм, а теперь да.

MrHouse ()
Ответ на: комментарий от shty

о, а его можно ставить... На опеннете об этом ничего не видел.

aptyp ★★★★ ()
Ответ на: комментарий от buddhist

По сабжу — что-то какой-то он тормозной и ничего толком не находит.

buddhist ★★★★★ ()
Ответ на: комментарий от buddhist

Прости, а что ты ожидал после первого релиза?

anonymous ()
Ответ на: комментарий от yurikoles

Дайте зеркала, основной сервак отвечает 503.

Дайте ему, блин. Своё подними.

anonymous ()

Очень полезная вещь! Надо бы подумать где поднять ноду...

sdh ()
Ответ на: комментарий от anonymous

Следи за моими губами, дятел. «Код выполняется на компьютерах пользователя».

А пользовательских компов вам не жалко?

Ява - единственно верное архитектурное решение, пистончик рассматривать не будем.

Аяяй, а я уже хотел помочь в портировании..

sdh ()
Ответ на: комментарий от anonymous

если нормально писать, то на том же С++ можно сделать кроссплатформенным.

XVilka ★★★★★ ()

Очень интересная и полезная штука. Поставил.

Впечатления хорошие. Результаты обхода Сети синхронизирует по умолчанию только в режиме ожидания. Unicode понимает прекрасно. Залезть социальные сети поисковиком не удастся: он принципиально не индексирует страницы, защищённые паролями, GET, POST или куками.

Но. На Linux встаёт очень трудно. На Sun/Oracle JVM появляется гора ошибок, какая-то утечка памяти, глюки и зависания. Нельзя даже в админку зайти. OpenJVM ради одной программы ставить не хочу. На Windows, как ни странно, всё легко встаёт, даже появляется иконка в трее, ничего не зависает и ресурсы особенно не жрёт.

Желаю проекту развития. На мой взгляд, привычные поисковики лучше находят полезные страницы и особенно фильтруют сплоги, но достаточное количество пользователей должно помочь.

Oreolek ()
Ответ на: комментарий от vada

В смысле полностью не видел
не пролистал далее, сразу пошёл по ссылке:-)

aptyp ★★★★ ()

Индексирует все подряд или по указанию пользователей? Сколько занимает места на диске (или есть настройка)? Более или менее жручее, чем i2p?

vurdalak ★★★★★ ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.