LINUX.ORG.RU
 
Hoodoo

Состоялся релиз распределённой системы поиска YaCy 1.0


0

3

После пяти лет разработки тихо и незаметно вышла YaCy 1.0 - распределённая поисковая система.

YaCy - децентрализованный сервис, в настоящее время работают 600 пиров. Архитектура YaCy не позволяет какой-либо одной организации решать, какие страницы индексировать и в каком порядке располагать их в выдаче. Серверы YaCy работают на компьютерах пользователей, поисковые запросы перед отправкой шифруются. В отличие от привычных нам поисковых систем, при разработке YaCy большое внимание уделялось защите персональной информации пользователя. На компьютере пользователя сохраняются персональные индексы и рейтинги страниц, позвольяющие со временем улучшать качество поиска. Также YaCy можно использовать для поиска на определённом сайте или в пределах локальной сети.

Михаэль Кристен, руководитель проекта YaCy говорит: "Большинство нашей деятельности в сети связано с поиском. Поисковая система связывает нас с необходимой нам информацией. Мы не можем возложить такую жизненно важную функцию на несколько крупных компаний и расплачиваться за это своими личными данными. YaCy - необходимое звено между свободными пользователями и свободной информацией, она возвращает нам, пользователям, контроль над нашим поиском. "Каждый пользователь YaCy - часть большой поисковой сети. Система используется на таких ресурсах, как sciencenet.kit.edu, yacy.geocaching-portal.com и fsfe.org для поиска по сайтам. Поисковые индексы распространяются между серверами по протоколу p2p.

Карстен Герлофф, президент FSF Europe: "Мы уходим от необходимости централизованно контролировать сервисы. Мы понимаем, насколько важна независимость и инфраструктура, не имеющая единой точки отказа. В будущем мире распределённых систем свободные поисковые системы, такие как YaCy - важный элемент."

Присоединиться к сети можно, установив YaCy на свой компьютер - инсталляция включает в себя crawler и веб-интерфейс для администрирования. Для работы YaCy требуется OpenJDK6 и около 4 Гб для индексов и страниц. Чтобы делиться информацией с другими узлами сети и принимать от них запросы на индексирование страниц (Senior mode в терминологии YaCy) может понадобиться проброс порта на маршрутизаторе. YaCy - кроссплатформенное приложение, распространяемое под лицензией GPL.

Сайт проекта
Поисковый портал (внимание, по ссылке - слэшдот-эффект)
Технические подробности на английском

>>> Оригинал новости в рассылке FSF Europe

НАУЧИ КОМПЬЮТЕР ВАРИТЬ КОФЕ

управление электрическими цепями с помощью компьютера
лучший подарок для техногика; только открытые программы
http://www.unicontrollers.com/products/unc01x

[#]  
shty

поставить что-ли? дело вроде хорошее, а комп всё равно вентиляторами всю ночь молотит

*** ()
[#]  

А своя социальная сеть с кнопочкой +1 у них есть? Иначе не нужно ведь, хоть и на жабе.

anonymous ()
[#] Ответ на: комментарий от shty 29.11.2011 12:44:01  
Hoodoo

О! Именно.

Правда, поседний раз оно у меня зверски жрало ресурсы, пришлось погасить. Но может к релизу пофиксили.

*** ()
[#] Ответ на: комментарий от anonymous 29.11.2011 12:44:33  
Hoodoo

diaspora* же.

Diaspora, yacy и i2p - маст хэв для сознательного анонимуса.

*** ()
[#]  

По-русски не понимает.

()
[#]  

"тихо и незаметно"

как вы уже за... замучали этой фразой. ЧСВ чешится? Или новость постите только для того чтобы сверкнуть своим мега-знанием этого мема?

()
[#]  
Ok

Что если часть нод в оффлайне? Или данные как-то дублируются?

* ()
[#]  

Стоило бы поисковик переписать с явы на что-нибудь менее тормозящее. И то, он от этого не стал бы нужнее.

()
[#] Ответ на: комментарий от r2d2 29.11.2011 13:11:52  
Hoodoo

Видимо, это глюк именно данной страницы. У меня оно по-русски понимало, и даже вот поиск по русскоязычному i2p делали на yacy.

*** ()
[#] Ответ на: комментарий от Ok 29.11.2011 13:14:19  
Hoodoo

Там предусмотрена какая-то избыточность, подробности можно в FAQ посмотреть.

*** ()
[#] Ответ на: "тихо и незаметно" от anton_derevyanko 29.11.2011 13:13:17  
shty

>ЧСВ чешится?
> чешится

grammar nazi railgun чешется

*** ()
[#]  

Поднял ноду :3 Правда, как-то странно она работает, загрузка около нуля даже в principle режиме.

anonymous ()
[#] Ответ на: комментарий от Hoodoo 29.11.2011 12:46:05  

и freenet для несознательного

anonymous ()
[#] Ответ на: комментарий от anonymous 29.11.2011 13:24:02  
Hoodoo

Порт проброшен?

Пока оно вкурит, что у тебя нода есть, пока то, пока сё... Нагрузит. :)

*** ()
[#] Ответ на: комментарий от Hoodoo 29.11.2011 12:45:17  

Аватарка блюющего ежа - автора новости, очень хорошо передаёт отношение к такому г-ну. Пока всё это будет на java - это будет безумно тормозить и жрать кучу ресурсов. Я себе такое г-но на комп не поставлю.

anonymous ()
[#]  
sluggard

Надо же, Шома подтвердил "тихо и незаметно". По сабжу - оно запросы на русском не понимает что ли?

* ()
[#] Ответ на: комментарий от sluggard 29.11.2011 13:40:23  
Hoodoo

YaCy прекрасно понимает запросы на русском (правда, на русском мало что проиндексировано), это страница, видимо, криво передаёт.

*** ()
[#] Ответ на: комментарий от Hoodoo 29.11.2011 13:25:39  

Более того, и список сидов свой отдаю. Для статуса principle это тоже надо.

anonymous ()
[#] Ответ на: комментарий от anonymous 29.11.2011 13:43:15  
Hoodoo

Ну значит надо подождать.

Ещё можно в админке подкрутить интервалы запросов и прочее подобное (кстати, даже, наверное, нужно).

*** ()
[#]  

OpenJDK6

Такие вещи на жабе писать нельзя.

()
[#] Ответ на: комментарий от anonymous 29.11.2011 12:44:33  

diaspora?

anonymous ()
[#]  

хочу на пару сервачков впихнуть. оно сильно жручее (RAM/CPU)?

* ()
[#]  

Всегда знал, что жабакодеры - ламы криворукие, но это же как надо было исхитриться, чтобы юникод в ней поломать?!

***** ()
[#]  

Друзья, это гулгкапец или как? Сама идея просто великолепна, я давно заметил, что все поисковые ресурсы выдают не всю информацию в сети, их контролируют.

anonymous ()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:04:39  

Так и есть, пытался искать информацию по bildeberg club и trilateral comission - гугл режет часть выдачи. Потом знающие люди подсказали прямых ссылок, которых нет в гугле.

anonymous ()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:04:39  
>>-----Цитата---->>

это гулгкапец или как

<<-----Цитата----<<

Был уже search.wikia.com с пауком grub-ng. Только быстро прикрылись, а жаль. У меня паучок нехило так насобирал за полгода индексов.

anonymous ()
[#] Ответ на: комментарий от AVL2 29.11.2011 14:03:13  

С доднедом не путаешь? В жабе по дефолту не UTF-8, а системная кодировка. Где-то при IO забыл явно указать кодировку - и приехали.

anonymous ()
[#] Ответ на: комментарий от self-learningMACHINE 29.11.2011 13:16:33  

А вот и специалисты понабежали по хайлоад.

Следи за моими губами, дятел. "Код выполняется на компьютерах пользователя".

Ява - единственно верное архитектурное решение, пистончик рассматривать не будем.

anonymous ()
[#]  
Ginki

Хорошая вещь и желаю ей благополучного будущего. Надеюсь, взлетит.

* ()
[#]  
yusri

Дайте зеркала, основной сервак отвечает 503.

** ()
[#] Ответ на: комментарий от MrHouse 29.11.2011 13:42:04  

Понимать то понимает, только я ничего в выдаче не понимаю. Вместо кириллицы вопросительные знаки. Жабокодеры такие жабокодеры...

anonymous ()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:29:46  
MrHouse
>>-----Цитата---->>

Вместо кириллицы вопросительные знаки

<<-----Цитата----<<

ЛОЛ, Когда постил было норм, а теперь да.

* ()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:13:39  
buddhist

Ого! Так значит жаба еще больше не нужна!

*** ()
[#] Ответ на: комментарий от shty 29.11.2011 12:44:01  
aptyp

о, а его можно ставить... На опеннете об этом ничего не видел.

** ()
[#] Ответ на: комментарий от buddhist 29.11.2011 14:33:13  
buddhist

По сабжу — что-то какой-то он тормозной и ничего толком не находит.

*** ()
[#] Ответ на: комментарий от buddhist 29.11.2011 14:35:38  

Прости, а что ты ожидал после первого релиза?

anonymous ()
[#] Ответ на: комментарий от yusri 29.11.2011 14:21:28  
>>-----Цитата---->>

Дайте зеркала, основной сервак отвечает 503.

<<-----Цитата----<<

Дайте ему, блин. Своё подними.

anonymous ()
[#]  

Очень полезная вещь! Надо бы подумать где поднять ноду...

()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:15:30  
>>-----Цитата---->>

Следи за моими губами, дятел. "Код выполняется на компьютерах пользователя".

<<-----Цитата----<<

А пользовательских компов вам не жалко?

>>-----Цитата---->>

Ява - единственно верное архитектурное решение, пистончик рассматривать не будем.

<<-----Цитата----<<

Аяяй, а я уже хотел помочь в портировании..

()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:49:05  

Лорчую этого господина.

()
[#] Ответ на: комментарий от shty 29.11.2011 13:21:14  
XVilka

чешится == (тешится & чешется) :D

** ()
[#] Ответ на: комментарий от anonymous 29.11.2011 14:15:30  
XVilka

если нормально писать, то на том же С++ можно сделать кроссплатформенным.

** ()
[#] Ответ на: комментарий от XVilka 29.11.2011 14:59:52  

Ты хотел сказать QT?

()
[#]  

Очень интересная и полезная штука. Поставил.

Впечатления хорошие. Результаты обхода Сети синхронизирует по умолчанию только в режиме ожидания. Unicode понимает прекрасно. Залезть социальные сети поисковиком не удастся: он принципиально не индексирует страницы, защищённые паролями, GET, POST или куками.

Но. На Linux встаёт очень трудно. На Sun/Oracle JVM появляется гора ошибок, какая-то утечка памяти, глюки и зависания. Нельзя даже в админку зайти. OpenJVM ради одной программы ставить не хочу. На Windows, как ни странно, всё легко встаёт, даже появляется иконка в трее, ничего не зависает и ресурсы особенно не жрёт.

Желаю проекту развития. На мой взгляд, привычные поисковики лучше находят полезные страницы и особенно фильтруют сплоги, но достаточное количество пользователей должно помочь.

()
[#] Ответ на: комментарий от vada 29.11.2011 14:47:56  
aptyp

В смысле полностью не видел
не пролистал далее, сразу пошёл по ссылке:-)

** ()
[#]  

Индексирует все подряд или по указанию пользователей? Сколько занимает места на диске (или есть настройка)? Более или менее жручее, чем i2p?

*** ()