LINUX.ORG.RU

Статья о поисковике search.wikia.com

 ,


0

0

В статье рассказывается о поисковике, созданном автором Википедии Джимми Вэйлсом (Jimmi Wales) и перезапущенном в июне. Основные идеи:

  • Причина создания — идеологические разногласия с Гуглом, который не раскрывает свой поисковый алгоритм. Wikia search engine построен полностью на открытом ПО.
  • Wikia поощряет наполнение базы поисковика пользователями. Тогда как большинство поисковиков целиком полагаются на поисковый алгоритм.
  • Помимо пользовательского ввода Wikia также использует поисковик Nutch.
  • Для индексирования и работы с базой данных используется библиотека Lucene Java.
  • В качестве «паука» — сканирующей WWW программы — используется Grub. Wikia не может тягаться с Гуглом числом серверов, поэтому Вэйлс предлагает всем желающим скачать клиент Grub и поучаствовать в наполнении базы по примеру проектов распределённых вычислений (например SETI@Home).
  • Презагруженная AJAX-ом страница результатов поиска. Результаты подгружаются на лету, имеется система рейтингов, пользователи могут редактировать, рецензировать, комментировать, выделять и удалять результаты.
  • Желающие могут установить тулбар для Firefox.
  • Проект коммерческий, ориентирован на получение прибыли. Пока источник средств — реклама от Google (sic).

«На сегодня счётчик показывает около 8 миллионов запросов и более двух миллионов пользовательских сообщений. Не много, но как выглядела в первый день Википедия?»

>>> Подробности на сайте freesoftwaremagazine.com

Ответ на: комментарий от Legioner

>Как только я смогу читать, модифицировать и распространять исходный код движка гугла - запросто.

А где связь? ТЫ можешь что-то там подифицировать и распространять для викии просто потому что сама викия ничего не написала - она пользуется сторонними кравлерами и поисковиком. Важен факт это коммерческая контора которая предлагает за спасибо помочь им заработать деньги. Не вижу ни одного аргумента в чем поисковик лучше гугла или других альтернатив.

r ★★★★★
()
Ответ на: комментарий от SKYRiDER

>Если от меня не требуется практически никаких усилий/затрат на это и если бы это значительно улучшило результаты поиска этих систем, то почему бы и нет?

Пожалуста пожалуста. Если хотите ра\зличным бизнесам за спасибо зарабатывать деньги это конечно ваше право. Это не изменяет того факта что поведение "ахренеть".

>Вот только "идеологическая" составляющая у этих поисковиков мягко говоря хромает, в отличие от викии.


Какая идеологическая составляющая? Тут приходил один клиент который предлагал демьяновский домен за контент и рекламу - и называл это благотворительностью. Не вижу отличий.

>Ах да, а где можно скачать полные индексы гугловских/яндексовских баз? Нигде? А для викии можно -


Конечно - чего им скрывать то - взяли открытые проекты натравили на интернет. Качай. А можешь сам себе поставить люцен и груб.

r ★★★★★
()
Ответ на: комментарий от SKYRiDER

>Я лишь призываю объективно оценить достоинства и недостатки данного проекта и каждому самостоятельно принять взвешенное решение стоит ли его поддерживать или нет, а не идти на поводу у крикунов что "у нас есть гугл и больше ничего не нужно".

А никто и не идет. Одно дело пользоваться поисковиком и не забывать кликать 'rate'. Другое дело "подсуетитесь мне побыстрому наиндексируйте интернет - я вот тут фронтэнд к люцену сделал и то что вы наиндексируете я вам раздам вместе с рекламой".

>Практически никто из прочитавших эту новость не соизволил почитать даже несколько страниц о викии


Не первый раз замужем - про викию слышали когда зарождалась. И ничего нового тут нет - обычная бизнес-компания от создателя википедии.

r ★★★★★
()
Ответ на: комментарий от sv75

>Нет, что-то не хочется.

> А потчему ви спрашиваете?


Ми спрашиваем в расчете именно на такой ответ чтобы задать следующий вопрос:

А почему?


r ★★★★★
()

Черт, а мне понравилось! :D если интерфейс получше сделают в плане скорости то это будет просто замечательно. Пойду помогу чтоли, поставлю grub...

Red_Lion
()
Ответ на: комментарий от Dimanc

> Поисковик требует в первую очередь много дорогостоющего железа.

_Дорогостоящего_ железа не требуется. А при небольшой загрузке на сервис (естественно речь не идёт о тысячах запросов в секунду) _много_ железа тоже не нужно. Объёмы данных по современным меркам там не такие уж и большие.

> База данных и софт - вторично.

Ага, как же…

> А если у вас нет оборудования, вам остается только "играться" с этой БД. :)

Купить железо - пустяк.

SKYRiDER ★★★
()
Ответ на: комментарий от sv75

> > Альтернативный консольный сишный клиент (всего 30 кБ кода) не имеет вообще никаких зависимостей, кроме опциональной линковки с zlib.

> А где его релиз? Или он ещё альфа? Клиент на C# конечно можно запустить демоном, но что-то меня удивляет, сколько проца он кушает.

Да, релиза пока не было, это альфа. Скачать можно только из subversion репозитария: http://svn.swlabs.org/grubng/trunk/c/

Подробнее можно почитать в блоге разработчика: http://grub.org/?q=/node/40 Функциональность пока крайне ограничена, как я понял он даже не умеет сам скачивать "задания" с сервера, для этого нужно отдельно вызывать curl. :) Но если написать хороший скрипт-обвязку для него, то думаю можно легко пускать несколько сотен параллельных процессов, расходы памяти будут самые минимальные. У меня нет в распоряжении таких толстых каналов, поэтому пока вполне устраивает версия на C#.

Где-то на их сайте видел, что сейчас на своих серверах они используют самописный краулер на перле, но планируют полностью перейти на использование клиента на C# (вероятно будет какая-то отдельная серверная версия). Всё таки не даром же викия купила Grub.

SKYRiDER ★★★
()
Ответ на: комментарий от r

> Конечно - чего им скрывать то - взяли открытые проекты натравили на интернет. Качай. А можешь сам себе поставить люцен и груб.

А вы не допускаете мысли о том, что благодаря такому large scale deployment выиграют в первую очередь используемые OSS проекты, т.е. тот же Lucene и Grub? Викия своих изменений не зажимает, так что весь их feedback и патчи пойдут только на пользу указанным проектам. А Grub, насколько я знаю, Викия _купила_, т.е. она платит деньги его девелоперам. Не думаю что они из-за этого расстроены. :)

> Одно дело пользоваться поисковиком и не забывать кликать 'rate'. Другое дело "подсуетитесь мне побыстрому наиндексируйте интернет - я вот тут фронтэнд к люцену сделал и то что вы наиндексируете я вам раздам вместе с рекламой".

Ну так никто не заставляет ставить себе краулер. Я уверен в том, что о существовании самой возможности запуска у себя краулера знает не более пары процентов пользователей данного поисковика.

Всё таки основное что нужно от пользователей - кликать rate на результатах своего поиска, упор делается именно на эту социальную составляющую. Это, по сути, единственное чего не может сделать машина автоматически, но хорошо может сделать человек.

SKYRiDER ★★★
()
Ответ на: комментарий от sv75

гугл нескоро откроет свой движок
если вообще откроет

kto_tama ★★★★★
()
Ответ на: комментарий от SKYRiDER

>_Дорогостоящего_ железа не требуется. А при небольшой загрузке на сервис (естественно речь не идёт о тысячах запросов в секунду) _много_ железа тоже не нужно. Объёмы данных по современным меркам там не такие уж и большие.

Если бы база была статична, то да, не нужно. Но ведь это поисковик, который должен постоянно ее обновлять и дополнять, на это не хватит простенького сервера.

>> База данных и софт - вторично. >Ага, как же…

Сможете постоянно обновлять базу - сможете создать ее с нуля. В противном случае она либо будет старой (а такая только на "поиграться"), либо будет постоянно скачиваться с сервера, а это уже зависимость, свободой тут не пахнет.

Dimanc ★★
()
Ответ на: комментарий от SKYRiDER

> А если у вас нет оборудования, вам остается только "играться" с этой БД. :)

Купить железо - пустяк.

:) Угу пустяк :) Вот поэтому они на этот пустяк и будут на рекламе зарабатывать .

eVrO
()
Ответ на: комментарий от SKYRiDER

>А вы не допускаете мысли о том, что благодаря такому large scale deployment выиграют в первую очередь используемые OSS проекты, т.е. тот же Lucene и Grub?

Ага - давайте еще разработчикам лючена скажем на викию молится. У люцена (не знаю на счет груба) и без викии есть ларж скейл деплойменты.

r ★★★★★
()
Ответ на: комментарий от sv75

>Потому что на текущей момент они монополисты в своей области.

Хорошо - альтависта и рамблер - тот же вопрос.

r ★★★★★
()

А с кпк ничерта не ищет! Ни опера 9.5beta, на PocketExplorer'ом Долго думает - а в результате - просто пустая страница с надписью loading. Притом, что и гугль, и даже вконтакте - и прочие сайты с жабоскриптом и ajax работают нормально.

anonymous
()
Ответ на: комментарий от SKYRiDER

> А Grub, насколько я знаю, Викия _купила_

Уточню: специально купила и открыла.

question4 ★★★★★
() автор топика
Ответ на: комментарий от r

> А где связь?

Связи нет, просто у меня требований более одного.

PS Поставил на itx via демон grubа (а уж обсуждения-то -- как будто я занял им парочку 42U).

sv75 ★★★★★
()
Ответ на: комментарий от SKYRiDER

> отключить тулбар и пользоваться стандартным окошком поиска в Firefox (для него данный аддон установит соответствующий поисковый плагин).

Аддон поставил, викии в списке поисковиков не появилось. Что нажимать?

Dimka-Bo
()

help

кто нибудь разобрался с этим grub? чет я не понял, он результаты сам отправлять буит или их самому загружить надо O_o

andreykyz ★★
()
Ответ на: комментарий от Dimka-Bo

> Аддон поставил, викии в списке поисковиков не появилось. Что нажимать?

Хм, странно. Если я правильно помню, то при установке аддона Firefox спросил "установить ли поисковый плагин для Wikia Search?", я согласился, перезапустил FF после установки расширения и после этого в списке поисковиков в окне поиска добавился новый пункт - Wikia Search (там где были Google, Ask.com, Yahoo, Wikepedia и др.).

SKYRiDER ★★★
()
Ответ на: help от andreykyz

> кто нибудь разобрался с этим grub? чет я не понял, он результаты сам отправлять буит или их самому загружить надо O_o

А что там с ним разбираться? Если речь идёт про C# клиент, то он всё делает автоматически: скачивает задание; скачивает содержимое всех ссылок, указанных в задании; отправляет полученный архив на сервер Wikia.

SKYRiDER ★★★
()
Ответ на: комментарий от r

> Не хочешь помочь набить телефонную книгу?

Специально набивать телефонную книгу не хочу. Но если окажется, что в результате других моих действий я помог набить телефонную книгу, я не буду возражать. Даже если кто-то на этом потом заработает. А иначе получается похоже на принцип "ни себе, ни людям".

VladimirP ★★★★
()
Ответ на: комментарий от SKYRiDER

>А что там с ним разбираться? Если речь идёт про C# клиент, то он всё >делает автоматически: скачивает задание; скачивает содержимое всех >ссылок, указанных в задании; отправляет полученный архив на сервер >Wikia. ставить из-за этого моно? нет уж... имеется в виду клиент на с и на python как я понял результаты они отправляют сами, правдо не всегда специально для этого там ещё тулза для ручной отправки

andreykyz ★★
()
Ответ на: комментарий от andreykyz

> ставить из-за этого моно? нет уж...

Вы так удивились, как будто вам ради этого предлагают поставить KDE4... У вас на десктопе всё ещё не установлен mono runtime? Он занимает всего лишь около 5 Мб.

> имеется в виду клиент на с и на python

А где вы нашли клиент на питоне?

SKYRiDER ★★★
()
Ответ на: комментарий от anonymous

fah@localhost:~/wikisearch> l
итого 3244
-rw-r--r-- 1 fah users 296 Ноя 19 14:34 AUTHORS
-rw-r--r-- 1 fah users 49839 Ноя 19 14:34 ChangeLog
-rw-r--r-- 1 fah users 35147 Ноя 19 14:34 COPYING
-rwxr-xr-x 1 fah users 1429599 Ноя 29 22:16 grubng-0.8.1-Linux-x86-Install.bin*
-rw-r--r-- 1 fah users 241036 Ноя 29 22:15 grubng-0.8.1.tar.gz
-rwxr-xr-x 1 fah users 121344 Ноя 19 14:34 Grubng.exe*
-rw-r--r-- 1 fah users 28629 Ноя 19 14:34 Grubng.exe.mdb
-rwxr-xr-x 1 fah users 46080 Ноя 19 14:34 grubng-sharp.dll*
-rw-r--r-- 1 fah users 12650 Ноя 19 14:34 grubng-sharp.dll.mdb
drwxr-xr-x 2 fah users 4096 Ноя 29 22:21 Images/
drwxr-xr-x 8 fah users 4096 Ноя 29 22:21 locale/
-rw-r--r-- 1 fah users 6134 Ноя 19 14:34 README.txt
-rwxr-xr-x 1 fah users 1285411 Ноя 29 22:21 uninstall*

fah@ip10-10-18-115:~/wikisearch> ./Grubng.exe
bash: ./Grubng.exe: не могу запустить бинарный файл

fah@ip10-10-18-115:~/wikisearch>

ставилось из grubng-0.8.1-Linux-x86-Install.bin. ЧЯДНТ?

anonymous
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.