Apache Lucene & Solr 3.5.0

Они пофиксили работу на седьмой яве уже?

И это хорошо.

Oracle пофиксил 7u1

Т.е. баг все-таки в jdk был?

А то мне сейчас по работе не нужен апач с солром, не разбирался особо кто там виноват.

> Т.е. баг все-таки в jdk был?

Да, кстати он и в jdk 6 был с некоторыми опциями -XX, но там они выключены по-умолчанию

Чем оно лучше Sphinx?

В Lucene гораздо больше возможностей

Различные багфиксы

Надо посмотреть повнимательнее

в 3 раза больше жрёт оперативки...

Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу «якунович», а Люцена умеет.

Да ладно.

Можно ли сабж быстро заставить работать в режиме «съел текст - выдал лексемы, ничего не сохраняя»?

Можно ли сабж быстро заставить работать в режиме «съел текст - выдал лексемы, ничего не сохраняя»?

если ты стемминг имеешь в виду, то запросто ;)

а язык текста перед стеммингом определить может?

а язык текста перед стеммингом определить может?

Естественно, иначе как стеммить? :)

> Естественно, иначе как стеммить? :)

Последний раз, когда её ковырял, язык надо было задавать самому.

протисти, и я вступлю в беседу

Последний раз, когда её ковырял, язык надо было задавать самому.

Пардон, меня проглючило. Последний раз я делал детект с помощью nutch'а.

Написано, что есть детектор языка с версии 3.5 http://wiki.apache.org/solr/LanguageDetection Гут.

ну, я как бы Solr использую, не замечал за ним такого.

3.5 я еще не смотрел, в 3.4 надо было самому определять. Проще всего той же Apache Tika, нам ngramm'ный определитель вполне рабочий (впрочем со всеми недостатками таких определителей)

А чего с потреблением памяти у него? Ну если сравнить со Sphinx и Yandex Search Server.

Терабайтом памяти запасаться надо?

Зачем только для стемминга тянуть целый Solr/Lucene? Есть же standalone библиотеки для этого.

> Терабайтом памяти запасаться надо?

Lucene очень много всякого умеет, все зависит от задачи.

> не разбирался особо кто там виноват

Что там разбираться? У них на главной странице до сих пор об этом написано.

> Существенное уменьшение объема памяти, используемого для хранения словарного индекса (LUCENE-2205)

Сократили использование ОЗУ. Хранение индекса на диске не должно было измениться.

так лучше?

>Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу «якунович», а Люцена умеет.

?

http://balancer.ru/tools/search/result/?q=янукович&w=a&s=t&checkb...

>Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу «якунович», а Люцена умеет.

http://sphinxsearch.com/docs/current.html#conf-wordforms

Кстати, насчёт стеммера - там только стеммер, или ещё морфологическая база есть? Я смотрел когда-то для русского языка - всё совсем уж платные были. Тот же «национальный корпус».

а язык текста перед стеммингом определить может?

раньше было нельзя, сейчас вроде есть механизм для определения, у меня просто такой задачи не стояло

Кстати, насчёт стеммера - там только стеммер, или ещё морфологическая база есть?

aot.ru - сделано чужими для хищников, но там можно найт много вкусного ;)

вот кстати стеммер для lucene на базе словаря aot: http://code.google.com/p/russianmorphology/

А эта либа работает только в связке с люценой? Если да, то может быть вы посоветуете какие-нибудь ещё библиотеки? На PHP есть phpmorphy (на базе всё того же aot), хотелось бы что-то подобное для Java.

Вы о чем?

Сфинкс «Януковича» находит в разных склонениях. Или я неверно распарсил исходное утверждение?

Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу «якунович», а Люцена умеет.

http://sphinxsearch.com/docs/current.html#conf-wordforms

вы всерьёз думаете, что можно все варианты опечаток всех слов внести в словарь?

угу. не верно. речь шла об опечатках: якунович->янукович

Тьфу. Понятно. Ну и нафиг :)

А Solr работает в данном случае?

На ЛОРе вот якунович'a только в этом треде находит.

Вполне у меня на сайте находит, «искаропки», что называется. (а на ЛОРе Solr стоит?)

а на ЛОРе Solr стоит?

да, стоит, см. www.linux.org.ru/server.jsp

Ну покажи сайт что-ли.

А Solr работает в данном случае?

У нас обычный стеммер, для опечаток нужно настраивать fuzzy поиск

а, оказывается оно работает если хитрый синтаксис поиска указывать - надо тильду после слова добавить. Подробности тут: http://lucene.apache.org/java/3_5_0/queryparsersyntax.html#Fuzzy Searches

даже мануал не накропать к поиску, так как сами не знаем всех возможностей :)

удивительно, как никто не заметил, что перелистывать поиск при выбранном разделе нет никакой возможности - сбрасывается выбор

ну в прошлой версии поиска перелистывания небыло совсем, и никто не жаловался :-)

Да, действительно. Интересная штука.

ElasticSearch тоже сразу обновили: https://github.com/elasticsearch/elasticsearch/issues/1502