Apache Lucene & Solr 3.5.0

Они пофиксили работу на седьмой яве уже?

Nagwal (27.11.2011 11:16:26)

И это хорошо.

Oracle пофиксил 7u1

maxcom (27.11.2011 11:20:18)

Т.е. баг все-таки в jdk был?

А то мне сейчас по работе не нужен апач с солром, не разбирался особо кто там виноват.

Nagwal (27.11.2011 11:30:58)

> Т.е. баг все-таки в jdk был?

Да, кстати он и в jdk 6 был с некоторыми опциями -XX, но там они выключены по-умолчанию

maxcom (27.11.2011 11:31:56)

Чем оно лучше Sphinx?

В Lucene гораздо больше возможностей

maxcom (27.11.2011 11:32:53)

>Различные багфиксы

Надо посмотреть повнимательнее

mikhalich (27.11.2011 11:36:38)

в 3 раза больше жрёт оперативки...

qbbr (27.11.2011 12:04:26)

Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу "якунович", а Люцена умеет.

Ingwar (27.11.2011 13:03:10)

Да ладно.

Ingwar (27.11.2011 13:03:39)

Можно ли сабж быстро заставить работать в режиме "съел текст - выдал лексемы, ничего не сохраняя"?

shahid (27.11.2011 14:42:58)

> Можно ли сабж быстро заставить работать в режиме "съел текст - выдал лексемы, ничего не сохраняя"?

если ты стемминг имеешь в виду, то запросто ;)

real_maverick (27.11.2011 15:17:07)

а язык текста перед стеммингом определить может?

shahid (27.11.2011 15:23:08)

> а язык текста перед стеммингом определить может?

Естественно, иначе как стеммить? :)

nebm51 (27.11.2011 15:34:50)

> Естественно, иначе как стеммить? :)

Последний раз, когда её ковырял, язык надо было задавать самому.

shahid (27.11.2011 15:37:34)

протисти, и я вступлю в беседу

qbbr (27.11.2011 15:39:58)

> Последний раз, когда её ковырял, язык надо было задавать самому.

Пардон, меня проглючило. Последний раз я делал детект с помощью nutch'а.

nebm51 (27.11.2011 15:42:40)

Написано, что есть детектор языка с версии 3.5 http://wiki.apache.org/solr/LanguageDetection Гут.

shahid (27.11.2011 15:56:37)

ну, я как бы Solr использую, не замечал за ним такого.

Ingwar (27.11.2011 15:58:58)

3.5 я еще не смотрел, в 3.4 надо было самому определять. Проще всего той же Apache Tika, нам ngramm'ный определитель вполне рабочий (впрочем со всеми недостатками таких определителей)

maxcom (27.11.2011 17:56:39)

А чего с потреблением памяти у него? Ну если сравнить со Sphinx и Yandex Search Server.

Терабайтом памяти запасаться надо?

Зачем только для стемминга тянуть целый Solr/Lucene? Есть же standalone библиотеки для этого.

> Терабайтом памяти запасаться надо?

Lucene очень много всякого умеет, все зависит от задачи.

maxcom (27.11.2011 19:15:41)

> не разбирался особо кто там виноват

Что там разбираться? У них на главной странице до сих пор об этом написано.

pitekantrop (27.11.2011 21:02:50)

> Существенное уменьшение объема памяти, используемого для хранения словарного индекса (LUCENE-2205)

Сократили использование ОЗУ. Хранение индекса на диске не должно было измениться.

pitekantrop (27.11.2011 21:34:34)

так лучше?

maxcom (27.11.2011 21:44:16)

>Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу "якунович", а Люцена умеет.

?

http://balancer.ru/tools/search/result/?q=янукович&w=a&s=t&checkboxe...

KRoN73 (28.11.2011 6:06:17)

>Как недавно на ЛОРе выясняли, Сфинкс найти Януковича по запросу "якунович", а Люцена умеет.

http://sphinxsearch.com/docs/current.html#conf-wordforms

pi11 (28.11.2011 8:34:08)

Кстати, насчёт стеммера - там только стеммер, или ещё морфологическая база есть? Я смотрел когда-то для русского языка - всё совсем уж платные были. Тот же "национальный корпус".

GblGbl (28.11.2011 11:07:15)

> а язык текста перед стеммингом определить может?

раньше было нельзя, сейчас вроде есть механизм для определения, у меня просто такой задачи не стояло

real_maverick (28.11.2011 11:17:41)

> Кстати, насчёт стеммера - там только стеммер, или ещё морфологическая база есть?

aot.ru - сделано чужими для хищников, но там можно найт много вкусного ;)

real_maverick (28.11.2011 11:22:33)

вот кстати стеммер для lucene на базе словаря aot: http://code.google.com/p/russianmorphology/

maxcom (28.11.2011 11:24:45)

А эта либа работает только в связке с люценой? Если да, то может быть вы посоветуете какие-нибудь ещё библиотеки? На PHP есть phpmorphy (на базе всё того же aot), хотелось бы что-то подобное для Java.

Вы о чем?

Ingwar (28.11.2011 15:26:20)

Сфинкс «Януковича» находит в разных склонениях. Или я неверно распарсил исходное утверждение?

KRoN73 (28.11.2011 15:29:37)

вы всерьёз думаете, что можно все варианты опечаток всех слов внести в словарь?

Ingwar (28.11.2011 15:29:46)

угу. не верно. речь шла об опечатках: якунович->янукович

Ingwar (28.11.2011 15:31:09)

Тьфу. Понятно. Ну и нафиг :)

KRoN73 (28.11.2011 15:32:52)

А Solr работает в данном случае?

pi11 (28.11.2011 21:07:33)

На ЛОРе вот якунович'a только в этом треде находит.

pi11 (28.11.2011 21:09:11)

Вполне у меня на сайте находит, "искаропки", что называется. (а на ЛОРе Solr стоит?)

Ingwar (28.11.2011 21:23:03)

да, стоит, см. www.linux.org.ru/server.jsp

hizel (28.11.2011 21:32:06)

Ну покажи сайт что-ли.

pi11 (28.11.2011 21:33:46)

У нас обычный стеммер, для опечаток нужно настраивать fuzzy поиск

maxcom (28.11.2011 22:28:00)

а, оказывается оно работает если хитрый синтаксис поиска указывать - надо тильду после слова добавить. Подробности тут: http://lucene.apache.org/java/3_5_0/queryparsersyntax.html#Fuzzy Searches

maxcom (28.11.2011 22:34:38)

даже мануал не накропать к поиску, так как сами не знаем всех возможностей :)

удивительно, как никто не заметил, что перелистывать поиск при выбранном разделе нет никакой возможности - сбрасывается выбор

hizel (28.11.2011 22:54:17)

ну в прошлой версии поиска перелистывания небыло совсем, и никто не жаловался :-)

maxcom (28.11.2011 23:00:19)

Да, действительно. Интересная штука.

pi11 (28.11.2011 23:45:20)

ElasticSearch тоже сразу обновили: https://github.com/elasticsearch/elasticsearch/issues/1502

pythonist (03.12.2011 23:54:07)