LINUX.ORG.RU

Обновилась OpenSource библиотека FreeLing

 freeling,


7

6

Наконец-то вышла OpenSource-библиотека для обработки текста FreeLing 3.0. Основные возможности FreeLing:

  • разметка текста (токенизация);
  • выделение предложений;
  • морфологический анализ;
  • определение составных слов;
  • вероятностное определение части речи неизвестного слова (hmm tagger);
  • обнаружение и определение именной группы;
  • классификация именной группы;
  • построение дерева зависимостей (слов в предложении);
  • определение местоимений (местоименных словоформ);
  • нормализация и определение дат, чисел, процентных соотношений, валюты и физических величин (скорость, вес, температура, плотность и т. д.);
  • определение части речи (вероятностное).

>>> FreeLing homepage



Проверено: tazhate ()
Последнее исправление: zstan (всего исправлений: 5)

Ответ на: комментарий от eveel

Хреново. В то время как корабли бороздят Большой театр...

Эт я в том смысле, что, сильно отстает от средних по рынку решений.

malbolge ★★
()
Ответ на: комментарий от zbyte

Само наличие такой библиотеки и в полностью бесплатном доступе это уже большая удача

Вы так думаете?

malbolge ★★
()
Ответ на: комментарий от malbolge

Эт я в том смысле, что, сильно отстает от средних по рынку решений.

Это каких, например?!!
Вы там как, вообще-то, в курсе, что весь ranking пишется на основе ТФС, которая позволяет не более чем весьма и весьма приближённое решение для выбора из нескольких вариантов.

Вы вообще в состоянии назвать логический формализм, пригодный для разбора на лексемы вышеприведённого «косой косой косил косой» -
или же вам даже то, то общепринятый логический формализм
(типа, набор законов о правильном мышлении) не более чем синтаксический анализатор - ранее неизвестная новость?

livi
()
Ответ на: комментарий от livi

Вы там как, вообще-то, в курсе

Я-то в курсе

Вы вообще в состоянии назвать логический формализм, пригодный для разбора на лексемы вышеприведённого «косой косой косил косой» -

Цепи Маркова

Не кипятитесь, я по делу критикую.

malbolge ★★
()
Ответ на: комментарий от malbolge

Вы вообще в состоянии назвать логический формализм, пригодный для разбора на лексемы вышеприведённого «косой косой косил косой» -

Цепи Маркова

Дааа? А можно поподробнее?

anonymous
()
Ответ на: комментарий от Kaschenko

Я не коробоку продаю, я софт хочу продавать. Мною разработаный, но с использование вашего любимого ГПЛ-я. Да шо я с Вами буду цацкаться? Попробуйте создайте что-то(и продайте это), а потом уж спорьте.

FeyFre ★★★★
()
Последнее исправление: FeyFre (всего исправлений: 2)
Ответ на: комментарий от anonymous

Дааа? А можно поподробнее?

Можно. Но: 1.Зачем? Этому подходу и так сто лет в обед. 2. Банально лениво тут рассыпаться бисером.

malbolge ★★
()
Ответ на: комментарий от FeyFre

Я не коробоку продаю, я софт хочу продавать. Мною разработаный, но с использование вашего любимого ГПЛ-я. Да шо я с Вами буду цацкаться? Попробуйте создайте что-то(и продайте это), а потом уж спорьте.

Без проблем. Только исходниками поделиться придётся. А так - продавай сколько хочешь.

Kaschenko
()
Ответ на: комментарий от eveel

В бложике у тебя меж строк так и читается мысль: «Роисся вперде!».
Поясню:

Всего этого в России практически нет

Даже в соседних Украине и Беларуси «все это» практически есть.

Далее, полугямши по NLPub я вижу просто-таки вопиющую однобокость ресурсика.Во-первых среди методов я не нашел ни одного вероятностного (а такие есть). Во-вторых, ты будешь поражен, но русские КТ есть не только в России. Посмотри, что есть в Швеции, например. Еще, кроме КТ есть и т.н. КВТ (скорее всего, все закрытые). Но они есть (и небольшая проблема разработать свои, благо, КВТ по своей природе создаются автоматически).

malbolge ★★
()
Последнее исправление: malbolge (всего исправлений: 1)
Ответ на: комментарий от malbolge

Можно. Но:
1.Зачем? Этому подходу и так сто лет в обед.

Как зачем? Чтобы мне было понятно что ты имеешь в виду и чтобы ты сам не выглядел в моих глазах человеком, как бы это сказать, недалёким, ляпнувшим первый попавшийся в твоей памяти термин нисколько не задумываясь о том, насколько глупо выглядит твоё предложение в отношении разбора указанного предложения на лексемы.

2. Банально лениво тут рассыпаться бисером.

Твои проблемы.

anonymous
()
Ответ на: комментарий от livi

Вы вообще в состоянии назвать логический формализм, пригодный для разбора на лексемы вышеприведённого «косой косой косил косой»

А его вообще возможно однозначно разобрать? В разных вариантах прочтения слова меняютс свой смысл, прилагательные становятся существительными и наоборот: «Косой кривою косил косою» или «бухой Косой косил косою» или «кривою косою косил Косой» например.

anonymous
()
Ответ на: комментарий от anonymous

А его вообще возможно однозначно разобрать?

Фраза неоднозначная, но разные варианты имеют разную частоту употребления. И эта самая частота вполне может быть критерием разрешения неоднозначности.

malbolge ★★
()
Ответ на: комментарий от anonymous

Чтобы мне было понятно что ты имеешь в виду

1. Дык залогинься
2. Я имел в виду то, то написал. Не понимаешь, как юзать цепи Маркова - твои проблемы, а не мои. Погрызи чуток граниту, авось просветлишься, тем более, что тема использования довольно известная. (1)

Твои проблемы.

ORLY?! См. (1),

malbolge ★★
()
Ответ на: комментарий от Kaschenko

Без проблем. Только исходниками поделиться придётся. А так - продавай сколько хочешь.

А ты у меня купишь за 1млн баксов софтинку делающую условно «7*8»? Устанавливаю такую цену что-бы перекрыть все риски. Продам за 20 баксов, отдам исходники - больше не продам ни одного экземпляра(было дело). Значит продам за столько, что-бы перекрыть потенциальную не полученную в следствии GPL прибыль. GPL для бизнеса хуже гулящего сына директора. А если бизнес от чего-то нос вернет, значит и в других местах оно никому не нужно.
Так вот, когда продашь, тогда и поговорим.

FeyFre ★★★★
()
Ответ на: комментарий от FeyFre

GPL vs LGPL

GPL, ребята а как вы предполагаете развивать эту библиотеку ? ЕЕ пишет счас два человека, я - русскую часть и Льюис - все остальное, у меня есть основная работа, за это так же как и за хостинг и за компьютерное время (а для того чтобы натренировать корпус, вычистить мусор и сделать чистый\незашумленный словарь) нужной ой как много времени. Я может чего не понимаю но при таких вложениях (разработчиков) вы предлаете все взять и просто так отдать ? Тем более цена у нее не такая уж заоблачная ... сопоставимо с Коваленко (keva.ru)

zstan
() автор топика
Ответ на: GPL vs LGPL от zstan

как то криво написал :) имелось ввиду, что при существующей разработке и вложениях другая лицензия скорее всего не подходит, иначе это получится еще один опен сорс продукт написанный «бухим программистом под ЛСД» которая хз как работает.

zstan
() автор топика
Ответ на: комментарий от malbolge

Даже в соседних Украине и Беларуси «все это» практически есть.

Далее, полугямши по NLPub я вижу просто-таки вопиющую однобокость ресурсика.Во-первых среди методов я не нашел ни одного вероятностного (а такие есть). Во-вторых, ты будешь поражен, но русские КТ есть не только в России. Посмотри, что есть в Швеции, например. Еще, кроме КТ есть и т.н. КВТ (скорее всего, все закрытые). Но они есть (и небольшая проблема разработать свои, благо, КВТ по своей природе создаются автоматически).

Могу устроить акцию бесконечной щедрости и совершенно бесплатно научить редактировать ресурсы на базе MediaWiki. Пожалуйста, делиться знаниями — великая вещь.

eveel ★★
()
Ответ на: GPL vs LGPL от zstan

Я может чего не понимаю но при таких вложениях (разработчиков) вы предлаете все взять и просто так отдать ? Тем более цена у нее не такая уж заоблачная ... сопоставимо с Коваленко (keva.ru)

И её правда покупают? Неужели наш рынок готов к этому?

eveel ★★
()
Ответ на: комментарий от eveel

да покупают, если у тебя контора нищебродская ... то это вовсе не значит что она у всех такая :)

zstan
() автор топика
Ответ на: комментарий от zstan

да покупают, если у тебя контора нищебродская ... то это вовсе не значит что она у всех такая :)

Между прочим, я очень хотел задонатить в симпатичный мне проект FreeLing. Поддержать его и поблагодарить разработчиков за нелёгкий труд.

Увы, как показывает практика, любители GPL привыкли срать под себя и на других людей.

eveel ★★
()
Ответ на: комментарий от eveel

можешь подробнее про «срать под себя» я могу повлиять на ситуацию если пойму ... но пока я тебя не понимаю если честно :)

zstan
() автор топика
Ответ на: комментарий от zstan

можешь подробнее про «срать под себя» я могу повлиять на ситуацию если пойму ... но пока я тебя не понимаю если честно :)

Например, я бы не стал называть нищебродами тех, кто интересуется спросом на продукт :)

eveel ★★
()
Ответ на: комментарий от eveel

:) я хотел сказать, что если контора реально хочет использовать чужие технологии и получить хорошо отлаженный код с юнит тестами\ тестами производительности то есть смысл заложить в бюджет не такую уж дорогую покупку системы, чем писать с нуля. Обижать тебя не хотел.

zstan
() автор топика
Ответ на: комментарий от zstan

я хотел сказать, что если контора реально хочет использовать чужие технологии и получить хорошо отлаженный код с юнит тестами\ тестами производительности то есть смысл заложить в бюджет не такую уж дорогую покупку системы, чем писать с нуля. Обижать тебя не хотел.

Проекту стоит написать на сайте подробнее об условиях лицензирования. Например, мне всегда казалось, что FreeLing — исключительно некоммерческий GPL-продукт. Есть ли у проекта более-менее чёткая ценовая политика, или каждый раз цена устанавливается договорным путём?

Кстати, предлагаю проверить сведения о библиотеке на NLPub. Я там ничего не забыл указать? Также приглашаю написать отдельную статью с примерами и условиями использования библиотеки. Могу оказать любую помощь, например, по вычитке материала :)

eveel ★★
()
Ответ на: комментарий от zstan

Согласен. Более внятная ценовая политика была бы кстати.

Есть идея использовать эту библиотеку в одном из проектов. Хоть GPL в данном случае и не мешает, но помочь FreeLing можно было бы.

Korwin ★★★
()
Ответ на: комментарий от Korwin

я передал все ваши пожелания главному разработчику, возможно почешет лысину и что то поменяется, в частности я попросил повнятнее написать о ценовой политике.

zstan
() автор топика
Ответ на: комментарий от eveel

да, статью написать можно, я постараюсь найти время на выходных, правда есть другое мнение - «не повторяться» т.е. возможно лучше написать русскую документацию на сайте, чем написать вам и поддерживать ее в удобоворимом состоянии .. иначе пользы от такой статьи ... никакой.

zstan
() автор топика
Ответ на: комментарий от zstan

да, статью написать можно, я постараюсь найти время на выходных, правда есть другое мнение - «не повторяться» т.е. возможно лучше написать русскую документацию на сайте, чем написать вам и поддерживать ее в удобоворимом состоянии .. иначе пользы от такой статьи ... никакой.

Согласен. С другой стороны, на сайте можно иметь русскую документацию, а здесь — краткое описание (оно тут всё равно будет) и типовые паттерны использования. Бóльшую ценность имеют именно они. Например, как про TreeTagger.

eveel ★★
()
Последнее исправление: eveel (всего исправлений: 1)
Ответ на: комментарий от eveel

вот что ответил главный разработчик : Well, there is not a fixed price, since companies usually buy different components, not complete freeling. It also depends if all components are owned by UPC, or they want some component that is not copyrighted by UPC.

In the «license» section of the web, says: GPL forbids distributing proprietary software that links to FreeLing. If you are interested in doing so, we can provide a dual license that suits your needs. You can contact us to find out the conditions.

I fixed the «contact us» link that was broken... :-} If anyone is interested, they can just email me.

zstan
() автор топика
Ответ на: комментарий от zstan

Спасибо за уточнение, я сегодня-завтра накидаю заготовку статьи. Специализированная вики будет более лучше одетым источником, чем топик на ЛОР :)

eveel ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.