LINUX.ORG.RU

Набор библиотек для обработки естественного языка

 ,


4

1

Привет. Хочу поделится с сообществом двумя библиотеками, которые я разрабатываю в свободное время.

Yargy - GLR-парсер, аналог Томита-парсера от Яндекса, только на питоне, без протобафа и всего такого. При разборе используются все варианты слов (омонимия не снимается) выданные pymorphy2. В качестве примера можно посмотреть грамматику, которая извлекает название улицы и номер дома по заданным правилам (в данном случае: слово улица (во всех формах), набор слов в винительном падеже (кого/чего?), и число).

В дополнение к парсеру, существует набор частоиспользуемых грамматик для извлечения именованных сущностей. В списке извлекаемых сущностей: физ. лица (ФИО, в разных вариантах), юр. лица (ПАО «Газпром»), денежные единицы (семьдесят пять тысяч рублей) и несколько других.

Можно поиграться с ним онлайн, без смс.

Всё это распространяется бесплатно и без каких-либо ограничений, под лицензией MIT.

Круто, понравилось, возьму на заметку, глядишь где пригодится.

gnunixon ★★★ ()

Распознало только Иван:

Я позвонил в Газпром и поговорил с Иваном Полено. Он подарил мне тонну баксов и я уехал оттуда через пару часов. Когда дым рассеялся я выпил банку кока-колы и уехал в чернобыльский закат.

someoneelsenotme ()
Ответ на: комментарий от someoneelsenotme

Так и должно быть, в общем-то. Правила, в основном, для текстов из СМИ/внешнего документооборота, поэтому с сущностями такого рода дела обстоят не очень. А у слова полено вообще нет варианта разбора как фамилии.

vertinsky ()

Отлично, в закладки!

IPR ★★★★★ ()

Хочу поделится с сообществом двумя библиотеками

Подумал, что местный школотрон-говнокодер опять что-то зарелизил, потом посмотрел на ник и успокоился.

Radjah ★★★★★ ()
Ответ на: комментарий от someoneelsenotme

Нет, суть в том, что парсер разметил Мандела Пятьдесят вместо Нельсон Мандела, как-раз потому, что используется несловарный разбор имени и фамилии (ну, как ты и сказал, слово с большой буквы после имени).

vertinsky ()
Ответ на: комментарий от vertinsky

Там вообще не должно быть Нельсон Мандела в том предложении. Это некорректный текст.

someoneelsenotme ()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.