Парсер страниц с нечеткими критериями

Регулярные выражения?

HTML парсишь в DOM дерево HTML парсером как обычно, дальше очевидно ищешь нужные элементы по каким-то критериям, затем анализируешь их отношения в совокупности.

Понятия не имею что у тебя за «состав продуктов», но, например, если бы нужно было выпарсить все характеристики мониторов, я бы искал элементы с текстом «Диагональ», «Тип матрицы», «Способ подключения», если бы находил, скажем, 2 и больше разных на одной странице, брал бы их общего родителя, а у него все такие же элементы которыми ему приходятся найденные - получал бы все записи таблицы, причём независимо от того как она свёрстана, на <table>, на <li> или на <div>'ах. Ну это если упрощённо.

Ну а дальше пачка правил которые уже вырабатываются на реальных данных. Во-первых, учёт того что одна и та же характеристика может называться по разному (->словарь), учёт флуктуаций верстки (скажем, для чётных строк таблицы конечные элементы могут иметь другую вложенность, потому что цвет фона там догадались прописывать вложенным div'ом) и ложных срабатываний (скажем, если на одной странице окажется сразу несколько таблиц).

Несвежая идея.

не знаю блин, как это сформулировать

Data Mining

Как предложно выше, парсишь страницу НОРМАЛЬНЫМ парсером, а не блть по-пионерски, регулярками, найденные тексты - по списку-базе правил (ака «критериев») перемалываешь. На выходе имеешь то, что имеешь. Сами правила - лушше всего на чем-нить скриптовом оформить типа lua/js/python/etc/самопал - в зависимости от того, какой движок сумеешь нормально прицепить и амбиций. Надо понимать что от движка потребуются как нечеткое сравнение строк, так и поддержка регулярок тех же (тут им самое место), условий, и всего такого, характерного для ЯПОН.

А может знаешь, есть какие-то примеры?

И почему правила именно на скриптовом чем-то надо делать?

Мы, конечно, знали, что ты дебил, но чтобы настолько...

Да просто берешь библиотеку для питона или руби и пишешь три строчки. Вот и все. Какие-то дауны тут собрались.

Пруф или балабол

что пруф? Хтмл парсер найти не можешь?

я думаю, тут нужен полнотекстовый поиск, игнорирующий тэги.

Главным образом, чтобы иметь возможность их «на лету» менять (add-update-delete) если/когда понадобится. Ну и существует мнение, что скриптовые языки проще изучить неспециалистам.

Не, ну если считаешь, что перекомпилять для ввода очередного правила - Ъ, то флаг в руки: никто тебе не запретит, и слова поперек не скажет.

Регулярные выражения?

Кто-нибудь, убейте уже ЭТО!!!

http://nlp.stanford.edu/projects/shallow-parsing.shtml

плюсую регулярные выражения.

Анон, уже поздно, оно множится твоими сотоварищами)

Тебе Named Entity Extraction / binary relation extraction нужен? Кури в сторону apache stanbol. Из своего опыта могу сказать следующее:

• Как фреймворк станбул замечателен - бойлерплейта писать почти не нужно, берешь, имплементируешь Engine, и пишешь.
• По поводу бакенда для Engine - по дефолту в станбуле юзается OpenNLP, который использует Maximum Entropy, который, как алгоритм, полное говно. Поэтому если тебе для серьезной работы эту нужно, а не для поиграться, то бери станбул, но вместо встроенного OpenNLP интегрируй туда Stanford NER (который CRF юзает) или вообще MITIE, который SVM юзает.

Ах да, если тебе русский язык нужно парсить, то тебе еще надо модели (ME, или CRF, али SVM) для него обучить. Для этого тебе нужен корпус - промаркированный аннотациями example-текст. При этом текста для обучения модели должно быть много - для Named Entity Extraction что-то около 50000 предложений должно быть, иначе говно модель получится.

Короче, я тебе такую цепочку предлагаю:

• Apache nutch «качаешь» сайты.
• Аутпут nutch скармливаешь станбулу (в котором ты настроил/запрограммировал цепочку для русского языка, если он тебе нужен)
• Аутпут станбула (RDF) скармливаешь своему приложению, которому данные нужны.

Ты идиот? Когда это регулярки стали пригодны для парсинга чего-то кроме type-3 грамматик?

Умри уже, свинья.

Как за*ло это вечное нытье неосиляторов. Не умеют регулярки, не представляют, что такое грамматика, вообще, но знают что ргулярки не пригодны для чего то там.

Умри уже наконец, тупая свинья. Твои убогие регулярные выражения тут неуместны.

Где-то лежат «записки сумасшедшего» по теме, чем-то подобным занимался, пока ноут не сдох. Правда, я там намудрил «не для средних умов», что когда ноут починю и продолжу, пару месяцев придётся вспоминать =)

Найду - набросаю в переводе с птичьего на русский =)

4427 down vote accepted

You can't parse [X]HTML with regex. Because HTML can't be parsed by regex. Regex is not a tool that can be used to correctly parse HTML. As I have answered in HTML-and-regex questions here so many times before, the use of regex will not allow you to consume HTML. Regular expressions are a tool that is insufficiently sophisticated to understand the constructs employed by HTML. HTML is not a regular language and hence cannot be parsed by regular expressions. Regex queries are not equipped to break down HTML into its meaningful parts. so many times but it is not getting to me. Even enhanced irregular regular expressions as used by Perl are not up to the task of parsing HTML. You will never make me crack. HTML is a language of sufficient complexity that it cannot be parsed by regular expressions. Even Jon Skeet cannot parse HTML using regular expressions. Every time you attempt to parse HTML with regular expressions, the unholy child weeps the blood of virgins, and Russian hackers pwn your webapp. Parsing HTML with regex summons tainted souls into the realm of the living. HTML and regex go together like love, marriage, and ritual infanticide. The <center> cannot hold it is too late. The force of regex and HTML together in the same conceptual space will destroy your mind like so much watery putty. If you parse HTML with regex you are giving in to Them and their blasphemous ways which doom us all to inhuman toil for the One whose Name cannot be expressed in the Basic Multilingual Plane, he comes. HTML-plus-regexp will liquify the n​erves of the sentient whilst you observe, your psyche withering in the onslaught of horror. Rege̿̔̉x-based HTML parsers are the cancer that is killing StackOverflow it is too late it is too late we cannot be saved the trangession of a chi͡ld ensures regex will consume all living tissue (except for HTML which it cannot, as previously prophesied) dear lord help us how can anyone survive this scourge using regex to parse HTML has doomed humanity to an eternity of dread torture and security holes using regex as a tool to process HTML establishes a breach between this world and the dread realm of c͒ͪo͛ͫrrupt entities (like SGML entities, but more corrupt) a mere glimpse of the world of reg​ex parsers for HTML will ins​tantly transport a programmer's consciousness into a world of ceaseless screaming, he comes, the pestilent slithy regex-infection wil​l devour your HT​ML parser, application and existence for all time like Visual Basic only worse he comes he comes do not fi​ght he com̡e̶s, ̕h̵i​s un̨ho͞ly radiańcé destro҉ying all enli̍̈́̂̈́ghtenment, HTML tags lea͠ki̧n͘g fr̶ǫm ̡yo​͟ur eye͢s̸ ̛l̕ik͏e liq​uid pain, the song of re̸gular exp​ression parsing will exti​nguish the voices of mor​tal man from the sp​here I can see it can you see ̲͚̖͔̙î̩́t̲͎̩̱͔́̋̀ it is beautiful t​he final snuffing of the lie​s of Man ALL IS LOŚ͖̩͇̗̪̏̈́T ALL I​S LOST the pon̷y he comes he c̶̮omes he comes the ich​or permeates all MY FACE MY FACE ᵒh god no NO NOO̼O​O NΘ stop the an​*̶͑̾̾​̅ͫ͏̙̤g͇̫͛͆̾ͫ̑͆l͖͉̗̩̳̟̍ͫͥͨe̠̅s ͎a̧͈͖r̽̾̈́͒͑e n​ot rè̑ͧ̌aͨl̘̝̙̃ͤ͂̾̆ ZA̡͊͠͝LGΌ ISͮ̂҉̯͈͕̹̘̱ TO͇̹̺ͅƝ̴ȳ̳ TH̘Ë͖́̉ ͠P̯͍̭O̚​N̐Y̡ H̸̡̪̯ͨ͊̽̅̾̎Ȩ̬̩̾͛ͪ̈́̀́͘ ̶̧̨̱̹̭̯ͧ̾ͬC̷̙̲̝͖ͭ̏ͥͮ͟Oͮ͏̮̪̝͍M̲̖͊̒ͪͩͬ̚̚͜Ȇ̴̟̟͙̞ͩ͌͝S̨̥̫͎̭ͯ̿̔̀ͅ

Спасибо за полезный совет)