[java] html парсер

Использовал регэкспы. В принципе их достаточно, проблемы только в случае изменения страниц. Но если страница изменится, то и парсинг html особо не поможет избежать проблем.

jtidy

http://java-source.net/open-source/html-parsers

XSLT может подойдет.

Tagsoup есть такая весчь. Сейчас сам юзаю. Парсит невалидный html.

Я правильно понимаю что jtidy, что tagsoup просто приводят невалидны html, к валидному виду, а обрабатывать я их уже должен сам, например с помощью javax.xml.parsers?

Я правильно понимаю что jtidy, что tagsoup просто приводят невалидны html, к валидному виду, а обрабатывать я их уже должен сам, например с помощью ja

vax.xml.parsers?

Не обязательно, jtidy может отдать документ в DOM.

Типа такого:

Tidy tidy = new Tidy();
tidy.setQuiet(true);
tidy.setShowWrnings(false);
tidy.setCharEncoding(Configuration.UTF8);
Document doc = tidy.parseDOM(get.getResponseBodyAsStream(), null);

У меня с tagsoup никогда проблем не было. Использую его в Scala. Документы после разбора получаю в scala-вском XML с всеми прилагающимися плюшками. Это очень удобно.

Спасибо, с тем как получать xml-документ разобрался.
А вот с самим парсингом не очень, точнее все вроде понятно но не очень красиво.
Для работы с xml выбрал XPath т.к. он вроде более удобный для работы.
Вот например я хочу загрузить файл с диска и разобрать его.

        DocumentBuilderFactory domFactory = DocumentBuilderFactory.newInstance();
        domFactory.setNamespaceAware(true); 
        DocumentBuilder builder = domFactory.newDocumentBuilder();
        Document doc = builder.parse(setting);
        XPathFactory factory = XPathFactory.newInstance();
        XPath xpath = factory.newXPath();
        XPathExpression expr = xpath.compile("//server | //login | //password");
        Object result = expr.evaluate(doc, XPathConstants.NODESET);
        NodeList nodes = (NodeList) result;

       XPathExpression expr = xpath.compile("//server | //login | //password");
        Object result = expr.evaluate(doc, XPathConstants.NODESET);
        NodeList nodes = (NodeList) result;

XmlParser xmlParser = new XmlParser(new File("myFile.xml"));
ArrayList<String> server = xmlParser.findTags("//server");
ArrayList<String> login = xmlParser.findTags("//login");
и.т.д

Че то протупил, написал свой вспомогательный класс.
Но различные решения все равно интересны.

http://nekohtml.sourceforge.net/
http://htmlcleaner.sourceforge.net/

аналогично.

Самое тупое и простое решение - прогонять все страницы через tidy и парсить как валидный xml.

У, как все запущено... Рано тебе ботов писать.

Да и вообще имею сказать, что Scala для подобных задач подходит идеально. Dispatch + tagsoup и вот уже у нас готов бот в несколько строк кода.

Извиняюсь, не удержался от пеара.

Используй htmlunit. Сможешь даже js эмулировать.