Mojo::DOM - делюсь граблями и ненавижу W3C.

Парсинг веба xml-парсером — это дисциплина специальной олимпиады.

Я использовал инструмент «Mojo::DOM - Minimalistic HTML/XML DOM parser with CSS selectors», который по-умолчанию рассматривает текст как HTML, а не XML. А ты чё-то сказанул и убежал.

Ох, инструменты можно использовать и кривыми руками. Код покажешь?

Ничё не понял. Это про то, что в HTML все «&» должны быть представлены, как

&

$ua = Mojo::UserAgent->new;
$ua->transactor->name('Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; ru-RU)');

my $res1 = $ua->get($url)->res;
$dom = Mojo::DOM->new($res1->text);
@my_urls = $dom->find('div.class1 div.class2 ul li:nth-child(2)')->at('a')->attr('href')->each;

Собственно, массив @my_urls содержит сильно повреждённые данные в районе значков «&», если я в выводе ua перед передачей в парсер эскапю все «&», всё отлично.

Нет, я про разбор содержимого параметра href в теге a, где & в принципе не эскапится, с помощью популярного парсера, который ломается на валидном с точки зрения здравого смысла тексте.

А ссылку можно на этот валидный с точки здравого смысла текст?

ну так багрепорть, сделай полезное дело

Да ЛЮБАЯ ссылка с передачей параметров!
Ты где GET заэскапленный видел???

Да в интернетах пишут, что это скорее фича, чем баг. И я тут решил предупредить.

Так и не понял где проблема. Вот для примера берём и парсим эту страницу

use strict;
use Mojo::UserAgent;

my $ua = Mojo::UserAgent->new();
$ua->get('http://www.linux.org.ru/forum/web-development/10828728')->res->dom->find('div.reply a[itemprop="replyToUrl"]')->each(sub {
	print $_->attr('href'), "\n";
});

На выходе

add_comment.jsp?topic=10828728&replyto=10828736
add_comment.jsp?topic=10828728&replyto=10828756
add_comment.jsp?topic=10828728&replyto=10828767
add_comment.jsp?topic=10828728&replyto=10828785
add_comment.jsp?topic=10828728&replyto=10828787
add_comment.jsp?topic=10828728&replyto=10828792
add_comment.jsp?topic=10828728&replyto=10828794
add_comment.jsp?topic=10828728&replyto=10828795
add_comment.jsp?topic=10828728&replyto=10828797
add_comment.jsp?topic=10828728&replyto=10828799

Всё предельно корректно

У меня не работает :(
Видимо, из-за того, что windows. Короче, как закончу, буду искать баг.

Да в интернетах пишут, что это скорее фича, чем баг.

тогда форкай

И я тут решил предупредить.

ок. спасибо

1. Как именно не работает?
2. Обнови Mojolicious

Windows тут вообще каким боком может быть виноват?

Вырезает пару символов слева от &, справа от &, сам & и вместо этого ставит какой-то неизвестный значок. Видимо, это что-то с кодировками.

А если сделать явно

$dom = Mojo::DOM->new->xml(0)->parse($res1->text);

?

Работает, но мне нужен контроль за массивами. Пока заэскейпил, потом найду баг.

контроль за массивами

Чем html-ный dom отличается от xml-ного?

Вообще в принципе, отсутствием некоторой «магии» при парсинге (результирующий DOM может отличаться), сохранением регистра, неймспейсами, правда чем же это всё мешает не очень понятно.

Контроль за тем, чтобы то, что я потом заливаю в постгрес, не заполняло память.

А нельзя ли конкретный пример? Как то не испытывал трудности с парсингом урлов с «&» ранее. Например:

use Mojo::DOM;
my $dom = Mojo::DOM->new('<div><a href="http://test.ru/test&test">Tessstt</div>');
say $dom->at('a')->{href};

http://test.ru/test&test

И зачем, кстати, повторно парсить $res1? ведь он уже несет в себе разобраный $res1->dom

чтобы то, что я потом заливаю в постгрес, не заполняло память.

У тебя два одинаковых (почти) дома на выходе, просто они получены разными парсерами, причем тут память. Чтобы парсить инкрементально, нужно соответствующие пассы руками сделать, заюзать sax или похожую на питонячий finditer обертку найти.

href в теге a, где & в принципе не эскапится

С чего бы?

По ходу, strawberry perl как-то таки глючит, знак «&» в DOM разносит всё.