выбор инструментов для парсинга

генерируемый javascript

phantomjs и подобные?

perl

наверное да

например:

http://www.sciencedirect.com/science/article/pii/S0166531610001264

и мне интересно к какой школе относится данная статья:

Show more:

Department of Computing, Imperial College London, 180 Queen’s Gate, London SW7 2AZ, UK

perl + CPAN

а почему не python или java?

java
парсинг

srsly?

python

ну.. возможно

Парсинг PDF? O_o

что не так то?))

что не так то?))

Потому что годных библиотек для парсинга PDF, кроме poppler, и нет нифига.

srsly и «ну возможно» - веские аргументы конечно ))

Скорее всего ТС как-то по своему понимает, что такое «парсинг». Так что antlr ему советовать бесполезно.

ну я понимаю что парсинг - это уже из готовых данных

наверное неправильно задал тему: мне нужно получить - легко и быстро - контент, который потом я уже сам разберусь как классифицировать.

простой пример выше с http://www.sciencedirect.com

или представим, что мне нужно тоже самое, только там ссылка на pdf а не javascript.

Про PDF не скажу, а иногда особо хитро-генерируемый контент удобнее всего парсить из дамп-файла консольного браузера. А какой язык - это на любителя.

Можно попробовать разобраться откуда javascript берет данные. Однажды нужно было соскрапить таблицу с данными которая наполнялась джаваскриптом, оказалась что там джаваскрипт делает простые запросы на аддресс типа http://api.com/?offset=100000&length=50, естественно параметры не проверялись на адекватность и запрос http://api.com/?offset=0&length=800000 выдал мне здоровый удобночитаемый json-файл.

простой пример выше с http://www.sciencedirect.com

или представим, что мне нужно тоже самое, только там ссылка на >pdf а не javascript.

Там и так ссылка на pdf.

curl "http://www.sciencedirect.com/science/book/9780080402628" | grep 'main.pdf'

Бери язык который знаешь хорошо и любую вменяемую библиотеку для парсинга html.

Ну я и говорю, что ты не понимаешь, что такое «парсинг». Не используй это слово, только путаешь всех.

Qt/C++ - идеальный вариант, но только если ты его уже знаешь. Остальные языки/фреймворки/парсеры идут лесом. Вся фишка в том, что методы почти любого Qt класса можно вызывать из JS без всяких биндов. И решение твоего квеста простое - пишешь свой JS скрипт, который будет выбирать данные со страницы и передавать их назад. Затем с помощью Qt добавляешь его к своей странице.

А зачем тут Qt с крестами?

контент генерируемый javascript

Разобрать что делает javascript. В итоге думаю всё сведётся к получению данных из api.
ЯП любой.

Мсье знает толк в извращениях.

java
парсинг

srsly?

y not?

ANTLR, https://github.com/renggli/PetitParserJava

ну почему бесполезно, забей в antlr грамматику PDF (лопата), а потом кошерным обраом будешь из аста доставать контент :)

1) Вам, вероятно, нужен не parsing, а scraping.

2) Для скрейпинга веб-страниц подойдет phantomjs и/или selenium web driver.

А я всегда подозревал кутешников в терминальной упоротости.

скрейпинга

а русского слова нет?

скрейпинга

а русского слова нет?

scraping {имя существительное} - соскабливание [соскабливание]
to scrape {глаг.} - скрести [скрести́] {глаг.} отскабливать {глаг.} обдирать [обдира́ть] {глаг.}

это такая поеботина, которая переводит отрендеренное содержимое динамического представления одного формата в другие форматы (например, в TXT, CSV или XML)? или тебя интересует сам ебаторий по распознаванию и классификации элементов динамического представления конкретного формата данных?

P.S. интересно, а в других языках существует такая развитая система местоимений с дополнительной информационной нагрузкой о трудозатратах или эмоциональной окраске, например, включая этакие «местоимения»-действия-шаблонизаторы?

интересно, а в других языках существует такая развитая система местоимений с дополнительной информационной нагрузкой о трудозатратах или эмоциональной окраске, например, включая этакие «местоимения»-действия-шаблонизаторы?

во французском точно есть, а в других языках?

MuPDF, и она гораздо более годная чем poppler. Последний очень любит задыхаться на некоторых файлах