История изменений
Исправление zinfandel, (текущая версия) :
Можно попробовать разобраться откуда javascript берет данные. Однажды нужно было соскрапить таблицу с данными которая наполнялась джаваскриптом, оказалась что там джаваскрипт делает простые запросы на аддресс типа http://api.com/?offset=100000&length=50, естественно параметры не проверялись на адекватность и запрос http://api.com/?offset=0&length=800000 выдал мне здоровый удобночитаемый json-файл.
Исходная версия zinfandel, :
Можно попробовать разобраться откуда javascript берет данные. Однажды нужно было соскрапить таблицу с данными которая наполнялась джаваскриптом, оказалась что там джаваскрипт делает простые запросы на аддресс типа http://api.com?offset=100000&length=50, естественно параметры не проверялись на адекватность и запрос http://api.com?offset=0&length=800000 выдал мне здоровый удобночитаемый json-файл.