LINUX.ORG.RU
Форум — Talks  

[wiki]dump

 


0

1

Давно задумал с дублировать всю wikipedia на локальный диск, да всё как то места не хватало. Сейчас решился, но смотрю и чего то не пойму:
http://download.wikimedia.org/enwiki/ - типа английская версия.
http://download.wikimedia.org/ruwiki/ - типа русская версия.
Захожу в английскую и вижу только за 2010-01-30 есть полный дамп, остальные или не закончены или частичный дамп. А русской версии чуть получше, за 2010-10-23.
Типа не получится свежего?

и вопрос вдогонку, есть ли какие то средства делать дубль сайтов wiki ( хотя бы mediawiki) если это не предусмотрено разработчиком сайта, ну кроме обычных качалок?

★★★★★
← [жж][не нужен] Какой-то странный этот ваш tumblr
#rm -Rf / →

нючищюшепя

и вопрос вдогонку, есть ли какие то средства делать дубль сайтов wiki ( хотя бы mediawiki) если это не предусмотрено разработчиком сайта, ну кроме обычных качалок?

Есть, пароль от ssh подбираешь, а дальше cp && tar && bzip2

ostin ★★★★★
()

А вам нужен совершенно полный дамп?

Это ведь вообще все страницы, включая обсуждения, страницы пользователей и так далее, со всеми правками.

Но если нужен, можно поступить двумя способами:

1.Подождать февраля, когда закончится дамп 2010.10.11. Молиться, чтобы он не упал.
2.Скачать дамп от 2010.01.30, логи изменений из последнего дампа, текущее состояние из всех дампов посередине, распарсить лог, и все, чего не хватает между скачанными версиями, докачать через API.

proud_anon ★★★★★
()

>если это не предусмотрено разработчиком сайта

Даже API заблокировано?

Ну, если ему очень надо, он ведь просто по статистике трафика может отключить в какой-то момент.

proud_anon ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← [жж][не нужен] Какой-то странный этот ваш tumblr
Talks
#rm -Rf / →