Домашний web-archive: есть ли софт?

несложно запилить самому такой через cron + wget/curl + git/hg

Интересная идея.

есть готовые решения?

Нет. Разработки, работающие с WARC в стадии experiment. И большинство на python-е.

Так что «велосипед»: cron + wget/curl + git/hg - не очень то и «велосипед», а вполне себе адекватный «реал».

вполне себе адекватный «реал».

Тут надо понимать, что

1. VCS будет показывать diff в сыром формате. А хотелось бы, чтобы в отрендеренной html показывался diff (подсвечивались измененные части, например).

2. VCS log такой себе таймлайн - не очень удобный (дело привычки, я согласен).

Я надеялся, что готовый софт решает эти проблемы (и многие другие), но раз нет, то придется делать самому, видимо.

А может какой-нибудь PhantomJS для этого юзать?
Это позволит более полноценно сохранять современные страницы.
Хранить снимок страницы после работы скрипта и исходные данные.
Только надо как-то хукнуть загрузку каждого элемента и забрать состояние после обработки

httrack?

httrack уже назвали. Только надо иметь в виду, что сайты с ним борются. Например, lj просто так фиг скачаешь

И плюс это хомячий синдром, утащить всё в надежде что когда-нибудь пригодится. Плюшкин из мёртвых душ в чистом виде

Для доступа в нормальный интернет есть известные технологии. Против отмирания сайтов есть собственно archive.org

А если хочется сохранить конкретную страницу, посмотри в сторону wallabag

Наверное глупость скажу, но я бы подключил по fuse на постоянной основе и написал бы скрипт в 3 строки для systemd, для синхронизации хроном.

https://github.com/iipc/awesome-web-archiving

с другой стороны это можеть быть полезно если собираешься оказаться на какое-то время где-то где нет интернета(в море/горах и тп)

известные технологии

Кабели через границу? Или почтовые голуби? А если ближайшая граница за пару тыщ километров и добираться до неё лесами-буераками?

Против отмирания сайтов есть собственно archive.org

Угу, не насобирают однажды донатов — и привет, или с датацентрами какая фигня случится. Вон давеча arhivach.org загнулся, хотя ничто не предвещало. Я уж молчу о том, что оно сохраняет только публичный контент, то есть всякие форумы, где для скачки вложений требуется регистрация — превращаются в тыкву.

Кабели через границу? Или почтовые голуби? А если ближайшая граница за пару тыщ километров и добираться до неё лесами-буераками?

Первое правило бойцовского клуба - никому не рассказывать о бойцовском клубе

Второе правило бойцовского клуба - никому не рассказывать о бойцовском клубе

За фотку с абибасом и гладильной доской респект, но откуда я знаю, что ты не из роскомпозора

Угу, не насобирают однажды донатов — и привет, или с датацентрами какая фигня случится

Вот только решаться это должно зеркалированием самого архив орк. Если удастся договориться с ними. Или запуском параллельного проекта. А не 15 анонимусами, каждый из которых тихо тащит на домашний комп сайты, которые никогда не прочитает и уж тем более не собирается предоставлять другим доступ своему архиву

ИМХО

Я копирую себе в wallabag те статьи, которые меня заинтересовали. Чтобы не пропали. Но выкачивать автоматом что попало пока винт не забьёшь - это имхо бред

с другой стороны это можеть быть полезно если собираешься оказаться на какое-то время где-то где нет интернета(в море/горах и тп)

«В рюкзаке моём сало и спички
И Тургенева восемь томов»

:) Тут опять же нужно знать что ты это будешь читать. Да, httrack в т.ч. для этого и предназначен. И ИМХО лучше кинуть на телефон несколько книг в fb2, чем оффлайн зеркало лора

Если речь о контененте, то rss решит все твои проблемы. Если где-то нету rss, то предложи им добавить (на двух нужных мне источниках, где не было rss он появился) через обратную связь, например. В Kontakt'е есть замечательный обработчик rss с кучей настроек.

Иногда у меня очень долго нет инета, частично забираю информацию таким вот образом.

Ты лучше скажи, как из ВК получить RSS если я там не зарегистрирован? Только selfhosted, только хардкор.

Глянь на это.

http://crawler.archive.org/index.html

В Нидерландах этим даже госструктуры пользуются.

я сильно сомневаюсь, что зеркало расширенного дерева сайтов которые я посещаю, будет больше 2тб, и если я на лодке посреди океана/на побережье нигерии, в жопе мира наслаждаюсь природой, удобней иметь и зеркало и библиотеку всех книг(ну или хотя бы весь список на чтение)

Про «цифру» хомячий синдром не очень подходит - интернеты долго не живут, очень часто что-то теряется навсегда (ну остается, конечно, в виде дорогущих изданий в коробочках, но это не наш метод).

никому не рассказывать о бойцовском клубе

Бесполезно, накроют всех. А в единичном порядке это ничем принципиально не отличается от интернетов только для госилитки.

откуда я знаю, что ты не из роскомпозора

А с чего ты вообще взял, что я не оттуда?

не собирается предоставлять другим доступ своему архиву

Ну не факт, взять хоть ту же ретрошару. На торрент-трекерах тоже можно встретить раздачи с архивами сайтов.

Или запуском параллельного проекта

Такие масштабные проекты разве что какой-то богатенький волонтёр может поднять. Если донатить на несколько проектов сразу — получается распыление усилий.

Жирноконтент в RSS, бухехе, теллмимоар. Он наоборот, рассчитан на частодёргаемость и потому должен быть легковесен. Вот ссылки на контент в RSS, допустим, другое дело, но на фига, если там только последние N записей и проще скраулить весь сайт?

Блэт, вот стоило неделю не заходить - привет белый пушистый зверь.

А у меня там полезных тредов было...

Есть такая интересная вещь, как AMP. Насколько я понимаю, именно эти версии страниц выдают мессенджеры встроенным браузером

Чо AMP-то? Это просто такой велосипедный аналог SSR и OBML от гугля. Какое он к RSS отношение имеет?

у меня
там

/0

Ну да, ПОНИмаю.

А чего он здох-то? Есть инфа?

Насколько я знаю, это формат, удобный для разбора роботами. Т.е. если сайт его поддерживает, проще вытащить саму информацию, без рекламы и навигации

Не в курсе.

Относительно, угу. Опять визги неосиляторов парсинга HTML, уже который год зачем-то реквестирующих LOR API.

Относительно, угу. Опять визги неосиляторов парсинга HTML, уже который год зачем-то реквестирующих LOR API

Ну вообщет парсинг html занятие неблагодарное. И считать его заменой api - это колхозный мазохизм. ИМХО

С таким пуризмом чуть менее чем весь девелопмент — колхозный мазохизм.

// Чуть не написал «консольный», Фрейд, поди, перевернулся.

Писать скрипт, который через месяц может перестать работать по внешним причинам - да, это мазохизм

Будто с API он не перестанет работать. А ещё бывает, что ни API нету, ни HTML, только какое-то обфусцированное дерьмецо. Сравнил, блин.