RSS от x (ex.twitter)

Твиттер сейчас вообще никак нельзя читать без аутентификации. И API вроде платный, но это не точно.

А способ, указанный в арчвики в статье про RSS перестал работать?

newsboat

Чем он лучше Newsraft?

В RSS Bridge есть, не знаю, работает или нет.

понятия не имею, вроде как рекомендуют

https://docs.rsshub.app/routes/social-media#x-twitter

Это у меня работало, но сейчас сломалось. Вероятно починят, проект активный.

Пользуясь случаем, хочу попросить советов по RSS.

LoR, помоги пожалуйста сделать систему сбора новостей на локалхосте.

Когдато, в Claws Mail загружал фиды, читал от случая к случаю при наличии времени на чтение, и главное - при возникновении вопроса мог воспользоваться встроенным быстрым и гибким поиском по заинтересовавшей теме в объеме до 100тыс. сообщений. Прям удобно ОЧЕНЬ было закрывать вопросы старыми данными под рукой.
Теперь почтовый клиент каждый день не запускается, но хочется иметь возможность локального поиска в старых новостях. Поэтому вопросы…

1. Чем в автоматическом режиме собирать локально фиды?
2. В каком формате эффективнее/удобнее для целей поиска складывать локально?
3. Чем еще, кроме Claws Mail, читать и искать?

В каком формате эффективнее/удобнее для целей поиска складывать локально?

В СУБД или Maildir.

Чем еще, кроме Claws Mail, читать и искать?

Средствами СУБД или каким-нибудь индексатором почты, например notmuch.

https://manitou-mail.org

– email клиент (MUA) с хранением в PostgreSQL – есть webkit просмотрщик html – см. скриншоты галерее – поиск, SQL запросы – реализованы через SQL и работают быстро – опубликованы схема БД и структура таблиц db-diagram.png

клиент на Qt5,C++ занимает менее 30 мб, исходники manitou-ui-1.7.0.tar.gz 1.5 Мб

общается c cерверной частью manitou-mdx-1.7.0.tar.gz которая есть скрипт на Перл:

wiki:manitou-mdx

и про плагины – вот например https://manitou-mail.org/wiki/doku.php/plugins:html_indexer на Perl, в исходниках manitou-mdx-1.7.0/lib/Manitou/Plugins/ больше плагинов

например, вложения (attachment) индексируются и складываются в PostgreSQL, используется поиск по морфологии из PostgreSQL, в итоге поиск по содержимому реализован запросами на SQL

фильтры (наподобие «правил сортировки» в TheBat!) – это правила для manitou-mdx на Perl.

может импортировать почтовую базу довольно большого объёма, с дедубликацией, поиском, индексацией и т.п. mass-import

чего не хватает:

1. плагина для RSS наподобие github:rss2email archwiki:rss2email rss-to-email pypi:rss2email или этого skx/rss2email

2. запуска 1 по крону

3. написать плагин-индексер для серверной manitou-mdx наподобие plugins:html_indexer только для XML, либо через XSLT транслировать в XHTML: раз (bennadel.com) два (natclark.com)

4. настроить весь этот зоопарк, чтобы работало по крону «из коробки»

Какая-то дрянь. Берёшь любой rss2email, настраиваешь себе локально почтовик, радуешься.

В СУБД или Maildir.

Средствами СУБД или каким-нибудь индексатором почты, например notmuch.

Мне бы чего попроще, юниксвейного.
Одним инструметном агрегацию делать, другим читать и искать. У меня, похоже, основная сложность определиться с форматом в котором автоматически собирать и хранить, чтоб потом через полгода было удобно читать-фильтровать.
Городить DB-сервер думаю излишне, хотя потом может и захотеться, если сервер под кроватью заваляется. IMAP сервер поднимать то же не алё. Пока полагаю стоит выбор из maildir, MH folders и локальный SQL Lite файл.

RSSyl в Claws работает с MH folders - какой агрегатор умеет собирать в MH folders?
LiFeRea работает с SQL Lite - какой агрегатор умеет собирать в SQL Lite?

И еще, может подскажет кто - часто ли встречается base64 или urlencoded в теле RSS-потока? По аналогии с почтой, ньюсами и т.п. fido.

Вот тут https://habr.com/ru/articles/799301/ советуют

rss-bridge - web service generating ATOM feeds for websites that don’t have them