LINUX.ORG.RU
Форум — Admin  

Смигрировать 450 Гб json-ов из oracle в postgres.

 , ,


0

1

Есть oracle, внутри которого хранится много-много json-ов в clob.
Нужно все это дело скинуть в postgres, но уже для отчетников.
Что сейчас сделано:
настроен apache nifi, который доставляет json в postgres.
написан bash, который выдергивает json и отдает его в руки nifi.
это все работает, но имеет существенные недостатки.
вот несколько:
все это работает очень долго
для каждой структуры json-a, мне нужно вручную готовить таблицу и поддерживать ее в дальнейшем
bash ? неужели нет ничего лучше ?
коллеги, жду ваших замечаний.
чую, что заехал не совсем правильно.

★★★★★

  1. Найфай умеет брать данные из оракла.
  2. Найфай на груви спроцессит данные достаточно быстро.
  3. В постгрессе есть jsonb, и он реально быстрый. Но надо уметь писать запросы.

И тормозит на каком этапе? Выгрузки, загрузки, трансформа?

Со схемой - можешь парсить на лету и раскладывать. Но лучше готовить вручную, автоматные ддли ничем хорошим не заканчиваются.

stave ★★★★★
()
Ответ на: комментарий от stave

Найфай умеет брать данные из оракла.

ты про executesql ?

И тормозит на каком этапе? Выгрузки, загрузки, трансформа?

ну я по селекчу по конкретному id из oracle, потом пишу в файл и т.д.
сделано все как-то не очень.
хочется все отдать nifi и сидеть смотреть за всем попивая чаек.

dada ★★★★★
() автор топика
Ответ на: комментарий от stave

это мой первый опыт =\

dada ★★★★★
() автор топика
  • json лучше хранить в чём-то, типа MongoDB
  • думаю, лучше хранимая процедура Oracle DB на выборку и отдачу json и вызов её планировщиком БД, т.е. средствами БД
anonymous
()
Ответ на: комментарий от dada

ты про executesql ?

Да, скорми ждбц драйвер оракла ему

ну я по селекчу по конкретному id из oracle, потом пишу в файл и т.д. сделано все как-то не очень.

для найфая стандартная пайпа

в телеге @nifiusers

В четверг в мск будет большой митап по найфаю, приходи если чо.

stave ★★★★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
Admin