LINUX.ORG.RU
Форум — Web-development  

xml to ... ? [python, django]

 ,


0

3

Добрый день. подскажите как лучше хранить данные? данные поступаю в виде xml документа раз в час(несколько тысяч записей, старые измененные записи + новые). нагрузка на чтение низкая. предполагаемые операции различные выборки и сортировка данных.


← Переходы на свой сайт
Нужен cache + prefetch для функций, возвращающих promise →

рекомендую на диске хранить

zolden ★★★★★
()

Создайте задачи в cron с парсингом xml, которые поступают. По идентификатору строки сверяйте данные с MongoDB и соответственно производите обновление или добавление строк.

  • 1. Загрузка XML в папку
  • 2. Поиск последнего загруженного файла
  • 3. Парсинг XML
  • 4. Сверка строк XML со строками базы
  • 5. Обновление старых и добавление новых
  • 6. Добавьте 2 столбца с датой последнего действия со строкой и названием экшена (add или update)
topolskij
()
Ответ на: комментарий от topolskij

Альтернативный подход:

  1. загрузка XML в рам
  2. прасинг
  3. поля, которые нам нужны, складываем в DB/whatever
  4. ...
  5. PROFIT
beastie ★★★★★
()

Тут лучше что-то из nosql

gssomi ★★
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.
← Переходы на свой сайт
Web-development
Нужен cache + prefetch для функций, возвращающих promise →