LINUX.ORG.RU
ФорумJob

Написать скрипт преобразования ФИАС в SQL

 


0

2

Привет, ЛОР!

Нужно перегнать таблицы из ФИАС (ADDROBJ, HOUSE, HOUSEINT) в базу данных в SQL, при этом интервалы из HOUSEINT превратить в отдельные дома, придумать уникальные айдишники там, где они неуникальные, и чтобы в будущем можно было аккуратно обновлять БД из свежих выгрузок ФИАСа.

На чём всё это делать — неважно, главное чтобы результат формировался либо сразу в виде таблиц в PostgreSQL, либо в виде файла, который можно вгрузить в PostgreSQL.

Есть конкретное описание структуры, которая нужна в SQL, основная фишка это то, что нужно добавить materialized path для удобства поиска. Ну и желательно, чтобы выполнялся весь этот импорт меньше вечности. :-)

Кто-нибудь готов взяться за такое? Долго ли, дорого ли?



Последнее исправление: greatperson (всего исправлений: 1)

Вообще долго, сам по себе фиас - гигантский, в SQL импортироваться будет несколько часов + еще постобработка.

Я бы закладывал 1-2 дня на работы.

Мы с ФИАСом работаем регулярно, в том числе и по подобным кейсам, потом еще с обновлением будете регулярно сталкиваться.

Импортировать ФИАС самым быстрым вариантом - HeidiSQL из DBF в MySQL. При этом можно запускать под вайном несколько копий, так как каждый импорт грузит только 1 ядро процессора.

После того как импортировали - уже накладывать апдейты.

BaBL ★★★★★
()
Ответ на: комментарий от BaBL

Нет, импортировать из XML в SQL вообще не проблема, берёшь и загружаешь, занимает примерно час безо всякого разпараллеливания. Если не выкидывать никаких полей, то будет подольше, но для наших целей всякие егрипы и егрюлы не нужны, например.

Проблема начинается после этого, когда нужно реорганизовать хранение так, чтобы искать можно было как мне надо.

greatperson
() автор топика
Ответ на: комментарий от greatperson

Ну я пример для DBF формата привел, с XML у меня какие-то нюансы возникали помню, или память всю выжирал или еще что было, уже не помню.

BaBL ★★★★★
()

Интересно. Напишите ваши контакты для голосовой связи на tech@netdat.ru Можете также сразу послать задание (описание структуры итд) Мои интерес в том, что работаю в этой области и хочу использовать возможность познакомиться с данными от ФИАС на деле не за бесплатно.

shestero
()
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.