Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР

kwk8egeivck-kxxzflo5ztqwhza.jpeg

С 1 января ФНС перестанет обновлять адресный справочник КЛАДР. Он официально устареет, останется один ФИАС. Но многие промышленные системы до сих пор работают с КЛАДР. Поставщики не собираются их обновлять, а переделывать своими руками бизнесу выходит долго и дорого.

Мы послушали клиентов и придумали решение: взять ФИАС, который живее всех живых, и написать перекодировщик в КЛАДР.

Со стороны задача кажется легкой. Нам так и говорили: «То есть вы просто берете ФИАС и переделываете в КЛАДР?». На деле никакого «просто» нет. У справочников совсем разные структуры и непонятно, как из подкачанного ФИАС раскидать данные в неказистый КЛАДР. При этом общей документации для справочников нет.

Это было веселье, которым мы сейчас щедро поделимся.

Сопоставили структуры справочников


ФИАС весит порядка 28 Гб, в нем около 450 таблиц. КЛАДР — это примерно 500 Мб и 6 табличек. Данные для КЛАДР лежат всего в трех таблицах ФИАС. Остальные для перекодирования не нужны, их КЛАДР не предусматривает.

chrvtbxib7gaicuebaldctplepc.jpeg

Если на схеме в скобках стоит »», значит, для каждого региона есть своя табличка с подобным названием

Переносить запись за записью не получится: сломаются или связи между таблицами, или логика внутри таблиц, или еще что-нибудь.

Например, в ФИАС один дом — это одна запись в таблице. Мы на радостях перекидали дома один за другим в КЛАДР, и справочник фатально разбух: 3,5 Гб против нормальных 500 Мб.

КЛАДР — скромняга, он не может себе позволить отдельную запись под каждый дом. Поэтому похожие дома в справочнике сгруппированы в одну строку. При этом их номера на голубом глазу хранят в поле NAME через запятую.

_6fdbyvmlqou7cz5thcn5ucra90.png

Когда дома находятся на одной улице и различаются только номером, их записывают в одну строку

Тогда мы принялись загружать из ФИАС улицу за улицей и группировать дома по записям. Отсчитываешь, столько номеров влезет через запятую в NAME, и создаешь в КЛАДР общую запись для этих домов. (В NAME, к слову, 40 символов.) Дело пошло́.

6vt4yd2jdarj-uneunowws8mkd8.jpeg

Для тех, кто решится повторить наш путь: так выглядит диаграмма зависимостей ФИАС и КЛАДР

Обычная проблема перекодировки: неясно, как переносить поля между похожими таблицами, а документация не выручает. Удивляться нечему, потому что документацию писали явно не для перепиливания одного справочника в другой.

Например, в ФИАС есть поля:

  • «Код ИФНС ФЛ»;
  • «Код ИФНС ЮЛ»;
  • «Код территориального участка ИФНС ФЛ»;
  • «Код территориального участка ИФНС ЮЛ».


В КЛАДР для этих же целей только два поля:

  • «Код ИФНС»;
  • «Код территориального участка ИФНС».


Какой код куда переносить — непонятно.

Еще пример. Это описание полей в ФИАС:

  • «Официальное наименование адресного объекта» содержит наименование и тип адресного объекта, введенное соответствующим нормативным документом органом исполнительной власти, решением, постановлением муниципального образования. Используется при формировании документов и почтовых отправлений;
  • «Наименование адресного объекта» содержит формализованное наименование адресного объекта.


Такое даже прочитать сложно, но, положим, у нас не было выбора. Провал в том, что описание ничего не проясняет. Что такое «формализованное наименование»? На что влияет формализация? Главное, какое поле переносить в КЛАДР?

В итоге мы брали КЛАДР и ФИАС от ФНС и смотрели, как значения полей перетекают из одного справочника в другой. Универсального рецепта нет, поэтому получилась тьма разнородных правил переноса.

Нашли, где брать КЛАДР-коды


КЛАДР-код — главный идентификатор справочника КЛАДР. Только по нему можно однозначно определить адресный объект.

ФИАС тоже хранит КЛАДР-коды. Причем с оптимизацией в справочнике так себе, поэтому из одной только таблицы ADDROB можно получить коды тремя способами:

  • взять из поля PLAINCODE. Здесь хранится собственно КЛАДР-код объекта;
  • взять из CODE. Здесь лежит тот же КЛАДР-код плюс две цифры признака актуальности;
  • сделать подарок своими руками. КЛАДР-код объекта можно собрать из гранулярных кодов других объектов.


Сначала сунулись в PLAINCODE. Проверили, а он иногда не совпадает с тем кодом, что лежит в оригинальном КЛАДР.

Ничего страшного, у нас же есть CODE! Снова сюрприз: он пуст так часто, что со временем перестаешь удивляться. А если не пуст, расслабляться рано: код в нем может не совпадать с PLAINCODE.

Подобрались к последнему бастиону: начали склеивать КЛАДР-коды сами. И что бы вы думали? Да, собранный код частенько расходится с PLAINCODE или CODE.

Суровая реальность ФИАС: CODE!= PLAINCODE!= склеенному коду. Откуда брать правильный идентификатор, непонятно. Начали матчить эталонные справочники и через 50 кружек кофе нашли закономерность:

  • CODE!= PLAINCODE → CODE;
  • PLAINCODE!= склеенному → PLAINCODE;
  • в остальных случая подходит склеенный код.


И тогда КЛАДР-код совпадает с кодом в официальном справочнике.

Поняли, как переносить планировочные структуры и дополнительные территории


Разработчики предусмотрели в ФИАС больше уровней адресных объектов, чем в КЛАДР: 13 и 6 соответственно.

При этом в КЛАДР есть объекты «лишних» уровней: планировочные структуры и доптерритории. Это садовые товарищества, дачные кооперативы и т. д. Их переносят из ФИАС с изрядными костылями. Делают так: условное садовое товарищество превращают в улицу, а к названию подчиненных ему улиц в скобках добавляют название товарищества.

В теории сложно, объясню на примере. Допустим, в садовом товариществе «Массив N2 СТ Вишня» есть улица Луговая. При переносе этих объектов из ФИАС в КЛАДР происходит вот что:

  • товарищество превращается в улицу «Садовое товарищество «Массив N2 СТ Вишня»;
  • название подчиненной улицы становится таким: «улица Луговая (Массив N2 СТ Вишня)».


С точки зрения человеческой логики выглядит ужасно, зато в КЛАДР появляются нужные данные. Кто мы такие, чтобы идти наперекор? Конечно, делаем так же.

Разобрались с переименованиями и переподчинениями


В России постоянно переименовывают и переподчиняют города, области, улицы. Например, подмосковный Железнодорожный 40 лет был городом, а потом внезапно стал районом Балашихи.

В адресных справочниках устаревшие сущности хранят для обратной совместимости. Получаются цепочки версий.

4z5rvcf5isjwknnmytzehxqlf-e.jpeg

Был город V1. Его переименовали — в справочнике появилась версия V2. Переподчинили — V3. И так далее до V

Цепочки подчинений переносят с учетом уровней, которых нет в КЛАДР. Например, цепочка «улица → район города → город» приходит из ФИАС в КЛАДР в виде «улица → город».

Иногда в ФИАС одна версия объекта отличается от другой только полями, которых вообще нет в КЛАДР. Например, у города Майкоп 20 февраля 2017 года сменился ОКТМО: был 79701000, стал 79701000001. Больше ничего не поменялось, но в ФИАС все равно появилась новая версия объекта. Если изменившиеся данные не предусмотрены в КЛАДР, правильно переносить только новую версию объекта. Мы делаем вид, что прошлой как бы и не было.

А порой объект из-за переподчинения переходит на уровень, которого нет в КЛАДР. Типичная история: поселок Обираловка → город Железнодорожный → район Железнодорожный города Балашиха. Уровня городских районов нет в КЛАДР, и Железнодорожный переселяют с 4-го уровня на 99-й. Казалось бы, повышение, но нет: на 99-м уровне хранят исчезнувшие адресные объекты. Был город, стал деклассированный элемент. Еще и улицы переподчинили, причем хитро: создали в КЛАДР несколько населенных пунктов, передали им улицы Железнодорожного, а населенные пункты — Балашихе.

Разрешили конфликты сокращений


В ФИАС хранятся все официальные сокращения типов адресных объектов.

LEVEL SOCRNAME SCNAME KOD_T_ST
3 Автономный округ АО 305
3 Территория тер 303
3 Район р-н 301
3 Улус у 302
3 Муниципальный р-н м р-н 309

В КЛАДР таблица сокращений тоже есть, но записей там поменьше. Просто перенести сокращения из ФИАС в КЛАДР нельзя: уровни не совпадают. Некоторых вообще нет, у других разные номера.

Мы долго сравнивали справочники и все-таки вывели ФНС на чистую воду. Вот как она сдвигает уровни сокращений.

ФИАС КЛАДР
0 X
1 1
2 1
3 2
4 3
5 X
6 4
7 5
8 6
9 X
35 X
65 5
75 X
90 X
91 X

«X» значит, что уровень просто закрывается. Все сокращения, что были в ФИАС на этом уровне, не попадают в КЛАДР. Например, в справочнике нет внутригородских территорий, помещений в пределах зданий, земельных участков и т. д.

Из-за сдвига уровней появляются проблемы с KOD_T_ST — уникальным идентификатором сокращения. KOD_T_ST состоит из двух частей: уровня сокращения и собственно ID сокращения. При переходе с ФИАС на КЛАДР уровни сдвигаются и появляются конфликты.

Например, в ФИАС:

  • набережная: 711;
  • район: 6511.


В КЛАДР после сдвига уровней:

  • набережная: 711 → 511;
  • район: 6511 → 511.


И вот мы уже не знаем, на набережную ехать или на район.

В официальном КЛАДР проблему решают лихо: в код одного из конфликтующих сокращений вместо уровня подставляют девятку. Потому что могут. Из-за этого в эталонном КЛАДР код сокращения для района — 911 вместо 511, причем в поле LEVEL остается пятерка.

В документации об этом ничего, конечно же, не написано.

Протестировали в полях


Мы делали из ФИАС такой же КЛАДР, какой поставляет ФНС. Проверяли по трем параметрам:

  1. Структура.
  2. Объем таблиц.
  3. Работа со спецсофтом.


Третий пункт тестировали утилитой ASVCheck. Она проверяет соответствие формата адресов указаниям Банка России. В ASVCheck загружают КЛАДР, а потом — список адресов. Утилита проверяет адреса по справочнику и отмечает ошибки.

Через ASVCheck мы проверяли адреса из живого банковского реестра. Сначала прогоняли по официальному КЛАДР, а потом по своему́. Затем, понятное дело, смотрели на отличия.

Тут надо сказать, что ASVCheck — таинственный парень. Он не говорит, почему пометил адрес как неправильный. Отлаживали наугад. Некоторые ошибки вообще выглядели как баг утилиты: она перестала браковать часть адресов, когда мы просто отсортировали записи в своем справочнике по КЛАДР-коду.

Но закончилось все успешно: теперь ASVCheck выдает одинаковый результат на нашем КЛАДР и на справочнике ФНС.

Получили КЛАДР с преферансом и обновлениями


Теперь у нас есть КЛАДР, который будет жить в веках. Нашим клиентам не нужно спешно переделывать ПО под ФИАС: они подключают новый справочник и все работает как раньше.

У КЛАДР HFLabs:

  • та же структура, что у официального КЛАДР от ФНС;
  • поставка в том же виде, что у ФНС;
  • обновления через день после выхода свежей версии ФИАС, не реже одного раза в две недели;
  • платная подписка на обновления.


Полную декабрьскую версию мы раздаем бесплатно, можно развернуть ее на живой системе и потестировать.

Если интересно, напишите на elenar@hflabs.ru Елене Расторгуевой. Елена задаст уточняющие вопросы и через день пришлет новый КЛАДР.

© Habrahabr.ru