Спросить
Войти
DO: 10.24411/2619-0761-2020-10023 УДК 528.063.9
МОДЕЛИ ГЕОДАННЫХ В ГЕОИНФОРМАЦИОННОЙ ФИСКАЛЬНОЙ СИСТЕМЕ
Буравцев А.В.*
Московский технологический университет (МИРЭА), г. Москва, Россия
* E-mail: buravcev@mirea.ru
Аннотация. Рассмотрена проблема хранения и обработки данных фискальных информационных систем на примере государственного адресного реестра. Описаны ключевые особенности подобного рода систем. Для изучения данной проблемы рассмотрены различные варианты представления динамически-изменяемой структуры данных в реляционных и NoSQL базах данных. Предложен собственный вариант структуры данных на основе адаптируемой вертикальной модели данных Entity-Attribute-Value. Дано обоснование выбора данной структуры для фискальных систем. Описаны преимущества и недостатки данной модели по отношению к другим моделям. Описаны способы нивелирования недостатков данной модели.
Введение.
Геоданные являются системным информационным ресурсом [1] и применяются при решении разных прикладных задач. Геоданные служат основой построения моделей пространственных объектов и построения описания этих объектов в базе данных. Таким образом оптимальное построение геоданных позволяет решать задачи: геоинформационного моделирования [2], оптимального хранения в базе данных, оптимального обновления базы данных [3] и адекватной репрезентации [4] пространственных объектов. Геоинформационные системы применяются в разных направлениях, включая кадастр. В области кадастра существуют системы, которые называют фискальными [5, 6]. Эти системы связаны с налогообложением. Фискальная геоинформационная система (ФГИС )[7] -это специализированная геоинформационная система, решающая задачи учета и налогообложения. Особенностью такой системы является относительно не частое ее использование, при сложной структуре данных, хранимых в ней. В силу этого для ФГИС согласованность структуры геоданных является более важным фактором, чем
возможность оперативной обработки. При проектировании ГИС и особенно фискальных геоинформационных систем разработчики сталкиваются с ситуацией, при которой с течением времени меняется структура данных, атрибуты и отношение сущностей. В кадастре это обусловлено слиянием объектом или выделением одних объектов из других. В базе данных ГИС и в структуре г е о данных это приводит к изменению структуры данных и атрибутов. Подобная изменчивость является особенностью ФГИС и геоданных, которые в ней хранятся . Предугадать такие изменения и заложить их заранее в структуру геоданных сложно. Другой особенностью геоданных ФГИС является их хронологичность. Это означает, что они содержат исторические геоданные изменяемые с течением времени. Это приводит к тому, что модели геоданных ФГИС являются динамическими. Причинами таких преобразований являются регулярные изменения в законодательстве и нормативно-правовых актах. Государственный адресный реестр (ГАР) Федеральной информационной адресной системы (ФИАС) включает ФГИС и является типичным прим е ром системы, в которой хранятся данные с динамической структурой.
Содержимое этой работы может использоваться в соответствии с условиями лицензии Creative Commons Attribution 4.0. Любое дальнейшее распространение этой работы должно содержать указание на автора (ов) и название работы, цитирование в журнале и DOI.
Краткое описание существовавшей структуры БД ГАР
В настоящее время логическая структура базы данных ГАР, которая определяет структуру БД ФГИС, представляет из себя четыре основные сущности (таблицы) хранящие сведения по следующим типам объектов:
- адресообразующие объекты (от регионов до улиц включительно);
- объекты недвижимости (дома, домовладения и т.п.);
- земельные участки;
- помещения (квартиры, комнаты и т.п.).
Ранее структура также включала в себя
два типа объектов, которые в настоящее время не поддерживаются системой ФИАС:
- интервалы домов (было унаследовано из КЛАДР4);
- ориентиры (исчезли после выхода приказа Минфина России от 05.11.2015 N 171н) [8].
Физически данные хранятся в плоских денормализованных таблицах для увеличения скорости работы с данными. В настоящее время ГАР насчитывает по всем вышеуказанным таблицам порядка 80 миллионов записей, актуальных из которых только 50 млн. По предварительным оценкам, ГАР включает в себя лишь треть от всего имеющегося массива адресных данных в России.
Особенности структуры геоданных ФГИС, входящей в ГАР, включают следующие характеристики: временная изменчивость, избыточность, иерархия отношений между данными, наличие множественности значений атрибутов, наличие специальных темпоральных характеристик данных, потенциально неограниченный рост записей.
Результаты. Исходя из перечисленных особенностей при разработке ФГИС автором были предложены решения, которые можно разделить условно на две категории [9]: формирование модели геоданных ФГИС и формирование специальной технологии работы с геоданными ФГИС.
Формирование модели геоданных ФГИС включало построение вертикальной модели, построение структуры данных без схем (Shema-less), выделение в данных особых типов данных, названных «родительские сущности» и «наследники», введение особой
схемы информационных отношений в данные Сущность - Атрибут - Значение (EAV -Entity-Attribute-Value), применение модели данных Тенцера, формирование авторской модели гибридной структуры геоданных ФГИС.
Ф ор мирование специальной технологии работы с ФГИС включало применение нового типа запросов к БД - NoSQL и разработку новой технологии, которую условно назвали сериализация. База данных ФГИС хронологическая, что предполагает условно ее бесконечный рост объема информации в будущем. Поэтому помимо логической структуры геоданных нужно рассматривать технологический аспект, а именно вертикальное и горизонтальное масштабирование базы данных, что реализовано методами шардинирования и патриционирования.
Обоснование модели EAVв ФГИС
Идеальной модели представления динамически изменяемой структуры геоданных не существует. Каждый вариант модели имеет свои плюсы и минусы. Гибкая структура влечет повышение сложности запросов, понижение их производительности, ослабление контроля за целостностью данных и т.п. В ФГИС, в первую очередь, важна комплементарность [10] и конси-стентность структуры и данных, а вопросы производительности и сложности запросов уходят на второй план.
В силу этого, наиболее подходящими для моделирования динамической структуры геоданных ФГИС являются EAV модель и ее модификации. Они позволяют корректно отобразить структуру геоданных и обладают достаточной гибкостью при расширении и сжатии модели пространственного объекта. В качестве обоснования выбора модели данной модели можно привести следующие аргументы, релевантные к области фискальных систем.
Первое преимущество данной модели в том, что структура и отношения между объектами могут изменяться, количество атрибутов может изменяться, но при этом схема базы данных не меняется. В условиях постоянных изменений законодательства и их слабой предсказуемости, данная гибкость позволяет не вносить изменения в структуру данных, и соответственно, алгоритмы их обработки.
Второе преимущество данной модели в том, что она применима для сильно разреженных данных. В ней отсутствует необходимость резервирования места для атрибутов, у которых значения не заданы, либо для атрибутов, которые не предусмотрены для данной сущности. Это актуально для хронологических фискальных геоданных, с периодически меняющимся набором атрибутов сущностей.
Третье преимущество данной модели в том, что она может быть представлена в виде апробированных schema-less структур данных, таких как XML или JSON. Это важно для обмена информацией и предоставления данных потребителям. В этом случае потребители не будут зависеть от изменений схемы данных.
Третье преимущество данной модели в том, что она прошла испытание временем и используется в национальных решениях, таких как, системы хранения и обработки биомедицинских данных, решения класса ERP (Enterprise Recourse Planning), ECM (Enterprise Content Management), CRM (Customer Recourse Management), CMS (Content Management System). Примером последних можно считать платформу электронной коммерции Magento, реализованную на основе модели EAV [8].
При разработке ФГИС, требующих длительного сопровождения и развития, данная модель имеет преимущества. Использование EAV модели позволит создавать и сопровождать ФГИС, в которых требования по количеству и составу сущностей меняется в течение всего их жизненного цикла. Единообразный способ хранения для изменяемых во времени сущностей составляет серьезное преимущество перед использованием традиционной реляционной модели СУБД, когда для каждой сущности создается отдельная таблица (модель ROT).
Стоит отметить, что данную модель нужно применять лишь там, где выгода от ее использования очевидна. Для статических, например, системных или справочных таблиц, применение данного решения лишь усложнит работу с данными и снизит производительность системы.
Гибридная структура геоданных ФГИС
Гибридная структура геоданных является авторским решением для ФГИС. В любой
системе, даже с динамически изменяемой структурой, имеются атрибуты, не изменяющиеся в течение всего жизненного цикла системы. Например, это могут быть ключи сущностей, временные метки и т.д. Автором предлагается отделять данные атрибуты от EAV модели в отдельные статические таблицы. Другими словами, в EAV модели предлагается хранить только те сущности и атрибуты, количество которых, структура и отношение может меняться во времени. Для всех остальных сущностей и атрибутов использовать обычные нормализованные т а б л и ц ы. В этом и состоит сущность ги бр идной модели геоданных ФГИС.
Гибридная модель геоданных ФГИС позволяет сохранить гибкость модели для тех данных, которым эта гибкость необходима, а также, выиграть в производительности и простоте запросов для данных со статиче-с к о й структурой, которым гибкость не нужна. Предлагается выделить как минимум три области данных: темпоральную (рис. 1), атрибутивную (рис. 2) и иерархическую (рис. 3).
Рис. 1. Темпоральная область данных
В темпоральной области актуальные и исторические сведения предлагается хранить в одной логической таблице. Физически они будут разделены (с помощью шардирования и партиционирования).
В поле Data можно хранить полностью «собранный» сериализованный объект, чтобы не делать «сборку» при каждом обращении к атрибутивным, иерархическим и д р у гим таблицам. Благодаря выделению темпоральной области данных в отдельную таблицу, появится возможность использовать темпоральную логику, например, для валидации временных отрезков. Одним из
вариантов реализации темпоральной логики в фискальных системах я предлагаю использование интервальной темпоральной логики [11].
Cтоит отметить, что в качестве ключа ObjId предлагается использовать ключ, который будет хранить в себе мета-данные. Когда хронологическая база данных ФГИС
будет расти и количество хранимых в ней адресных объектов будет приближаться к нескольким сотням миллионов записей, то нужно учитывать и технологический аспект, а именно, то, что базу придется вертикально и горизонтально масштабировать, в частности, используя инструменты шардирования и партиционирования.
Рис. 2. Атрибутивная область данных
Рис. 3. Область иерархических сведений на примере подхода «adjacency list» (AL) для административного (Adm) и муниципального (Mun) делений
Шардом (database shard) [12] называют фрагмент базы данных, который хранится на отдельном сервере БД. Шардированием [13, 14] называют принцип построения БД, в котором логически независимые строки таблицы базы данных хранятся раздельно, заранее сгруппированные в секции шарды. Эти фрагменты размещаются на разных, физически и логически независимых
серверах базы данных, при этом один физический узел кластера может содержать несколько серверов баз данных. Типовым методом шардирования является применение хеш функции от идентификационных данных клиента, которая позволяет однозначно привязать заданного клиента и все его данные к отдельному и заранее известному экземпляру баз данных («шарду»), тем самым обеспечив практически неограниченную от количества клиентов горизонтальную масштабируемость.
Партиционирование [15, 16] является разделением логической БД или ее составных элементов в различные независимые части. Шардирование рассматривают как частный случай патриционирования (горизонтальное патриционирование).
Партиционирование увеличивает скорость выполнения запросов в 3...4 раза. Вторая часть гибридной модели геоданных ФГИС атрибутивная область показана на рис. 2.
Она включает в себя три таблицы:
- ObjParamCategory - категории параметров, например, «Общие параметры» - т.е. категория параметров, разделяемых между адресными сущностями (почтовый индекс, код региона и т.п.), «Параметры объектов недвижимости» - например «корпус», «строение» и т.п.;
- ObjParamType - типы параметров -описание их мета-данных (категория, ключ, описание, тип данных и т.п.);
- ObjParam - атрибутивная таблица, в которой хранятся значения параметров, в полях StrValue - строковый тип, и IntValue -поле типа bigint. Также можно хранить другие типы данных (float, decimal и т.п.), но они в ГАР пока не используются. Все временные (темпоральные) поля вынесены в отдельную таблицу (см. выше темпоральная область данных). Как один из вариантов EAV модели, значения разных типов можно хранить в отельных таблицах.
Выделение иерархических сведений в отдельные таблицы позволит реализовать возможность хранения этих сведений в виде ациклического ориентированного графа, который лучшим образом отображает адресное пространство реестра (например, можно указывать несколько родительских объектов). Также это позволит реализовы-вать различные подходы при работе с иерархическими данными. В перспективе можно будет при необходимости реализовать возможность хранения полных взвешенных (нагруженных) графов, не затрагивая при этом атрибутивные и темпоральные области данных.
Третья часть гибридной модели геоданных ФГИС атрибутивная область показана на рис. 3. На этом рисунке изображена область иерархических сведений на примере использования подхода связанных списков (adjacency list) для административного и муниципального деления.
Надо отметить, что помимо указанного подхода, можно использовать подходы: материализованный путь (например, код КЛАДР, ОКТМО и т.п), вложенные множества, таблица замыканий и смешанные подходы.
При использовании шардировании и партиционировании, нужно учитывать
характер запросов к базе. Как правило, все з а п р о с ы в ФГИС идут в рамках одного региона. Чаще всего используют актуальные сведения. Это надо учитывать при выборе ключа шардинга, а именно, хранить в нем ном е р региона, тип адресного объекта и статус актуальности. При этом данные по региону должны находиться на одном шарде (виртуальном или физическом), чтобы при выборе ветки объектов не было обращений на соседние шарды.
Для удобства масштабирования рекомендуется сделать сразу несколько десятков (или сотен) виртуальных шардов.
В ходе разработки виртуальные шарды делились по номеру региона, например, спроектировано 100 виртуальных шардов, которые могут сначала располагаться на одном физическом сервере, а потом, по мере нагрузки выделяться в отдельные сервера базы данных.
Обычно (на примере системы 2GIS) создают синтетический ключ записи, который хранит в себе метаданные, необходимые для шардирования и партици-онирования. В качестве примера можно предложить следующий вариант ключа шардирования:
A RR TT ... ХХХ
где A - признак актуальности (1 -актуальный, 2 - неактуальный); RR - код ре г и о н а; TT - тип объекта (адресообразующий (можно конкретизировать: улица, ЭПС), дом и т.п.); ХХХ -порядковый номер.
Таким образом, можно шардировать по номеру региона, а потом, на каждом шарде, партиционировать, по типу объектов и актуальности. Совмещение шардирования и партиционирования возможно стандартными средствами PostgreSQL. В случае возросшей нагрузки на шардинг, например, для города Москвы, можно вынести его на отельный физический сервер или в облако. В х о д е разработки модели шардинг «из коробки» реализован в PostgreSQL, в SQL Server такой реализации нет, поэтому в существующей архитектуре данный подход не применим (точнее применим, но только специальными программными средствами).
Заключение. В классических описаниях моделей геоданных нет представления темпоральных атрибутов и принципов хранения иерархических данных. Данные модели также можно расширить с помощью хранения сериализованных данных по записям (сущностям) в различные моменты времени для оптимизации выборки данных. В ходе разработки контекстно использовалась модель информационных единиц [17], которые служили основой построения более сложных моделей. На рассмотренном примере ФГИС представлена разновидность фискальной информационной системы. Ее особенности могут обнаруживаться в системах других классов, задачей которых является хранение хронологических, иерархических данных с сохранением их консистетности. Для корректного представления геоданных ФГИС были использованы статические модели для описания динамических структур. Проведенные исследования дают основание использовать EAV модель и ее вариации, для возможности удобной работы с темпоральными и хронологическими данными. Приведен пример расширенной EAV модели. Даны возможные технологические способы нивелирования недостатков представленных моделей. Показано, что для EAV модели есть математический аналог - sparse матрицы, к которой применимым алгоритм сжатия. Данные алгоритмы можно применять и к данной модели.
В работе рассмотрена модель геоданных EAV, позволяющая разрабатывать адаптируемые интегрируемые информационные системы с длительным жизненным циклом. Показано, что при использовании специализированных подходов модель EAV позволяет обеспечивать производительность, сопоставимую с производительностью реляционной модели, а в некоторых случаях значительно ее превосходящую. Все проведенные научные и технологические разработки нашли применение при реализации программного обеспечения для Государственного адресного реестра (ГАР) Федеральной информационной адресной системы (ФИАС), которая служит основой учета и налогообложения для всех юридических лиц Российской Федерации.
системах // Информатизация образования и науки. 2018. № 1(37). С. 93-10.
Контактные данные:
Буравцев Алексей Владимирович, эл. почта: buravcev@mirea.ru
© Буравцев А.В., 2020
GEODATA MODELS IN THE GEOINFORMATIONFISCAL SYSTEM
A. V. Buravtsev*
Moscow Technological University (MIREA), Moscow, Russia
*E-mail: buravcev@mirea.ru
Abstract. The problem of storage and processing of data of fiscal information systems is considered on the example of the state address register. The key features of such systems are described. To study this problem, various options for representing a dynamically changing data structure in relational and NoSQL databases are considered. A proprietary version of the data structure based on the adaptable vertical data model Entity-Attribute-Value is proposed. The rationale for the choice of this structure for fiscal systems is given. The advantages and disadvantages of this model in relation to other models are described. The methods of leveling the disadvantages of this model are described.
References
ispol&zuemyh v kachestve rekvizitov adresa, i Pravil sokrashchennogo naimenovaniya adresoobrazuyushchih elementov (Zaregistri-rovano v Minyuste Rossii 10.12.2015 N 40069) [Order of the Ministry of Finance of Russia dated 05.11.2015 N 171n "On approval of the List of elements of the planning structure, elements of the road network, elements of addressing objects, types of buildings (structures), premises used as address details, and the Rules for the abbreviated name of address-forming elements" (Registered in the Ministry of Justice of Russia 10.12.2015 N 40069)]. (rus)
Contacts:
Alexey V. Buravtsev, buravcev@mirea.ru
© Buravtsev, A.V., 2020
Буравцев А.В. Модели геоданных в геоинформационной фискальной системе // Вектор ГеоНаук. 2020. Т.3. №2. С. 82-90. DOI: 10.24411/2619-0761-2020-10023.
Buravtsev, A.V., 2020. Geodata models in the geoinformation fiscal system. Vector of Geosciences. 3(2). Pp. 82-90. DOI: 10.24411/2619-0761-2020-10023.
