«РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДИКИ ПРОЕКТИРОВАНИЯ БАЗЫ МЕТАДАННЫХ ХРАНИЛИЩА ГЕОДАННЫХ ...»

Структурированные источники.

Базы данных. Структура данных в БД жестко задана, а так же предусмотрен контроль целостности и непротиворечивости данных, поэтому извлечение данных из них не должно вызывать проблем.

Файлы различных форматов. К таким источникам относятся файлы форматов SHP и SXF, а так же текстовые и табличные файлы с разделителями.

Для доступа структурированным данным применяют стандартные средства, такие как ODBC и ADO.

Неструктурированные источники. Если в целях анализа необходимо использовать неструктурированные источники, то применяют средства их преобразования в структурированный вид для возможности загрузки в реляционную таблицу.

Целью процесса преобразования данных является подготовка извлеченных данных к размещению в ХД а также приведение их к виду пригодному для анализа.

В процессе преобразования данных в системе ИПЗ в основном выполняются следующие операции:

преобразование структуры данных;

агрегирование данных;

перевод значений;

создание новых данных;

очистка данных. структурной организации источников и целевых таблиц ХД (таблицы, в которые следующими: в соглашении о назначении имен полям и таблицам, в порядке описания данных, форматов и типов данных, в применяемых разделителях целой и дробной частей и т.п..

Процесс агрегирования достаточно полно описан в первой главе данный работы. С целью выяснения необходимости агрегирования данных необходимо изучить наиболее вероятные направления использования данных в ХД.

При выборе вариантов агрегирования данных целесообразно исходить из планируемых направлений анализа. Дополнительно выбор нужных агрегатов определяется особенностями предметной области. При этом следует понимать, что агрегаты, применяемые для анализа, могут вычисляться во время аналитического запроса к ХД.

Существует два правила создания агрегатов. Создавать только агрегаты необходимые при анализе. При определении количества агрегатов, необходимо агрегатов в процессе анализа и размером и сложностью структуры данных.

Обычно данные в ИД хранятся с использованием кодировок, например, если в качестве ИД применяются файлы в форматах SXF и SHP. В этих случаях перед Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 113 с загрузкой данных в ХД необходимо выполнить перевод таких сокращенных значений в более понятные и полные.

К тому же, может возникнуть необходимость конвертации числовых данных, (преобразовывать представления чисел и т.д.) Во время загрузки данных в ХД дополнительно может потребоваться на основе существующих данных вычислить новые данные, это связано с обогащением данных, которое может проводиться (частично или полностью) на этапе преобразования данных. Вычисление новых данных сопровождается создание новых записей и полей в ХД. Причем агрегирование данных можно рассматривать как создание новых данных.

Процедура очистки данных – корректировка данных, которые в каком-либо смысле не удовлетворяют определенным критериям качества, то есть содержат неправильные форматы и т.д. Очистка данных – это подготовка данных к загрузке в хранилище. Для разработки методики очистки данных, необходимо определить критерии, по которым оценивать их качество. Критичность ошибок является одним из них.

Можно выделить три категории:

данные высокого качества;

данные, содержащие критические ошибки и данные, содержащие некритические ошибки.

Некритические ошибки обычно исправляются в процессе анализа средствами аналитической системы на уровне прикладных задач.

При планировании стратегии очистки данных учитываются особенности предметной области, функционирования источников данных и порядка сбора данных. Кроме того, необходимо понимать, что полностью очистить данные не Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 118 с.

получиться. Если достоверность каких-то данных не влияет на результаты анализа, то от их очистки, возможно, следует вообще отказаться 1.

Преобразование может выполняться на разных этапах процессов ИПЗ.

Рассмотрим их преимущества и недостатки.

Преобразование во время извлечения данных из ИД. Выполняется преобразование типов данных и производится фильтрация интересующих аналитика записей (отбираются только записи, измененные или созданные в ходе предыдущей загрузки).

Преобразование перед загрузкой данных в ХД. Преобразование происходит в промежуточной области, использующейся для интеграции данных из гетерогенных источников. В ходе преобразования в данной области происходит сортировка, группировка, обработка временных рядов и т.п.

Преобразование во время загрузки данных в ХД. На этом этапе могут выполняться только некоторые простые преобразования, но только после загрузки данных в ХД.

Все операции преобразования не концентрируются на единственном этапе процесса ИПЗ, а распределены по различным этапам. Причем порядок распределения зависит от эффективности преобразования.

Перенос данных из промежуточной структуры хранения системы ИПЗ в структуры ХД называется процессом загрузки данных.

Обычно в процессе загрузки данных в ХД первыми загружаются данные в таблицы измерений и затем в таблицы фактов.

Перед внесением новых записей в таблицу измерений требуется убедиться в их отсутствии (или подобных записей) в ней. В случае отсутствия, данные добавляются в таблицу, в противном – запись обновляется. А также можно добавить дополнительные поля, сохранив старую и добавив новую информацию.

Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, Далее загружаются данные в таблицы фактов. Новая информация добавляется в конец таблицы фактов для того чтобы не изменять существующие данные.

Одной из основных проблем этапа загрузки данных является редкость полной загрузки данных: например, может быть отказано в загрузке некоторым важным записям. Если попытка загрузки данных повторно не удалась, тогда должна быть предусмотрена возможность следующих действий:

сохранить отфильтрованные данные, в виде таблицы или файла этого же формата (таблица исключений);

провести анализ исключенных данных для выявления причин, отказа в загрузке;

при необходимости можно провести дополнительную или повторную обработку и очистку данных предпринять повторную попытку загрузки в ХД.

Невозможность загрузки данных после этих операций приведет к появлению в хранилище неполных данных. Для решения этой проблемы можно:

привести ХД в исходное состояния (до загрузки);

очистить таблицы с неполными данными;

оставить все как есть, поставив отметку для ознакомления пользователей о возникших проблемах.

При очередной загрузке из ИД в ХД переносится только информация измененная в течение промежутка времени, прошедшего с предыдущей загрузки, при этом происходит либо добавление, либо обновление (дополнение). Для этого загружаемые данные распределяются по двум потокам – потоку добавления и потоку обновления, что позволяет выполнить перенос данных в ХД с помощью обычных запросов, не используя фильтры для разделения данных.

Для разделения загружаемых данных на потоки применяются два основных метода: полное сравнение загружаемых записей с информацией, ранее загруженной в ХД и частичное сравнение с помощью использования признаков модифицированных полей «Время/Дата» для определения последних изменений записей.

При разработке методов загрузки данных в ХД не существует общего подхода к модификации таблиц измерений.

По окончанию загрузки могут выполняться постзагрузочные операции над только что загруженными данными (переиндексация, верификация и т.д.).

Для этих целей предусматривают комплекс верификационных тестов.

Дополнительно целесообразно, сравнить данные после их загрузки в ХД с исходными данных.

5. Пакет «Информация о системе выгрузки, реструктуризации и доставки»

При использовании системы ВРД (выборка, реструктуризация, доставка) весь алгоритм информационного обеспечения витрин данных сосредотачивается в ней.

Поэтому витрины данных обслуживают различные пользовательские запросы, а единое хранилище данных осуществляет надежное хранение данных.

К тому же система ВРД также смягчает нагрузку на единое хранилище данных за счет того, что однажды извлеченные данные преобразует в форматы витрин данных и доставляет их в соответствии с запросами.

Определив основную цель системы ВРД, рассмотрим применяемые ею методы работы с данными.

Выборка данных происходит в соответствии с требованиями, заложенными в формируемыми запросами.

Реструктуризация – комплекс методов и алгоритмов, направленных на оптимизацию представления и форматов данных для повышения эффективности анализа и решения задач. Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 138 с.

Реструктуризация – не изменяет информационное содержание данных, а оптимизирует представление информации, полученной на основе этих данных, в виде пригодном для эффективного использования.

приложения – это непосредственная подготовка данных к анализу, объединение и выделение наиболее ценной информации, обеспечение корректной работы аналитических алгоритмов, методов и моделей 1.

аналитических приложениях вызвано их доступностью аналитику. Если аналитик в процессе подготовки данных к анализу по своему усмотрению применяет методы реструктуризации данных, настраивать их параметры, проводить эксперименты, это позволяет ему определить влияние реструктуризации данных на результат анализа.

Большинство аналитических платформ оснащено следующими основными методами реструктуризации данных.

Преобразование упорядоченных данных. Необходимо для оптимизации представление данных для обеспечения анализа.

Квантование. Позволяет разбить диапазон значений числового признака на определенное количество интервалов и присвоить метки попавшим в них значениям.

Сортировка. Изменяет порядок следования записей первичной выборки данных, основываясь на пользовательском алгоритме.

Слияние. Этот метод позволяет объединить две таблицы по одинаковым полям и дополняет одну таблицу отсутствующими записями из другой.

Группировка и разгруппировка. Группировка позволяет объединить нужную информацию, в наименьшее количество значений и полей. Разгруппировка – это обратная операция.

Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 139 с.

Настройка выборки. Изменяет имена, типы и метки полей первичной выборки данных.

Подстановка значений из таблицы. На основе таблицы подстановки, содержащей «исходное значение – новое значение» происходит замена значений в полученной выборке данных. Этот метод позволяет использовать автоматическую корректировку значений.

Вычисление значений. В случае когда в выборке в явном виде отсутствует информация необходимая для анализа, ее можно получить на основе проведения вычислений над полученными значениями. Для этого целесообразно в аналитическое приложение добавить алгоритм расчета, позволяющий выполнять над данными первичной выборки необходимые вычисления.

Нормализация. Этот метод позволяет проводить преобразование диапазона изменений числового признака в другой диапазон. Это дает возможность применить к новому диапазону данных аналитические алгоритмы.

Доставка данных в различные витрины данных происходит по правилам доставки, правам доступа, а также требованиям к составу информации определенным в среде ХГД.

6. Пакет «Информация о системе предоставления данных»

Уровень представления данных состоит из витрин данных (ВД) являющихся тематическими базами данных (БД). Особенность их заключается в хранении информации относящейся только к аспектам деятельности пользователей. Путем переноса части нагрузки на витрины данных происходит оптимизация работы единого хранилища данных.

Структура витрин данных должна максимально отвечать потребностям обслуживаемых аналитических задач. В связи отсутствия универсальных структур данных, подходящих для решения любых аналитических задач, структуры данных в витринах следует группировать по определенным признакам:

территориальным, тематическим, организационным и т.п.

Достоинства витрин данных:

витрина данных представляет аналитикам, только нужны им данные;

витрина данным намного меньше по объему, чем ХД;

витрина данных максимально приближена к пользователю;

витрины данных проще для проектирования и настройки.

По существу, концепция предполагает создание распределенной ИС с отсутствием контроля избыточности, целостности и непротиворечивости, хранящихся в ней данных.

Дальнейшая эволюция концепции витрин данных заключалась в ее объединении с хранилищем данных, и использовании хранилища для наполнения витрин данных.

Идея создание отдельных витрин данных заключается в проектировании системы в целом для всей организации, с дальнейшей разработкой по отдельным функциям. Это привело к появлению двух подходов к проектированию хранилищ данных. Первый подход начинает проектирование с построения единого хранилища данных, второй с построения витрин данных.

На сегодняшний момент существует следующее решение:

первый уровень содержит детализированные данные. На этом уровне находиться общая БД с нормализованной или слабо нормализованной схемой, реализуемая на основе реляционной СУБД;

второй уровень содержит агрегированные данные. Несколько БД, реализуемые на основе многомерной СУБД;

Автоматизированные рабочие места (АРМ), причем эти аналитические инструменты работают с данными на двух нижних уровнях;

Это решение вписывается в шестиуровневую концепцию и позволяет использовать достоинства каждого из подходов:

реляционные СУБД обеспечивают хранение детализированных данных и поддержку больших объемов данных;

многомерные СУБД обеспечивают простоту настройки и быстродействие при работе с агрегированными данными.

Описанное решение не может обеспечить оперативной аналитической обработки запросов (из-за отсутствия кубов данных в едином хранилище данных), но при использовании новых способов хранения и индексации данных, либо денормализации реляционных таблиц фактов и измерений, время обработки запросов может оказаться вполне приемлемым.

Дополнительное использование многомерных СУБД на нижнем уровне (для работы с кубом данных в ВД) позволяет минимизировать время обработки нерегламентированных запросов пользователей.

В случае если в многомерной СУБД можно хранить данные, на постоянной основе, а также и динамически загружать их из реляционных БД, тогда появляется возможность на постоянной основе хранить только часто запрашиваемые данные. Для всех остальных случаев хранить описания структуры данных и программы их выгрузки из единой реляционной БД или единого ХД.

Преимущества данного подхода:

однажды разработанные таблицы общих измерения распространяются на все витрины данных;

по мере роста программного решения сокращаются усилия, затрачиваемые на проектирование, моделирование и реализацию, так как каждый этап становится базовым блоком для следующего;

витрины данных, созданные в первую очередь для проблемных областей, позволяют решать наиболее важные задач в деятельности компании.

Главной задачей проектирования витрин данных является создание структуры данных эффективной для целей анализа. Проектирование витрины данных заключается в создании таблиц измерений, таблиц фактов, определении связей между ними и связи готовой базы данных с единым хранилищем данных.

Поэтому элементы метаданных этого пакета должны описывать в первую очередь структуру каждой витрины данных (имеющиеся таблицы фактов и измерений). Дополнительно для целей объединения ВД описываются имеющиеся таблицы общих измерений.

7. Пакет «Информация о прикладных задачах»

Спектр прикладных задач анализа очень широк, а способы применения ХД для решения различных прикладных задач весьма разнообразны. Не смотря на это, выделяют следующие основные подходы использования ХД для целей анализа:

Регулярные отчеты. Многократная подготовка периодических отчетов стандартных форм;

Нерегламентированные запросы. Нестандартные запросы, не учтенные в ходе разработки информационной системы;

Интеллектуальный анализ данных. Анализ больших массивов данных с целью выявления скрытых закономерностей, структур и объектов, а также построения моделей, прогнозов и т.д. Для решения различных прикладных задач анализа в среде ХД используются аналитические приложения, расположенные на уровне прикладных задач (ПЗ).

Это приложения статистического и многомерного анализа, а так же средства планирования и подготовки отчетности. В среде ХГД также должны быть представлены инструменты пространственного анализа.

структурированными определенным образом, например, многомерному анализу необходимы кубы данных; статистический анализ работает с рядами данных, а моделирование использует реляционные таблицы.

Следует отметить, что помимо очистки данных перед их загрузкой в хранилище, пользователь может выполнить дополнительную очистку средствами аналитической системы уже после выполнения запроса к ВД 2, которая направлена на подготовку данных к решению конкретной аналитической задачи.

8. Пакет «Информация о визуализации данных»

Визуализация – представление данных в виде, обеспечивающем наиболее эффективную работу пользователя. Способ визуализации должен максимально Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 42 с.

Там же 108 с.

полно отражать поведение исследуемых данных, а также содержащуюся в них информацию, тенденции и закономерности 1. Выбор способа визуализации зависит от характера данных и задач анализа.

В информационных системах на основе хранилищ данных целесообразно использовать визуализацию практически на всех этапах работы с данными.

Визуализация исходных данных. Визуализация данных ИД позволяет определить их соответствие ожиданиям аналитика, оценить степень пригодности для анализа. К целям этой визуализация относится определение необходимости применения к данным дополнительной очистки и предобработки, а так же метод загрузки данных в аналитическое приложение. Для визуализации данных ИД могут применяться приложения в которых созданы данные, или сами аналитические приложения.

Визуализация данных, загруженных в аналитическое приложение. Цели визуализации на этом этапе проверка правильности загрузки данных, оценка степени их гладкости, наличие шумов и аномальных выбросов. По результатам визуального анализа исходной выборки делаются выводы о целесообразности применении видов очистки и трансформации данных, вырабатывается методика и стратегия их анализа 2.

Визуализация данных в процессе аналитической обработки. Данный вид визуализации применяется в случае многошаговости процедуры анализа, что позволяет изучать промежуточные результаты анализа.

Визуализация результатов анализа. После получения конечных результатов аналитической обработки следует убедиться в их достоверности и верной интерпретировать. Следует заметить, что в случае неудачного выбора метода визуализации не получиться интерпретировать результаты анализа, а так же увидеть в них зависимости и закономерности.

Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 173 с.

Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 175 с.

Метаданные этого пакета описывают применяемые способы визуализации данных в ХГД. В настоящее время существует ряд методов визуализации, которые удобно рассматривать в контексте решаемых задач. В связи с этим выделяют следующие группы методов визуализации:

общего назначения (решение типовых задач анализа);

OLAP-анализ (визуализация многомерных данных);

оценка качества моделей;

интерпретация результатов анализа.

Особенность визуализации данных в ХГД связана с необходимостью отображения взаимодействия исходных данных и результатов их анализа с применением картографического материала. В настоящее время для визуализации данных в системах использующих хранилища данных применяются ГИС, либо растровый слой данных в качестве картографической основы.

9. Пакет «Информация о профилях пользователей»

Элементы метаданных, содержащиеся в этом пакете, применяются для организации доступа к данным, циркулирующим в ХГД. Эти метаданные относятся к группе административных метаданных. Требования к их составу формируются исходя из состава пользователей информационной системы.

Дополнительно метаданные описывают процедуру авторизации (authorization) – предоставление определенных полномочий пользователю на выполнение ряда действий в информационной системе. С помощью авторизации устанавливаются права доступа к ресурсам информационной системы.

Процедуры аутентификации (проверки подлинности) и идентификации (распознавания субъекта по его идентификатору) пользователей информационной системы позволяют обезопасить хранение и доступ к данным.

CI_RoleCode определяющий ответственных субъектов, выполняющих операции над описываемым набором данных. Одновременно существуют исторически сложившиеся группировки пользователей хранилищ данных (администратор хранилища данных, аналитик ИПЗ, аналитик данных и т.д.), в связи с чем, необходимо расширить перечень субъектов и их ролей в ХГД.

Вышеописанный и приведенный в таблице 2.3 набор пакетов метаданных не является исчерпывающим, поскольку их состав зависит от особенностей проектируемой информационной системы.

Таблица 2.2. Базовый набор элементов метаданных Описание предметной области 1. Описание информационных и материальных объектов информационной системы предметной области в терминах пользователей;

Описание архитектуры 1. Описание положения серверов, рабочих станций и информационной системы источников данных;

Описание структуры 1. Описание структуры набора данных в источнике Описание семантики 1. Описание применяемой системы координат;

источников данных 2. Описание содержания набора данных;

Пакет «Информация о системе извлечения, преобразования и загрузки данных»

Описание критериев выборки 1.Описание процесса выгрузки данных;

данных из источника 2.Описание правил конвертации в обменный формат;

Описание преобразования 1.Определение соответствия сущностей (атрибутов) ИД и Описание загрузки данных 1.Описание правил фильтрации;

Описание семантики и 1.Описание таблиц, атрибутов и ключей реляционной структуры хранилища данных базы данных, хранящей детальные данные;

Описание алгоритмов работы 1.Описание применяемой системы координат;

хранилища данных 2.Описание алгоритма переноса данных в архив;

Пакет «Информация о системе выгрузки, реструктуризации и доставки данных»

Описание алгоритмов работы 1.Описание причин выполнения выгрузки данных;

системы ВРД 2.Описание критериев выгрузки данных;

Пакет «Информация о системе предоставления данных»

Описание семантики и 1.Описание предметной области витрин данных;

структуры витрин данных 2.Описание структуры данных целевых баз данных.

Описание инструментов 1.Описание регулярных отчетов анализа в зависимости от 2.Описание инструментов подготовки решаемых задач нерегламентированных запросов Описание способов 1.Описание способов реорганизации структуры данных реорганизации для систем для многомерного анализа;

анализа в зависимости от 2.Описание способов реорганизации структуры данных решаемых задач для статистического анализа Описание способов 1.Описание методов визуализации исходных данных;

визуализации данных 2.Описание методов визуализации данных, загруженных Пакет «Информация о профилях пользователей»

Описание субъектов 1.Субъект, ответственный за создание данных работающих с данными (метаданных) и способы связи с ним;

(метаданными) 2.Субъект, использующий набор данных и способы связи Описание настроек 1.Информация о настройках безопасности;

безопасности данных 2.Информация об аутентификации и идентификации;

На рисунке 2.5 изображены пакеты метаданных, условно разделенные на три уровня. На первом уровне расположены пакеты, связанные с хранением и представлением данных, содержащие семантическое или/и структурное описание данных. Второй уровень содержит пакеты, связанные с изменениями структуры данных. Третий уровень представлен пакетами, относящимися практически ко всем пакетам, расположенным на первых двух уровнях.

Рисунок 2.5. Пакеты базового набора метаданных К созданию метамодели целесообразно приступать после сбора требований к метаданным. Выделяют три способа создания метамодели:

ручное создание метамодели ХД;

создание метамодели ХД, основываясь на стандартах;

одновременное создание метамодели ХД и метамодели БМД.

В третьем случае построенная метамодель БМД становится основой для построения БМД хранилища данных.

На практике, следовать стандартам бывает очень сложно, к тому же спецификация CWM не учитывает особенностей пространственных данных. В этой связи целесообразно создавать метамодель БМД ХГД одновременно с проектированием метамоделью ХГД, а также с учетом требований стандартов по геоинформатике, международных стандартов ISO и спецификаций OpenGIS.

В качестве выводов ко второй главе можно сказать, что опираясь на функции выполняемые метаданными, архитектурную концепцию и схему движения информации, был сформирован набор элементов метаданных, являющий по существу требованиями к их составу. На основе этого набора в следующей главе необходимо построить метамодель БМД.

Дополнительно при определении состава каждого пакета метаданных использовались стандарты по геоинформатике, что позволяет учитывать особенности геоданных.

Таким образом, только выполнив требования стандарта ГОСТ 52573-2006, систематизировав метаданные в соответствии с типовым содержанием БМД, выбрав ее архитектуру, а также способ поддержки метаданных в актуальном состоянии, можно построить полнофункциональную базу метаданных хранилища геоданных.

Глава 3. Разработка и исследование методики проектирования Основной целью третьей главы является создание методики проектирования БМД и концептуальной модели (схемы) БМД. Дополнительно в главе проведен сравнительный анализ созданной методики с существующими.

Понятие «методика» схожа с понятием «технология» и представляет собой изготовление конечного продукта.

Под конечным продуктом в данной работе понимается БМД ХГД, неотъемлемый компонент информационной системы создаваемой на основе хранилища данных, поэтому процесс ее создания не может рассматриваться в отдельности от процесса создания всей информационной системы (далее – ИС).

основываться на определенном в предыдущей главе базовом наборе метаданных.

Алгоритм предусматривает последовательность создания и заполнения пакетов метаданных этого набора.

Построение любой ИС регламентируется методологией построения, цель которой заключается в описании процесса проектирования ИС и обеспечении управления эти процессом.

Методология может основываться на различных подходах к проектированию ИС, среди которых наиболее распространены:

структурное проектирование (функционально-модульный подход);

объектно-ориентированное проектирование1.

Функционально-модульный подход основан на построении отдельных модулей с последующей их увязкой в единую систему. Каждый модуль Поляков А.А., Цветков В.Я. Прикладная информатика: учебно-методическое пособие в 2-х частях / Под общ. ред.

Тихонова А.Н. – М.: МАКС Пресс, 2008 – 1 ч.

представляет собой независимую часть системы, имеет самостоятельные функции, обеспечивающие обработку информации независимо от других модулей 1.

В основу объектно-ориентированного подхода к проектированию ИС положены разработка, анализ и спецификация концептуальной объектноориентированной модели предметной области. В настоящее время получил распространение стиль проектирования ИС, когда модели становятся основой разработки, из которых в последствие генерируется код. Такой способ называется разработка управляемая моделями MDE (Model Driven Development).

Наиболее известными инициативами по разработке управляемой моделями программного обеспечения MDA (Model Driven Architecture) и основанная на Eclipse – EMF (Eclipse Modeling Framework).

Согласно техническому отчету CEN/TC 287 для создания инфраструктуры пространственных данных предлагается применять подход, основанный на архитектуре, управляемой моделями, которая определена консорциумом OMG 3.

Одновременно этот подход обеспечивается серией стандартов (EN) ISO применяемых в геоинформатике. Поэтому, в данной работе подход MDA будет описан более подробно.

В независимости от выбранной методологии создание информационных систем – это процесс построения и последовательного преобразования нескольких согласованных моделей на всех этапах проектирования ИС.

Выделяют следующие этапы проектирования ИС:

Поляков А.А., Цветков В.Я. Прикладная информатика: учебно-методическое пособие в 2-х частях / Под общ. ред.

Тихонова А.Н. – М.: МАКС Пресс, 2008 – 1 ч.

Там же.

Технический отчет Comite European de Normalisation CEN/TC 287 Географическая информация – Стандарты, спецификации, технические отчеты и основные принципы, необходимые для реализации Инфраструктуры пространственных данных. – Brussel. – 2006.

1. Разработка требований. На этапе планирования создания ИС проводится анализ задач для решения, которых создается ХГД. Анализ задач предполагает идентификацию и определение пространственных объектов, информация о которых будет использоваться в ходе анализа. На данном этапе проводится исследование и описание предметной области, с которой будет работать ИС.

2. Разработка архитектуры. В соответствии с собранными требованиями к предметной области формируется функциональная архитектура и системная архитектура ИС.

3. Реализация. Разработка и настройка компонентов ИС, создание и наполнение баз данных.

4. Тестирование. На данном этапе происходит опытная эксплуатация ИС.

Комплексная отладка компонентов ИС, поэтапное внедрение ИС в эксплуатацию.

корректировка недоработок и ошибок, оформление новых требований к модернизации ИС.

Все этапы проектирования или жизненный цикл любой ИС описываются моделями жизненного цикла, определяющими взаимосвязь и последовательность выполнения процессов, действий и задач на всей его протяженности.

Модель жизненного цикла – структура, содержащая процессы, действия и сопровождения ИС.

Среди основополагающих моделей жизненного цикла выделяют:

каскадную модель;

итеративную модель;

спиральную модель.

Выбор модели жизненного цикла зависит от масштаба и специфики создаваемой ИС. Например, в своей работе «Построение хранилища данных» Б.

Инмона привел пример развертывания хранилища данных под названием Поляков А.А., Цветков В.Я. Прикладная информатика: учебно-методическое пособие в 2-х частях / Под общ. ред.

Тихонова А.Н. – М.: МАКС Пресс, 2008 – 1 ч.

«Феномен от первого дня до n-ного дня» 1. По его мнению, хранилища данных не создаются внезапно, а разрабатываются и заполняются, шаг за шагом в течение длительного времени.

Первый день. В самом начале существуют лишь разрозненные источники данных, осуществляющие операционные и транзакционные процессы.

Второй день. Далее заполняется несколько таблиц выбранной предметной информация вызывающая интерес у пользователей, работающих в данной предметной области. Пользователи все чаще обращаются к хранилищу данных для аналитической обработки данных.

Третий день. К этому моменту заполняется большая часть хранилища данных, а с увеличением данных все большее количество пользователей обращается к нему. Одновременно с новыми пользователями к использованию ХД присоединяются СППР аналитики.

Четвертый день. К этому времени практически всё ХД заполнено. Остается поместить в ХД только данные из зоны временного хранения (ЗВХ). Теперь ХД становиться единственным источником данных для выполнения аналитической работы. Быстро растут все виды СППР приложений. Возрастает количество пользователей и запросов к ХД (вместе с увеличением объема данных), что приводит к возникновению трудностей по доступу к нему.

Пятый день. На этом этапе запускаются тематические базы данных (витрины данных или OLAP кубы). Структурные подразделения понимают, что это выгоднее и доступнее, и переводят данные из ХД в собственную среду обработки данных. Поскольку данные переходят на уровень подразделения, ими пользуются только несколько аналитиков из этого подразделения.

Шестой день. Начинается стремительное движение подразделений к собственным многомерным системам, и вскоре конечные пользователи вообще не обращаются за данными в ХД.

Inmon B. W. Building the Data Warehouse / second edition / QED Publishing Group, 1996.

N-ный день. Через какое-то время полностью сформировывается архитектура среды ХД. Все, что остается от исходного набора источников данных – это операционная обработка данных. Хранилище полностью заполнено данными.

Прямых потребителей ХД остались единицы (администраторы ХД и т.п.).

Появилось много структурных баз данных. Большая часть СППР аналитической обработки производится на уровне подразделений.

Конечно, этот переход занимает много времени, может быть – несколько лет.

Но описанное явление – это идеальный способ создания ХД, несмотря на то, что существует много других путей. Это – первоначальное создание витрин данных, а потом самого хранилища данных, но этот путь является более трудоемким.

Из приведенного примера видно, что для построения ХГД целесообразнее использовать итерационную модель.

Исходя из применяемой модели жизненного цикла, выбирают методологию построения. Выбор методологии построения ХГД выходит за рамки данной работы, так как зависит от многих внешних факторов. При этом какая бы методология не была выбрана, при создании ХГД необходимо пройти все этапы проектирования ИС.

На рисунке 3.1 изображен алгоритм действий в ходе одновременной разработки ХГД и БМД на этапах разработки требований, разработки архитектуры и реализации ИС.

В целях более подробного разъяснения изображенного алгоритма, далее в таблице 3.1 приведен пример проектирования БМД одновременно с развертыванием ХГД на всех этапах жизненного цикла.

Рисунок 3.1. Алгоритм действий по проектированию БМД Таблица 3.1. Пример проектирования БМД во время проектирования ХГД

РАЗРАБОТКА ТРЕБОВАНИЙ К ИНФОРМАЦИОННОЙ СИСТЕМЕ

Требования к предметной области.

На этом этапе проводится исследование и (репозитория) базы метаданных. Все моделирование предметной области. сформулированные требования заносятся в Модель предметной области отражает: БМД и становятся бизнес метаданными.

- состав материальных и информационных Заполняются следующие элементы пакета - взаимосвязь действий по преобразованию области».

объектов;

- взаимодействие организационных единиц и персонала;

- расположение и способы взаимодействия технических средств.

Технические требования.

Происходит сбор технических требований к которые будут храниться в хранилище.

- роли и права пользователей среды заносятся в БМД и становятся системными хранилища данных (требования к метаданными ряда пакетов: «Информация о безопасности информации расположенной в профилях пользователей», «Информация о - требования к производительности ИС; системе представления данных» и - требования к детализации данных, «Информация о визуализации данных».

расположенных в ХД.

РАЗРАБОТКА АРХИТЕКТУРЫ ИНФОРМАЦИОННОЙ СИСТЕМЫ

Требование к архитектуре.

Создается архитектурная модель будущей место в общей архитектуре предприятия.

системы, описывается место основных Все сформулированные требования информационных систем играющих роль заносятся в БМД и становятся источников данных. Все это записывается в техническими метаданными. Заполняются виде модели архитектуры ИС. элементы метаданных пакета «Информация Происходит документирование положения серверов, рабочих станций, информационных потоков в ИС: источников данных и размещение на них - выходной поток (ВРД), а так же в самом хранилище данных:

- поток обобщения (агрегирования) данных;

- архивный поток;

- поток метаданных.

Эта информация записывается в виде моделей движения информации.

РЕАЛИЗАЦИЯ ИНФОРМАЦИОННОЙ СИСТЕМЫ

Опираясь на сформулированные требования Заполняются следующие элементы к предметной области, технические метаданных:

требования и построенные архитектуры предприятия и движения информации, можно начать создавать детальные данные;

концептуальную, логическую и физическую модели данных для хранилища. данных) хранилища данных, хранящего После создания проекта модели хранилища можно сгенерировать схемы «звезда»

(«снежинка», «созвездие») и кубы для витрин данных.

Начинается анализ источников данных. Заполняются следующие элементы Воссоздаются модели данных исходных метаданных:

систем, профилируются данные.

Задаются схемы переноса данных из Заполняются следующие элементы исходных систем в модель данных метаданных:

хранилища, задание схем ИПЗ можно выполнять с помощью схемы движения информации.

Выверяются архитектурная модель, модели Все изменения учитываются в БМД.

данных витрины данных, бизнестребования и бизнес-правила в схемах ИПЗ.

Хранилище заполняется данными из В БМД вносятся сведения о поступивших

ТЕСТИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ

Тестируется функциональность По результатам первоначальной работы тематических наборов данных в витринах хранилища накапливаются статистические данных. После того как проверены все сведения, которые ложатся в основу схемы преобразования данных, оставшиеся технических метаданных.

проблемы качества данных исследует аналитик качества данных.

Аналитик качества данных работает с Обнаруженные проблемы качества данных проблемами, информация о которых отмечаются в метаданных, что позволяет тестировщиков, в результате использования разработке процедур, считывающих средства профилирования данных и соответствующие данные.

регулярного ввода специальных запросов контроля качества данных.

ВВОД ИНФОРМАЦИОННОЙ СИСТЕМЫ В ДЕЙСТВИЕ

Протестированная ИС вводится в рабочее Созданный навигатор доступа к БМД Из данного примера видно, какую большую роль играют метаданные в процессе проектирования ХГД. Все участники этого процесса должны иметь общий доступ к БМД для оперативного внесения изменений и получения необходимых сведений о них. Согласованность при взаимодействии разных компонентов среды хранилища данных, достигается путем применения общей модели базы метаданных, т.е. метаданные разных компонентов среды ХД (источников данных, системы ИПЗ, системы ВРД и т. п.) являются элементами единой метамодели (или средства моделирования) хранилища данных.

Создаваемая OMG концепция модельно-ориентированного подхода к разработке программного обеспечения хорошо подходит для создания ИС на основе ХГД, поэтому рассмотрим её подробнее.

Термин «архитектура» не относится к смоделированной архитектуре ИС, а скорее к архитектуре различных стандартов и форм моделей, которые служат технической основой для нее. Смысл концепции заключается в создании абстрактной метамодели управления (обмена) метаданными, а также определении способов ее трансформации в технологии программирования. Частью концепции MDA является, спецификация CWM.

В основе CWM лежит тот же модельно-ориентированный подход к обмену метаданными, в соответствии с которым объектные модели, представляющие метаданные разных компонентов среды ХД, строятся в соответствии с метамодели 1.

Спецификация CWM выражена на языке UML, и одновременно с помощью пакета Объектная модель (Object Model), расширяет базовую метамодель UML.

Получается версия метамодели UML, в которой удалены аспекты не нужные в ХД. Пакет Объектная модель служит основой, построения всей метамодели CWM (самым нижним уровнем), а также метамоделью для объектноориентированных источников данных. Поэтому спецификацию CWM можно характеризовать как язык, применяемый для описания моделей хранилищ данных.

Спецификация UML также используется следующими способами:

для схематических представлений метамодели CWM;

для дополнительных ограничений на метамодель CWM с помощью языка OCL, определенного в спецификации UML.

Другой стандарт OMG – это MOF – стандарт описания метамоделей, определяющий общие интерфейсы и семантику для дальнейшего взаимодействия метамоделей. MOF специальный язык, используемый OMG для определения других языков моделирования, в том числе UML Стандарт XMI определяет правила преобразования метамоделей MOF в XML.

На примере четырехуровневой архитектуры моделирования (таблица 3.2), можно показать, взаимоотношения стандартов UML, MOF и CWM.

Горчинская О., Наумов Е. Стандарт OMG CWM для обмена метаданными в хранилищах данных и его практическое применение // II Всероссийская практическая конференция Стандарты в проектах современных информационных систем (системное проектирование, управление качеством и проектами, информационные технологии).

Таблица 3.2. Четырехуровневая архитектура моделирования уровень моделирования Мета-метаописывается метамодель Одновременно учитывая, что метамодель CWM находится на один уровень выше по отношению к модели UML используемой в стандарте ГОСТ Р 52573- для представления пространственных метаданных, в ходе исследования будем применять требования этого стандарта к модели, построенной на основе метамодели CWM.

Главная цель спецификации CWM – определить метамодель («модель метаданных») общей архитектуры среды ХД. Таким образом, метамодель CWM определяет формальные правила для моделирования отдельных примеров хранилищ данных.

Спецификация CWM рассчитана на шесть категорий пользователей, в том числе на разработчиков ХД. Все эти категории пользователей участвуют в одной (или более) из четырех, рассмотренных ранее, этапов создания ИС.

Сама метамодель имеет модульную структуру. Под модулем в данном случае понимается отдельная метамодель, предназначенная для представления определенного типа метаданных хранилища 1. Каждая метамодель реализована в виде UML-пакета, а каждый пакет содержит набор базовых метаклассов.

Все метамодели расположены по пяти уровням (рисунок 3.2.). Каждый вышележащий уровень находиться на большем уровне абстракции, чем предыдущий.

Любой метакласс в пределах всей метамодели CWM косвенно (или непосредственно) наследует свойства некоторого метакласса пакетов уровня Объектная модель.

Уровень Основа (Foundation) содержит пакеты, которые хранят метаклассы, представляющие общие концепции и структуры, доступные другим пакетам CWM. Поэтому метаклассы этого уровня более универсальны, чем метаклассы пакетов верхних уровней. Уровень состоит из следующих метамоделей:

специальных типов данных;

информации об элементах модели, доступные всем пакетам CWM. Метамодель описывает бизнес услуги, разработанные для поддержки требований хранилищ данных и систем бизнес-анализа;

Горчинская О., Наумов Е. Стандарт OMG CWM для обмена метаданными в хранилищах данных и его практическое применение // II Всероссийская практическая конференция Стандарты в проектах современных информационных систем (системное проектирование, управление качеством и проектами, информационные технологии).

Ключи и индексы (Keys and Indexes) представлены как средства для определения экземпляров и идентификации их альтернативных классификаций для разделения среди применяющих их моделей данных. Уровень определяет основные понятия (уникальность и отношение) на которых могут быть построены более определенные ключевые структуры;

Выражения (Expressions) оказывает базовую поддержку для определения деревьев выражений. Идея этой метамодели в обеспечении места для других пакетов;

Системное преобразование типов (Type Mapping) определяет новые элементы моделирования, которые позволяют нам создать модели отображений между несходными системы типов (очевидно метамодель необходима для гарантии функциональной совместимости между несходными программными инструментами и платформами).

Развертывание программного обеспечения (Software Deployment) облегчает моделирование ориентированных на компонент приложений и их развертывание через узлы поставляемых компьютерных платформ.

Ключевой пункт этого уровня заключается в определении всех понятий на очень абстрактном уровне архитектуры CWM, что позволяет использовать их в более определенных контекстах.

Уровень Ресурс (Resource) предоставляет средства для моделирования существующих или новых источников данных, а также реляционных баз данных (Relational), ориентированных на запись баз данных (Record), многомерных баз данных (Multidimensional), а также основанные на объектах (Object Model) и XML-документат источников данных. Однако объектно-ориентированные базы данных явно не представляются, так как метамодель Object Model как подмножество UML, переполнена объектно-ориентированными понятиями моделирования. Не смотря на это можно использовать CWM для определения любого представления метаданных источников данных различных типов.

Уровень Анализ (Analysis) предоставляет средства для моделирования алгоритмов работы аналитических приложений, используемых в ХД. Уровень состоит из следующих метамоделей: Трансформация (Transformation), OLAP, Data Mining, бизнес номенклатура (Business Nomenclature) и визуализация информации (Information Visualization).

Уровень Управление (Management) состоит из метамоделей, позволяющих описывать стандартные процессы и операции проходящие в ХД. Уровень состоит всего из двух метамоделей: операция хранилища (Warehouse Operation) и процесс хранилища (Warehouse Process).

В спецификации CWM описания каждого пакета используется диаграмма классов (Class Diagram). Эта диаграмма описывает типы объектов в системе и различные виды статических отношений, которые между ними существуют.

Диаграмма классов также показывает свойства и операции классов (в данном случае метаклассов) и ограничений которые применимы к связям между объектами1.

Одновременно в целях наглядности в спецификации приведены примеры применения метамоделей CWM в виде диаграмм объектов. Диаграмма объектов является изображением объектов в информационной системе в определенный момент времени. Поскольку диаграмма показывает экземпляры, а не классы, её называют диаграммой экземпляров (Instance Diagram). 2 В свою очередь экземпляры метаданных используются для обмена между компонентами среды ХД.

метаданных) с помощью метамодели CWM используем таблицу 3.3 «Население Московской области (1989 – 1991 годов)». Эта реляционная таблица является атрибутивной частью одноименного векторного слоя, импортированной из ГИС, и будет источником данных для ХГД.

Таблица 3.3. «Население Московской области (1989 – 1991 годов)»

Фаулер М., Кендалл С. UML. Основы. Краткое руководство по унифицированному языку моделирования / ISBN 5-93286-032-4.

Там же.

Для создания метаданных описывающих реляционную таблицу «Население»

необходимы следующие метамодели CWM: Relational, KeysIndexes и Core.

На рисунке 3.3 изображена диаграмма классов пакета Relational (из диаграммы исключены классы не участвующие в данном примере). Для создания модели реляционной таблицы используем следующие метаклассы этого пакета:

Колонка (Column), Таблица (Table), Первичный ключ (PrimaryKey) и Уникальное ограничение (UniqueConstraint).

В пакете KeysIndexes используем обобщающий метакласс Уникальный Ключ (UniqueKey), а в пакете Core используем обобщающие метаклассы Атрибут (Attribute) и Класс (Class).

структурированные характеристики (features), имеющие начальное значение. В нашем случае характеристика это колонка, а ее начальное значение – название колонки.

Характеристики принадлежат классификаторам (Classifieds), которые в свою очередь входят в состав пространства имен (Namespaces) и являются элементами общей модели (ModelElement).

многочисленное количество экземпляров. В нашем примере экземпляров реляционных таблиц может быть много, поэтому таблица – это классификатор, имеющий много вариантов представления.

На рисунке 3.4 изображена диаграмма экземпляров реляционной таблицы «Население» с шестью колонками.

Рисунок. 3.4. Диаграмма экземпляров реляционной таблицы аналогично создаются модели для объектно-ориентированной таблицы, ориентированной на запись таблицы, многомерной таблицы и XML документов.

Таблица 3.4. Понятие эквивалентности классификаторов Object Relational Record Multidimensional В случае описания физического развертывания реляционной таблицы дополнительно используется пакет CWM: SoftwareDeployment. Диаграмма экземпляров будет выглядеть следующим образов (рисунок 3.5.).

Рисунок. 3.5. Диаграмма экземпляров физического развертывания Следующий шаг – это создание профиля метаданных в виде XML-схемы.

Реализация методики состоит в кодировании полученной UML-модели профиля метаданных (диаграммы экземпляров) в XML-схему.

Полученные наборы XML-схем в виде файлов XSD-формата (XML Schema Definition), сгруппированные по различным пространствам имен, используются для разработки баз метаданных и программных средств поддержки метаданных.

В таблице 3.5 приведены примеры использования пакетов метамодели CWM для описания метаданных.

Таблица 3.5. Примеры применения пакетов метамодели CWM (за Пакеты сформированного набора Применяемые для описания метаданных Описание предметной области ИС Business Nomenclature Описание структуры и семантики Relational, Record, Object-Oriented (UML), XML Описание критериев выборки данных из Warehouse Process, Warehouse Operation источника, преобразования и загрузки Business Nomenclature Описание семантики, структуры и Relational, Multidimensional алгоритмов работы хранилища данных Software Deployment Описание алгоритмов работы системы Relational, Multidimensional выгрузки, реструктуризации и доставки Transformation, OLAP Описание семантики и структуры витрин Relational, Multidimensional Описание способов реорганизации для Relational, Record, XML систем анализа в зависимости от решаемых Transformation, OLAP Описание способов визуализации данных Information Visualization Описание субъектов работающих с Business Information данными (метаданными) возможности применения для создания метаданных ХГД элементов метаданных предложенных ГОСТ Р 52573-2006.

Пространственные метаданные, создаваемые с применением этого стандарта, описывают наборы пространственных данных, в то время как хранилище данных имеет дело с объектами (и их свойствами) этих наборов данных. Например, в качестве элементарных единиц могут выступать базовые типы пространственных объектов (Simple Features) предложенные стандартом, разработанным OpenGIS.

В этой связи метаданные описывающие наборы данных в источниках, хранилище и витринах данных должны быть детализированы до уровня описываемых ими объектов или событий.

Для этих целей используется пакет MD_DataIdentification содержащий информацию, позволяющую идентифицировать данные в наборе данных.

представления данных, множество значений этой сущности составляют:.

Для описания представления данных используемых в ХГД список значений сущности SpatialRepresentationType можно дополнить следующими значениями:

Композитом этого пакета является сущность EX_Extent, содержащая (EX_TemporalExtent) и высотной (EX_VerticalExtent) протяженности данных.

В свою очередь описание географической протяженности набора данных подразделяется на следующие составляющие: EX_BoundingPolygon, EX_GeographicBoundingBox и EX_GeographicDescription.

ограничивающий данные и выраженный в координатах (x,y) как замкнутое множество координат (x,y) полигона (последняя точка совпадает с первой), можно использовать как MBR (Minimum Bounding Rectangles), дополнительно описав включенные в его состав объекты.

координаты данных, можно применять в случае описания векторного представления данных. Например, начальную и конечную координаты вектора.

протяженность с использованием идентификаторов, можно использовать в случае описания растрового или табличного (код по классификатору топографической информации) представления данных.

Также обязательно использовать сущности EX_TemporalExtent.extent и MD_Metadata.dateStamp и MD_Usage.usageDateTime описывающие дату (время) создания, применения или обновления данных (метаданных) – это связано с необходимостью поддержки хронологии в хранилище данных.

Еще одним композитом пакета MD_DataIdentification является сущность LI_Source, описывающая источники данных. В случае применения в качестве источника данных обменного файла целесообразно ввести дополнительные сущности, например, описывающие структуру этого файла в виде последовательности массивов цифровой информации.

Для подобных целей можно использовать пакет MD_Format (форма представления данных) в случае использования разных типов обменных файлов.

Идентифицировать данные можно по их принадлежности к предметной MD_TopicCategoryCode. Использование в ХГД собственного классификатора пространственных объектов в рамках нормативно-справочной информации не позволяет исключить этот пакет из состава метаданных. Наоборот его можно использовать, например, в целях создания непространственных иерархий.

К основной информации, уникально идентифицирующей набор данных, также относятся сведения о его статусе (состоянии) представленные в пакете MD_ProgressCode. При описании состояний данных в процессах, проходящих в ХГД, придется использовать большее количество описаний, так как состояний данных намного больше. Поэтому целесообразно расширить список значений этого пакета. Например,.

Ограничения на использование данных и метаданных предусмотренные пакетом MD_ Constraints получат новое видения в среде ХГД. Если ранее существовали ограничения связанные по законодательству и по секретности, то теперь аналогично с наличием или отсутствием прав доступа пользователей к данным и метаданным.

Пакет MD_MaintenanceFrequencyCode описывает частоту обновления данных и метаданных после их создания. Так как от частоты обновления источников данных зависит частота обновления хранилища и витринах данных, сведения из этого пакет можно применять для формирования метаданных содержащих такие сведения для хранилища и витрин данных.

Элементы метаданных предусмотренные профилях пользователей» схожи с элементами метаданных в пакетах CI_RoleCode (функции ответственных субъектов), CI_Contact (контактная (местонахождение), CI_Telephone (контактный телефон) и CI_ResponsibleParty (информация о субъекте, ответственном за набор данных).

Учитывая, что метаданным в среде ХГД необходимо дополнительно описывать действия всех субъектов ответственных за создание, использование, изменение и распространение данных (метаданных), а так же способы связи с ним, потребуется расширение существующих или ввод новых элементов метаданных. Для этого список значений функций ответственных субъектов необходимо дополнить значениями, используемыми в среде традиционного ХД.

В случае описания процессов извлечении, преобразования и загрузки данных с помощью метаданных системы ИПЗ сущность, описывающая эти метаданные, станет источником информации для пакетов MD_DigitalTransferOptions (технические характеристики набора данных и носителей информации), LI_ProcessStep MD_MaintenanceInformation (обновление данных и метаданных).

MD_StandardOrderProcess описывающий способы получения набора данных, соответствующие инструкции и информацию об оплате, так как в среде ХГД доступ данных зависит исключительно от пользовательских прав доступа. Пакет MD_Distribution, являющийся агрегатом предыдущего пакета, также исключается, так как в нем остаются только дублируемые сведения о контактной информации.

Основываясь на проведенном выше анализе возможности применения для создания метаданных ХГД элементов метаданных ГОСТ Р 52573-2006 построим на рисунке 3.5 схему базы метаданных хранилища геоданных.

На рисунке 3.6 построена общая концептуальная схема БМД, основываясь на сформированном во второй главе наборе метаданных.

Рисунок 3.5. Схема базы метаданных хранилища геоданных Рисунок 3.6. Общая концептуальная схема БМД среды ХГД По результатам третьей главы можно сделать следующие выводы. Методика проектирования базы метаданных хранилища геоданных должна основываться на методологии проектировании имеющей функционально-модульный подход. Для этих целей наилучшим образом подходит концепция модельно-ориентированного подхода к разработке программного обеспечения MDA (Model Driven Architecture).

Создание ИС представляет собой процесс построения и последовательного преобразования ряда моделей на всех этапах проектирования ИС: разработка требований, разработка архитектуры, реализация, тестирование и ввод в действие.

Учитывая, сложность и трудоемкость развертывая хранилищ данных, целесообразно при выборе модели жизненного цикла, использовать итерационную или спиральную модель.

Проектировать БМД хранилища данных на всех этапах жизненного цикла. Это позволяет всем участникам процесса разработки иметь общий доступ к БМД для оперативного внесения изменений и получения необходимых сведений о них.

Частью концепции MDA является спецификация CWM, предназначенная для обмена метаданными между различными программными продуктами и репозиториями, участвующими в создании общей среды хранилища данных.

Учитывая, что метамодель CWM находится на один уровень выше по отношению к модели UML используемой в стандарте ГОСТ Р 52573-06 для представления пространственных метаданных, необходимо требования стандарта только к модели, построенной на основе CWM.

На основе проведенного анализ возможности применения элементов метаданных предложенных ГОСТ Р 52573-2006 для описания метаданных в среде ХГД, были построены – общая концептуальная схема БМД среды ХГД и схема, описывающая только метаданные самого хранилища геоданных.

Результатом достижений последнего времени в области технологий сбора пространственно-временной информации является постоянно растущий объем геоданных. Одним из решений задачи по подготовке геоданных к анализу являются исследования связанные с созданием хранилищ геоданных.

Не смотря на то, что исследования в данной области велись в основном в прошлом десятилетии, в настоящее время этот вопрос не теряет своей актуальности. Например, это обусловлено необходимостью интеграции несопоставимых и нескоординированных между собой пространственных данных в ходе создания ИПД на основе хранилища геоданных.

Целью диссертационной работы является разработка и исследование методики проектирования базы метаданных хранилища геоданных (далее – БМД ХГД) в составе информационных ресурсов, образующих основу для создания и применения ИПД.

Дополнительно актуальность темы диссертационной работы обусловлена:

способностью метаданных, описывать только характеристики пространственных данных и объектов, а также ограниченными возможностями существующих методик проектирования БМД ХГД.

Для достижения поставленной цели в работе были сформулированы и решены следующие задачи:

Проведение сравнительного анализа исследований в области хранилищ геоданных и баз метаданных.

Формирование базового набора метаданных необходимого для создания Разработка общей концептуальной модели БМД ХГД в виде диаграммы Описание алгоритма применения базового набора метаданных на этапах развертывания хранилища геоданных.

10. Проведение сравнительного анализа разработанной методики с существующими методиками проектирования.

В первой главе был проведен сравнительный анализ исследований в области хранилищ геоданных и баз метаданных. Это позволило сформировать единый подход к проектированию всей среды хранилища геоданных и базы метаданных в частности.

Результатом осуществления исследований функций выполняемых метаданными, многоуровневой архитектурной концепции информационного хранилища данных и схемы движения информации во второй главе был сформирован базовый набор элементов метаданных. Дополнительно при определении состава пакетов метаданных использовались стандарты по геоинформатике, что позволяет учитывать особенности геоданных.

Таким образом, только выполнив требования стандарта ГОСТ 52573-2006, систематизировав метаданные в соответствии с типовым содержанием БМД, выбрав ее архитектуру, а также способ поддержки метаданных в актуальном состоянии, можно построить полнофункциональную базу метаданных хранилища геоданных.

В третьей главе в качестве методология проектирования выбрана концепция модельно-ориентированного подхода к разработке программного обеспечения.

Для целее разработки БМД ХГД наиболее подходящей определена итерационная модель жизненного цикла.

Обоснована и описана целесообразность одновременного развертывания ХГД и БМД на всех этапах жизненного цикла информационной системы. Описан алгоритм применения базового набора элементов метаданных.

В ходе проведение сравнительного анализа разработанной методики с существующими методиками проектирования были использованы «Общая метамодель хранилища» CWM и существующие в геоинформатике стандарты метаданных.

Описана спецификация «Общая метамодель хранилища» CWM, являющаяся частью концепции модельно-ориентированного подхода, предназначенная для обмена метаданными между различными программными компонентами или репозиториями, общей среды хранилища данных. Учитывая, что метамодель CWM находится на один уровень абстракции выше по отношению к модели UML пространственных метаданных, необходимо применять требования стандарта только к модели, построенной на основе CWM.

предложенных ГОСТ Р 52573-2006 для описания метаданных в среде ХГД. На его основе были построены – общая концептуальная схема БМД среды ХГД и схема, описывающая только метаданные самого хранилища геоданных.

Основные результаты диссертационной работы, представляющие научную новизну, заключаются в следующем:

Разработана методика проектирования БМД ХГД.

Сформирован базовый набор метаданных ХГД.

Разработанная методика, основана на впервые сформированном наборе метаданных для проектирования БМД ХГД.

Все наборы метаданных, ранее создаваемые в качестве компонента ИПД, позволяют организовать эффективный доступ к пространственным данным, но не Сформированный автором набор метаданных дополнительно к организации использования данных.

В качестве перспектив дальнейшей разработки исследуемой темы существует необходимость разработки концептуальной модели, которую можно будет использовать при проектировании БМД ХГД в целом.

Список сокращений и условных обозначений БД – база данных.

БМД – база метаданных.

ВРД – выгрузка, реструктуризация и доставка.

ВД – витрина данных.

ГИС – геоинформационная система.

ЗВХ – зона временного хранения.

ИД – источник данных.

ИПД – инфраструктура пространственных данных.

ИПЗ – излечение, преобразование и загрузка.

ИС – информационная система.

КТИ – классификатор топографической информации.

НСИ – нормативно-справочная информация.

ПБД – пространственная база данных.

ПВХД – пространственно-временное хранилище данных.

ПД – представление данных.

ПЗ – прикладные задачи.

СППР – система поддержки принятия решений.

СУБД – система управления базой данных.

СУПБД – система управления пространственной базой данных.

ХД – хранилище данных.

ХГД – хранилище геоданных.

ЦБМД – централизованная база метаданных.

Александров В.Н., Базина М.А., Журкин И.Г., Корнилова Л.В., терминов по геодезии, картографии, топографии, геоинформационным системам, пространственным данным / М.: Братишка, 2007.

Барсигян А.А., Куприянов М.С., Степаненко В.В., Холод И.И.

Технологии анализа данных: Data Mining, Visual Mining, Text Mining, OLAP / 2-е издание, переработанное и дополненное / СПб.: БХВПетербург, 2007. – 384 с.

Бровко Е.А., Ефимов С.А., Козлова Л.М. Анализ современного состояния работ в области топографического мониторинга на основе ДЗЗ. Отечественный и зарубежный опыт / Под редакцией Е.А. Бровко.

Обзорная информация / М.: ЦНИИГАиК, 2007. – 128 с.

Бугаевский Л.М., Цветков В.Я. Геоинформационные системы / М.:

Златоуст, 2000. – 224 с.

Интегрированные геоинформационные системы / М.: МГТУ им.

Баумана, 2007. – 113 с.

ДеМерс, Майкл Н. Географические информационные системы. Основы / Пер. с англ. Андрианов В. / М.: Дата+, 1999.

Серпуховитин Б.И. Цифровая картография и геоинформатика. Краткий терминологический словарь / М.: Картгеоцентр-Геодезиздат, 1999.

Геоинформатика / М.: МаксПресс, 2001. – 349 с.

геоинформатики: В 2 кн. Кн. 1: Учеб. пособие для студ. вузов / Под ред.

Тикунова В.С. / М.: Издательский центр «Академия», 2004.

геоинформатики: В 2 кн. Кн. 2: Учеб. пособие для студ. вузов / Под ред.

Тикунова В.С. / М.: Издательский центр «Академия», 2004.

11. Лёвин Б.А., Круглов В.М., Матвеев С.И., Цветков В.Я., Коугия В.А.

Геоинформатика транспорта / М.: ВИНИТИ РАН, 2006. – 336 с.

12. Майоров А.А., Цветков В.Я. Хранение и защита информационных ресурсов кадастра / М.: МГУГиК, 2009. – 126 с.

13. Малинников В.А., Цветков В.Я Базы данных. Введение в основы / М.:

МИИГАиК, 2009. – 76 с.

14. Монахов С.В., Савиных В.П., Цветков В.Я. Анализ прикладных систем / М.: Макс Пресс, 2004. – 57 с.

15. Монахов С.В., Савиных В.П., Цветков В.Я. Общая геоинформатика / М.:

Макс Пресс, 2004.

16. Паклин Н., Орешков В. Бизнес-аналитика: от данных к знаниям: учебное пособие / 2-е изд., испр. / СПб.: Питер, 2013. – 67 с.

17. Поляков А.А., Цветков В.Я. Прикладная информатика: учебнометодическое пособие в 2-х частях / Под общ. ред. Тихонова А.Н. – М.:

18. Поляков А.А., Цветков В.Я. Прикладная информатика: учебнометодическое пособие в 2-х частях / Под общ. ред. Тихонова А.Н. – М.:

Савиных В.П., Цветков В.Я. Геоинформационный анализ данных 19.

дистанционного зондирования / М.: Картоцентр-Геодезиздат, 2001. – Фаулер М., Кендалл С. UML. Основы. Краткое руководство по 20.

унифицированному языку моделирования / ISBN 5-93286-032-4.

Цветков В.Я. Проектирование структур данных и базы данных:

21.

учебное пособие / М.: МГУГиК, 1997 – 82 с.

22. Цветков В.Я. Стандартизация информационных программных средств и программных продуктов / М.: МГУГиК, 2000 – 116 с.

23. Цветков В.Я. Базы данных. Эксплуатация информационных систем с распределенными базами данных: учебное пособие / М.: МГУГиК, 2007.

24. Шаши Ш., Санжей Ч. Основы пространственных баз данных / М.:

Кудиц-образ, 2004. – 35 с.

25. Inmon B. W. Building the Data Warehouse / second edition / QED Publishing Group, 1996.

26. Ponniah P. Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals / John Wiley & Sons, Inc, 2001.

Концепция создания и развития инфраструктуры пространственных данных Российской Федерации [Текст] : [распоряжение Правительства РФ: утверждено 21.08.2006 № 1157-р]. – Собрание законодательства РФ.

Концепция развития отрасли геодезии и картографии до 2020 года [Текст] : [распоряжение Правительства РФ: утверждено 17.12.2010 № 2378-р]. - Собрание законодательства РФ. – 2011. – № 2. – 401 ст.

Требования к составу, структуре, порядку ведения и использования единой электронной картографической основы федерального, регионального и муниципального назначения [Текст] : [приказ Минэкономразвития РФ принят 24.12.2008 № 467]. – Российская газета.

распространения цифровых навигационных карт [Текст] : [приказ Минэкономразвития РФ принят 01.10.2010 № 464]. – Российская газета.

топографических и картографических работ. ГКИНП (ГНТА)-17-004- [Текст] : [приказ Роскартографии принят 29.06.1999 № 86-пр].

Порядок создания и контроля цифровой картографической продукции Роскартографии принят 24.11.1999 № 161-пр]. – М.: ЦНИИГАиК. – ГОСТ 20886-85 Организация данных в системах обработки данных.

Термины и определения.

Метаданные электронных карт.

ГОСТ Р 51605-2000 Карты цифровые топографические. Общие требования.

ГОСТ Р 51606-2000 Карты цифровые топографические. Система информации. Общие требования.

ГОСТ Р 51608-2000 Карты цифровые топографические. Требования к качеству.

Совместимость пространственных данных. Общие требования.

ГОСТ Р 52573-2006 Географическая информация. Метаданные.

ГОСТ Р 53339-2009 Данные пространственные базовые. Общие требования.

ГОСТ Р ИСО 19113-2003 Географическая информация. Принципы оценки качества.

10. ОСТ 68-3.4-98 Карты цифровые топографические. Требования к качеству цифровых топографических карт.

11. ОСТ 68-3.4.1-03 Карты цифровые. Оценка качества данных. Основные положения.

12. ОСТ 68-3.4.2-03 Карты цифровые. Методы оценки качества данных.

Общие требования.

13. Требования к цифровым навигационным картам. Правила цифрового описания объектов цифровых навигационных карт масштабов 1:25 000, 1:50 000, 1:100 000. – Росреестр. – 2009.

14. Требования к цифровым навигационным картам и цифровым навигационным планам. Классификаторы слоёв, семантических характеристик объектов цифровых навигационных карт масштабов 1: 000, 1:50 000, 1:100 000. – Росреестр. – 2009.

15. Требования к цифровым навигационным картам и цифровым навигационным планам. Правила цифрового описания объектов цифровых навигационных карт масштабов 1:25 000, 1:50 000, 1:100 000.

– Росреестр. – 2009.

16. Требования к цифровым навигационным картам и цифровым навигационным планам. Типовые редакционно-технические указания по созданию цифровых навигационных карт в масштабе 1:25 000 на район РФ. – Росреестр. – 2009.

17. Требования к цифровым навигационным картам и цифровым навигационным планам. Классификаторы слоёв, семантических характеристик объектов цифровых навигационных планов городов масштаба 1:10 000. – Росреестр. – 2009.

18. Требования к цифровым навигационным картам и цифровым навигационным планам. Правила цифрового описания объектов цифровых навигационных планов городов масштаба 1:10 000. – Росреестр. – 2009.

навигационных карт и цифровых навигационных планов городов в двоичном виде (SXF). – Росреестр. – 2009.

20. Правила цифрового описания картографической информации цифровых и электронных карт. Общие положения и особенности цифрового описания объектов. – ВТУ. – 1999-2004. – часть 1-5.

электронных планов городов, топографических, обзорногеографических и авиационных карт. – ВТУ. – 1999-2004.

22. Классификатор справочно-технологических параметров цифровых и электронных карт. – ВТУ. – 2004.

23. Форматы цифровой информации о местности информационного картографического обеспечения топографической службы вооруженных сил Российской Федерации. – ВТУ. – 2004.

Классификатор слоев, семантических характеристик, объектов топографических карт масштаба 1:100 000. – Росреестр. – 2009.

25. Формат хранения и обмена цифровых навигационных карт и планов городов в двоичном виде (SXF). – ЗАО КБ «Панорама».

26. Технический отчет Comite European de Normalisation CEN/TC Географическая информация – Стандарты, спецификации, технические инфраструктуры пространственных данных. – Brussel. – 2006.

27. Стандарт ISO 19105:2000 Geographic information – Conformance and testing.

28. Стандарт ISO 19101:2002 Geographic information – Reference model.

29. Стандарт ISO 19108:2002 Geographic information – Temporal schema.

30. Стандарт ISO 19113:2002 Geographic information – Quality principles.

31. Стандарт ISO 19107:2003 Geographic information – Spatial schema.

32. Стандарт ISO 19115:2003 Geographic information – Metadata.

33. Стандарт ISO 19106:2004 Geographic information – Profiles.

34. Стандарт ISO 19125-1:2004 Geographic information – Simple feature access. – Part 1: Common architecture.

35. Стандарт ISO 19125-2:2004 Geographic information – Simple feature access. – Part 2: SQL option.

36. Стандарт ISO/TS 19103:2005 Geographic information – Conceptual schema language.

37. Стандарт ISO 19110:2005 Geographic information – Methodology for feature cataloguing.

38. Стандарт ISO 19119:2005 Geographic information – Services.

39. Стандарт ISO 19128:2005 Geographic information – Web map server interface.

40. Стандарт ISO/TS 19138:2006 Geographic information – Data quality measures.

41. Стандарт ISO 19137:2007 Geographic information – Core profile of the spatial schema.

42. Стандарт ISO/TS 19139:2007 Geographic information – Metadata – XML schema implementation.

43. Стандарт ISO 6709:2008 Standard representation of geographic point location by coordinates.

44. Стандарт ISO/TS 19104:2008 Geographic information – Terminology.

Асадуллаев С. Данные, метаданные и НСИ: тройная стратегия создания хранилищ данных // IBM Developer Works. – Россия. – 09.07.2009.

Асадуллаев C. Фирменные архитектуры хранилищ данных // PC Week. – 1998. – № 32-33. – С. 156-157.

Бровко Е.А., Ефимов С.А., Дивеев Е.Ш., Степанова Я.В. Комплексный топографический мониторинг на основе данных дистанционного зондирования Земли. Методологические и технологические аспекты // Геодезия и картография. – 2007. – № 5.

международных проектов DigitalEarth и GoogleEarth в формировании глобальной инфраструктуры пространственных данных. Экспресс информация // Геодезия, топография, картография. Зарубежный опыт.

природопользования. – М.: ЦНИИГАиК. – 2007. – выпуск 2.

Бровко Е.А. Система ведения государственного топографического мониторинга – инновационная модель актуализации пространственных данных // Геодезия и картография. – 2008. – № 8.

Бровко Е.А. Инновационные подходы к развитию информационных технологий в Системе ведения государственного топографического мониторинга // Геодезия и картография. – 2008. – № 11.

Бровко Е.А., Ефимов С.А. Современное состояние и перспективы дистанционного зондирования Земли при картографировании территории России // Геодезия и картография. – 2008. – № 12.

мониторинг, специфика его программного обеспечения // Геодезия и картография. – 2009. – № 1.

Бровко Е.А., Софинов Р.Э. Государственный топографический мониторинг как единая системообразующая информационная основа для картографического обеспечения социально-экономического развития регионов России // Геодезия и картография. – 2009. – № 5.

10. Бровко Е.А. Государственный топографический мониторинг:

современное решение проблемы актуализации пространственных данных // Геодезия и картография. – 2012. – № 2.

11. Бугаевский Л.М., Цветков В.Я., Флейс М.Э. К вопросу о системе картографических понятий, определений, терминов ГИС // ГИСобозрение. – 1999. – С. 40-43.

12. Горчинская О., Наумов Е. Стандарт OMG CWM для обмена метаданными в хранилищах данных и его практическое применение // II Всероссийская практическая конференция Стандарты в проектах современных информационных систем (системное проектирование, управление качеством и проектами, информационные технологии).

13. Зайцев В.В. Стандарты метаданных и их применение в геоинформатике // Геодезия и картография. – 2013. – № 11.

14. Когаловский М.Р. Метаданные, их свойства, функции и классификация // Электронные библиотеки: перспективные методы и технологии, конференции RCDL-2012. Переславль-Залесский, Россия, 15-18 октября 2012. – С. 25-36.

15. Когаловский М.Р., Калиниченко Л.А. Концептуальное и онтологическое моделирование в информационных системах // Программирование.

МАИК «Наука». Интерпериодика. – 2009. – № 5.

16. Кулагин В.П., Цветков В.Я. Геоинформатика как метанаука // Труды конференции Информационные технологии в науке, образовании, телекоммуникации, бизнесе (осенняя сессия). Украина, Крым, Гурзуф. – 20-30 сентября 2001 года. – С. 106-108.

17. Майоров А.А., Соловьёв И.В., Кудж С.А., Шкуров Ф.В., Купцов А.Б.

Исследование современного состояния развития территориально распределённых хранилищ геоданных Российской Федерации // Сборник статей по итогам научно-технических конференций МИИГАИК.

Приложение к журналу Известия ВУЗов. Геодезия и аэрофотосъёмка. – 2010. – № 6. – выпуск 3. – С. 43.

18. Майоров А.А., Соловьёв И.В., Кудж С.А. О новом подходе к доступу и хранению электронных аэрокосмических снимков и планов // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2011. – № 6. – С. 77-81.

19. Майоров А.А., Соловьёв И.В., Кудж С.А. О новом подходе к доступу и хранению электронных аэрокосмических снимков и планов // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2011. – № 6 – С. 80-84.

20. Майоров А.А., Цветков В.Я. Информационно-измерительные системы в геодезии // 8-я Международная научно-практическая конференция Геопространственные технологии и сфера их применения. Материалы конференции. Информационное агентство «Гром». – 2012 – С. 77-79.

Математические методы и модели анализа и прогнозирования развития конференции. Болгария. 5-12 марта 2012 года. – С. 228-300.

22. Майоров А.А., Зайцев В.В. База метаданных хранилища геоданных // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2013. – № 5.

23. Майоров А.А., Зайцев В.В. Описание подхода к проектированию общей модели базы метаданных хранилища геоданных // Известия ВУЗов.

Геодезия и аэрофотосъемка. – 2013. – № 6.

24. Максудова Л.Г., Савиных В.П., Цветков В.Я Интеграция наук об окружающем мире в геоинформатике // Исследование Земли из космоса.

– 2000. – №1. – С. 46-50.

25. Максудова Л.Г. Цветков В.Я. Классификация информационных ресурсов // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2000. – №4. – С. 140-149.

Российской Федерации // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2001. – № 4. – С. 147-153.

27. Малинников В.А., Савиных В.П., Майоров А.А., Цветков В.Я Геоинформатика. Состояние и перспективы развития // Сборник статей по итогам Международной научно-технической конференции, посвященной 230-летию основания МИИГАиК. Выпуск 2 (в двух частях) часть 2. – Издательство МИИГАиК, 2009. С. 154 - 155.

28. Малинников В.А., Савиных В.П., Майоров А.А., Цветков В.Я «Геоинформатика. Состояние и перспективы развития» // Сборник статей по итогам. Международной научно-технической конференции, посвященной 230-летию основания МИИГАиК. Выпуск 2 (в двух частях) часть 2. – Издательство МИИГАиК, 2009. – С. 174-178.

29. Малинников В.А., Соловьев И.В., Цветков В.Я. О новом направлении в геодезическом образовании // Инженерные изыскания. – 2010. – № 1. – С. 24-28.

30. Малинников В.А., Майоров А.А., Соловьёв И.В. Коренная модернизация отрасли геодезии и картографии и проблемы развития картографогеодезического фонда Российской Федерации // Вестник Росреестра. – 2011. – № 2 (8). – С. 46-49.

31. Малинников В.А., Соловьёв И.В., Цветков В.Я. Проблемы развития государственного картографо-геодезического фонда Российской Федерации // Инженерные изыскания. – 2011. – № 12. – С. 34-37.

32. Малинников В.А., Майоров А.А., Савиных В.П., Цветков В.Я.

Геоинформатика: Тенденции развития // 8-я Международная научнопрактическая конференция Геопространственные технологии и сфера их применения. Материалы конференции. Информационное агентство «Гром». – 2012. – С. 11-15.

33. Малинников В.А., Цветков В.Я. Динамическая модель геоданных // Международный научно-технический и производственный журнал «Науки о Земле». – 2012. – выпуск 01-2012. – С. 49-53.

34. О шейпинге на покрытиях. Топология и шейп-файлы // ArcGIS Review. – 35. Плешков В.Г., Ребрий А.В. Роль международных стандартов в создании инфраструктуры пространственных данных // Международный конгресс Великие реки. Нижний Новгород. – 2004.

36. Ребрий А.В. Создание баз метаданных в целях формирования инфраструктур пространственных данных // Международная научнопрактическая конференция Геопространственные данные и навигация.

Республика Беларусь. г. Минск. 18-20 апреля 2007 года.

37. Розенберг И.Н., Цветков В.Я. Информационная ситуация // Международный журнал прикладных и фундаментальных исследований.

– 2010. – 12. – С. 126-127.

38. Савиных В.П., Максудова Л.Г., Цветков В.Я Интеграция наук об окружающем мире в геоинформатике // Исследование Земли из космоса.

– 2000. – № 1. – С. 46-50.

39. Савиных В.П., Цветков В.Я. Геоинформатика как инструмент изучения процессов глобализации // Международный научно-технический и производственный журнал «Науки о Земле». – 2011. – № 003-04. – С.

40. Савиных В.П., Соловьёв И.В., Цветков В.Я. Развитие национальной инфраструктуры пространственных данных на основе развития картографо-геодезического фонда Российской Федерации // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2011. – № 5. – С. 85-90.

41. Савиных В.П., Цветков В.Я. Геоинформатика как инструмент изучения процессов глобализации // Международный научно-технический и производственный журнал. Науки о Земле. – 2011. – № 003-04. – С. 31-38.

42. Седельников В.П., Ефимов С.А., Бровко Е.А. Основные положения Концепции создания Системы комплексного топографического мониторинга на основе данных дистанционного зондирования Земли в целях актуализации пространственных данных. Проблема и пути решения // Геодезия и картография. – 2007. – № 2.

43. Седельников В.П., Бровко Е.А., Ефимов С.А. Актуализация геопространственной информации в инфраструктуре пространственных данных Российской Федерации: проблемы и решения // Национальные проекты. Журнал о развитии России. – 2011. – № 3.

44. Соловьёв И.В. Применение модели информационной ситуации в геоинформатике // Науки о земле. – 2012. – № 1. – С. 54-58.

45. Соловьёв И.В., Конотопов А.И. Проблема управления сложной организационно-технической системой // Материалы Международной научно-практической конференции. Поморье. Болгария. – 5-12 марта 2012 года. – С. 255-257.

46. Соловьев И.В., Цветков В.Я. О содержании и взаимосвязях категорий «информация», «информационные ресурсы», «знания» // Дистанционное и виртуальное обучение. – 2011. – № 6 (48). – С.11-21.

47. Цветков В.Я. Особенности стандартизации информационных средств и продуктов // Геодезия и аэрофотосъемка. – 1998. – № 2.

48. Цветков В.Я. Особенности развития информационных стандартов в области новых информационных технологий // Информационные технологии. – 1998. – № 8. – С. 2-7.

49. Цветков В.Я. Основы геоинформационного моделирования // Известия ВУЗов. Геодезия и аэрофотосъемка. – 1999. – № 4. – С. 147-157.

50. Цветков В.Я. Оценка качества информации в ГИС // Известия ВУЗов.

Геодезия и аэрофотосъемка. – 1999. – № 6. – С.136-140.

51. Цветков В.Я. Геоинформационное моделирование // Информационные технологии. – 1999. – № 3. – С. 23-27.

52. Цветков В.Я. Цифровые карты и цифровые модели // Известия ВУЗов.

Геодезия и аэрофотосъемка. – 2000. – № 2. – С. 147-155.

53. Цветков В.Я. Создание интегрированной информационной основы ГИС // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2000. – № 4. – С. 150Цветков В.Я. Формальная и содержательная классификация // Современные наукоёмкие технологии. – 2008. – № 6. – С. 85-86.

55. Цветков В.Я. Дуальные переменные как форма представления Информационное агентство «Гром». – 2009. – С. 59-61.

56. Цветков В.Я. Пространственные отношения в геоинформатике // Международный научно-технический и производственный журнал «Науки о Земле». – 2012. – выпуск 01-2012. – С. 59-61.

57. Цветков В.Я. Информационные модели и информационные ресурсы // Известия ВУЗов. Геодезия и аэрофотосъемка. – 2005. – №3. – С. 85-91.

58. Bdard, Y., Larrive S., Proulx M.-J., Caron P.-Y., Ltourneau F. Geospatial Data Warehousing: Positionnement technologique et stratgique // Rapport pour le Centre de recherche pour la defense de Valcartier. – 1997.

59. Bimonte S., Miquel M. Towards a spatial multidimensional model.

60. Damiani, Vangenot, Frentzos, Marketos, Theodoridis, Veryklos, Raffaeta Geographic privacy aware Knowledge Discovery and Delivery. – 2007.

61. Gorawski M., Malczok R. Materialized aR-Tree in distributed spatial data warehouse.

62. Gray J., Bosworth A., Layman A., Pirahesh H. Data Cube: a Relational Aggregation Operator Generalizing Group-by, Cross-tabs and Subtotals. – ICDE. – 1996.

63. Jizhou W., Chengming L. Research on the framework of spatial-temporal data warehouse.

64. Jurgens M., Lenz H.-J. The R*a-tree: An improved R*-tree with materialized data for supporting range queries on OLAP - data.

65. MacEachren M., Kraak M.-J. Research challenges in geovisualization // Cartography and Geographic Information Science. – 2001.

66. Malinowski E., Zimanyi E. Spatial Hierarchies and Topological Relationships in the Spatial MultiDimER model.

67. Malinowski E., Zimanyi E. Implementing spatial data warehouse hierarchies in object-relation DBMSs.

68. Malinowski E., Zimanyi E. Representing spatiality in a conceptual multidimensional model.

69. Malinowski E., Zimanyi E. Spatial Data Warehouses: Some Solutions and Unresolved Problems.

70. Papadias D., Kalnis P., Zhang J., Tao Y. Efficient OLAP Operations in Spatial Data Warehouses.

71. Papadias D., Zhang J. Indexing Spatio-temporal data warehouses.

72. Pat O'Neil, Betty O'Neil, Xuedong Chen Star Schema Benchmark Revision.

– 2009, June 5.

73. Pedersen B., Tryfona N. Pre aggregation in spatial data warehouses.

74. Pelekis N., Theodoridis Y., Vosinakis S., Panayiotopoulos T. Hermes – a framework for location-based data management.

75. Poess M., Smith B., Kollar L., Larson P. TPC-DS, taking decision support benchmarking to the next level.

76. Rao F., Zhang L., Chen Y. Spatial hierarchy and OLAP-favored search in spatial data warehouse.

77. Rozenberg I.N., Tsvetkov V.Ya. The Geoinformation approach // European Journal of Natural History. – 2009. – № 5. – P. 102-103.

78. Stefanovic N., Han J., Koperski K. Object-Based selective materialization for efficient implementation of spatial data cubes.

79. Taylor C. An Introduction to Metadata. The University of Queensland, Australia.

80. Toward better support for spatial decision making: defining the characteristics of spatial on-line analytical processing (SOLAP) // GEOMATICA. – Vol. 55.

– No. 4. – 2001. – Р. 539-555.

81. Tsvetkov V.Ya. Information objects and information Units // European Journal of Natural History. – 2009. – № 2. – Р. 99.

82. Tsvetkov V.Ya. Logic units of information systems // European Journal of Natural History. – 2009. – № 2. – Р. 99-100.

83. Viswanathan G., Schneider M. BigCube: A MetaModel for managing multidimensional data.

84. Viswanathan G., Schneider M. On the requirements for user-centric spatial data warehousing and SOLAP.

85. Zlatanova S., Stoter J.E., Quak W. Management of multiple representations in spatial DBMSs.

Таблица 1.1. Отличия СППР и OLTP-систем……………………………. Таблица 1.2. Основные направления исследований в области ХГД….... Рисунок 1.1. Примеры применяемых в ХГД индексов………………….. Таблица 1.3. Набор операций пространственного агрегирования……... Рисунок 1.2. Геометрическая, алгебраическая и прикладная части модели геометрического агрегирования…………………………………. Таблица 1.4. SOLAP инструменты……………………………………….. Таблица 1.5. Контрольные точки…………………………………………. Рисунок 2.1. Шестиуровневая архитектурная концепция информационного хранилища данных………………………………….... 9. Рисунок 2.2. Схема движения информации в среде хранилища данных……………………………………………………………………… 10. Рисунок 2.3. Источники пространственных данных для ХГД………….. 11. Таблица 2.1. Метаданные нормативно-справочной информации……… 12. Рисунок 2.4. Типовое содержание БМД ХД……………………………... 13. Таблица 2.2. Базовый набор элементов метаданных……………………. 14. Рисунок 2.5. Пакеты базового набора метаданных…………………….... 15. Рисунок 3.1. Алгоритм действий по проектированию БМД……………. 16. Таблица 3.1. Пример проектирования БМД одновременно с развертыванием ХГД …………………………………………………... 17. Таблица 3.2. Четырехуровневая архитектура моделирования………….. 18. Рисунок 3.2. Состав и структура CWM…………………………………... 19. Таблица 3.3. «Население Московской области (1989 – 1991 годов)»..… 20. Рисунок 3.3. Диаграмма классов пакета Relational……………………… 21. Рисунок 3.4. Диаграмма экземпляров реляционной таблицы………….. 22. Таблица 3.4. Понятие эквивалентности классификаторов…………….... 23. Рисунок 3.5. Диаграмма экземпляров физического развертывания реляционной таблицы……………………………………………………... 24. Таблица 3.5. Примеры применения пакетов метамодели CWM (за исключением уровня Объектная модель)……………………………..… 25. Рисунок 3.6. Схема базы метаданных хранилища геоданных………… 26. Рисунок 3.7. Общая концептуальная схема БМД среды ХГД………....