«А.Г Карманов УЧЕБНОЕ ПОСОБИЕ ПО КУРСУ ГЕОИНФОРМАТИКА Санкт-Петербург 2012 Учебное пособие посвящено геопространственному моделированию объектов с помощью ГИС и использование сопровождаемой их семантической информации. ...»

Оценка математической основы состоит в том, чтобы выяснить целесообразность принятого масштаба, пригодность используемой проекции с точки зрения величины и характера распределения искажений и возможность использования пространственных данных для количественных определений с заданной точностью.

Оценка научной достоверности предполагает установление соответствия принятым научным концепциям, правильную передачу реально существующих пространственных закономерностей и связей, типичных черт явления.

Оценка полноты и современности, прежде всего, касается объема информации, заключенной в источнике пространственной информации.

Главную роль играют два фактора: изученность явления и назначение источника. От этого зависят отбор представляемых объектов, подробность генерализации, способы графического оформления. Нагрузка источника может быть оценена количественно, например, путем подсчета числа объектов на единицу площади. Информативность источника пространственных данных в большинстве случаев не поддается численной оценке и напрямую зависит от целей и методов решения горнотехнологических задач. Современность источника характеризуется его соответствием определенной дате, периоду. Большую роль играет определение старения пространственной информации.

Оценка географической точности характеризует величины погрешностей, возникающих при изменении по источникам пространственных данных (картам, планам, ДДЗ) длин, площадей, углов и иных картометрических характеристик.

Оценка качества оформления и издания начинается с выяснения различимости знаков, наглядности и понятности обозначений и т.п.

Из источников данных информация перемещается на основе некоторого регламента в централизованное хранилище, где производится ее первичная обработка.

Часто возникает ситуация, когда локальные базы данных (источники) содержат однотипную по смыслу информацию. При этом существенно, что одинаковые по смыслу данные обычно имеют в разных системах различный формат, вид представления, идентификацию, масштаб и т.п. Перед загрузкой в хранилище вся эта информация должна быть согласована, чтобы обеспечить целостность и непротиворечивость аналитических данных.

Для пространственных данных одной из главных характеристик является тип географической проекции. В данном случае, при создании хранилища главным требованием для загрузки цифровых карт и ДДЗ являлось наличие единой проекции. Поэтому на этапе первичной обработки осуществляется перевод материалов в цифровую форму (векторизация традиционных карт, сканирование ДДЗ и т.п.), привязка их к конкретной системе координат. В итоге формируются базы данных векторных материалов и ДДЗ, а также базы атрибутивных данных. Часто возникает ситуация, когда информация о пространственном объекте представлена в различных географических проекциях. Если две карты одной области в разных системах координат, то широта и долгота одной точки будут отличаться на обеих картах. Следовательно, необходимо внести корректировку, иначе позиция пространственного объекта будет в неправильном месте.

Известно, что Земля шарообразна, т.е. не обладает формой идеального шара. Фигура ее неправильна, и, как всякое вращающееся тело, она немного сплюснута у полюсов. Кроме того, из-за неравномерного распределения масс земного вещества и глобальных тектонических деформаций Земля имеет обширные, хотя и довольно пологие, выпуклости и вогнутости. Сложную фигуру планеты, ограниченную уровенной поверхностью океана, называют геоидом. Точно определить его форму практически невозможно, но современные высокоточные измерения со спутников позволяют иметь о нем достаточно хорошее представление и описать уравнением. Наилучшее геометрическое приближение к реальной фигуре Земли дает эллипсоид вращения - геометрическое тело, которое образуется при вращении эллипса вокруг его малой оси (рисунок 36). Сжатие эллипсоида моделирует сжатие планеты у полюсов. На рисунке видно, насколько не совпадают меридиональные сечения геоида и земного эллипсоида. При этом нельзя задать такой эллипсоид, который бы наиболее правильно описывал всю земную поверхность, для описания различных областей используют разные модели эллипсоидов наиболее точно совпадающих с земной поверхностью в данном районе. Вычисление и уточнение размеров земного эллипсоида, начатое еще в XVIII в., продолжается в настоящее время. Для этого используют спутниковые наблюдения и точные гравиметрические измерения.

Рисунок 31. Меридиональное сечение геоида и земного эллипсоида Сложность задачи заключается в необходимости рассчитать геометрически правильную фигуру - референц-эллипсоид, который наилучшим образом приближен к геоиду, и относительно которого будут выполняться все геодезические вычисления и рассчитываться картографические проекции (рисунок 37). Разработано много методик расчета референц-элипсоида, однако, результаты преобразований получаются неодинаковые. Поэтому исторически сложилось, что в разные времена и в разных странах были приняты и законодательно закреплены различные эллипсоиды, и их параметры не совпадают между собой.

Рисунок 32. Уточнение геоида местным эллипсоидом Чаще всего в качестве основы используется эллипсоид GRS-80 и система координат на основе этого эллипсоида Мировая Геодезическая Система 1984 (WGS-84). Эллипсоид GRS-80 имеет большую полуось, равную 6378137 метров и малую полуось, равную 6356752.3 метра. На практике параметры эллипсоида часто задаются через значения большой полуоси и полярного сжатия.

Карты, составленные на основе разных эллипсоидов, получаются в несколько различающихся координатных системах, что создает неудобства.

Однако для принятия единого международного эллипсоида требуется пересчитать координаты и пересоставить все карты, а это долгое, сложное и, главное, дорогостоящее дело.

Системы координат описывают референцную модель Земли, но этого не достаточно для детального описания назначенной области. Выбрав систему координат, необходимо решить в каком виде нужно отобразить точку земной поверхности. Наиболее просто отобразить точку в геодезических координатах (широта и долгота). В картографии сферическую поверхность Земли изображают на плоскости. Законы преобразования широты и долготы в плоские координаты Х и Y, называются картографическими проекциями.

Существует множество местных систем координат, параметры которых заданы на основе известных датумов и проекций, например, системы СК-42, СК-63, U.S. State Plane, Australian Map Grid, New Zealand Map Grid, Ordinat Survey of Great Britain и многие другие. При этом используются проекция Гаусса-Крюгера, Поперечная проекция Меркатора, а для Аляски (которая имеет вытянутую, узкую форму) Косоугольная проекция Меркатора.

Для представления данных ГИС в местной системе координат очень важно понимать, что есть большие различия в отображении позиций в системе координат WGS-84 и отображении тех же позиций в местной системе координат.

Современные картографические программные продукты позволяют переводить данные из системы координат WGS-84 в местные системы координат, а также преобразовывать высоту над эллипсоидом WGS-84 в высоту над геоидом. Однако, как показывает практика, иногда требуется ручная коррекция данных.

На третьем этапе создания хранилища пространственных данных осуществляется загрузка подготовленных геоданных в само хранилище. При этом происходит одновременное отслеживание повторяемости материалов, связка таблиц по первичным и вторичным ключам, таким образом, происходит формирование некоторого «куба» пространственных данных, т.е.

самого хранилища.

Существующие подходы и решения создания хранилищ данных Программный продукт - A Data Warehouse Plus. Целью компании является обеспечение интегрированного набора программных продуктов и сервисов, основанных на единой архитектуре. Основой хранилищ данных является семейство СУБД DB2. Преимуществом IBM является то, что данные, которые нужно извлечь из оперативной базы данных и поместить в склад данных, находятся в системах IBM. Поэтому осуществлена естественная тесная интеграция программных продуктов. Предлагаются три решения для складов данных:

1. Изолированный рынок данных. Предназначен для решения отдельных задач вне связи с общим хранилищем корпорации.

2. Зависимый рынок данных. Аналогичен изолированному рынку данных, но источники данных находятся под централизованным контролем.

3. Глобальное хранилище данных. Корпоративное хранилище данных, которое полностью централизованно контролируется и управляется.

Глобальный склад данных может храниться централизованно или состоять из нескольких распределенных в сети рынков данных.

Решение компании Oracle в области хранилищ данных основывается на двух факторах: широкий ассортимент продуктов самой компании и деятельность партнеров в рамках программы Warehouse Technology Initiative.

Возможности Oracle в области хранилищ данных базируются на следующих составляющих:

наличие реляционной СУБД Oracle, которая постоянно совершенствуется для лучшего удовлетворения потребностей складов данных;

существование набора готовых приложений, обеспечивающих возможности разработки склада данных;

высокий технологический потенциал компании в области анализа данных;

доступность ряда продуктов, производимых другими компаниями.

Работы, связанные с хранилищами данных, выполняются в рамках программы OpenWarehouse. Выполнение этой программы должно обеспечить возможность построения хранилищ данных на основе мощных компьютеров HP, аппаратуры других производителей и программных компонентов.

Основой подхода HP являются Unix-платформы и программный продукт Intelligent Warehouse, который предназначен для управления складами данных. Основа построения складов данных, предлагаемая HP, оставляет свободу выбора реляционной СУБД, средств реинжиниринга и т.д.

Стратегия компании в области складов данных основывается на разработанной архитектуре Warehouse WORKS. В основе подхода находится реляционная СУБД Sybase System 11, средство для подключения и доступа к базам данных OmniCONNECT и средство разработки приложений PowerBuilder. Компания продолжает совершенствовать свою СУБД для лучшего удовлетворения потребностей хранилищ данных (например, введена побитная индексация).

Стратегия компании направлена на расширение рынка для ее продукта On-Line Dinamic Parallel Server. Предлагаемая архитектура хранилища данных базируется на четырех технологиях: реляционных базах данных, программном обеспечении для управления складом данных, средствах доступа к данным и платформе открытых систем.

Продукция компании предоставляет решение проблем корпораций, у которых одинаково сильны потребности и в системах поддержки принятия решений, и в системах оперативной аналитической обработки данных.

Предлагаемая архитектура называется Enterprise Information Factory и основывается на опыте использования системы управления базами данных Teradata и связанных с ней методах параллельной обработки.

Компания считает себя поставщиком полного решения для организации хранилища данных. Подход основан на следующем:

обеспечение доступа к данным с возможностью их извлечения из самых разнообразных хранилищ данных (и реляционных, и нереляционных);

преобразование данных и манипулирование ими с использованием 4GL;

наличие сервера многомерных баз данных;

большой набор методов и средств для аналитической обработки и статистического анализа.

Деятельность компании происходит в рамках программы Open Data Warehouse Initiative. Программа базируется на основных продуктах компании ADABAS и Natural 4GL, собственных и приобретенных средствах извлечения и анализа данных, средстве управления складом данных SourcePoint. SourcePoint позволяет автоматизировать процесс извлечения и пересылки данных, а также их загрузки в склад данных.

Существует еще целый ряд компаний, которые прямо или косвенно связаны с технологией складов данных, но мы ограничимся перечисленными, поскольку их продукты и подходы являются наиболее продвинутыми.

Анализ предложенных программных продуктов представлен в таблице 10. В рамках данной диссертационной работы использовалось программное обеспечение фирмы Oracle. Это обусловлено, в первую очередь, спецификой предполагаемых для хранения данных. В Oracle разработано специальное табличное пространство для хранения пространственных данных и ДДЗ – Oracle Spatial и Oracle Raster. Кроме того, большинство современных ГИСпакетов поддерживают технологию Oracle, что позволяет избежать проблемы совмещения форматов данных.

Таблица 10. Сравнительный анализ программных продуктов, реализующих Производитель Packard Warehouse Software Dinamic Institute Реализация хранилища пространственных данных Каждый объект в хранилище имеет позиционные и семантические характеристики, представленные в атрибутивных таблицах. Между таблицами существует связь, которая обеспечивается присвоением уникальных адресов объектам.

Загрузка данных из источников в хранилище осуществляется специальными процедурами, позволяющими:

извлекать данные из различных баз данных, текстовых и графических выполнять различные типы согласования и очистки данных;

преобразовывать данные при перемещении от источников к хранилищу;

загружать согласованные и «очищенные» данные в структуры хранилища.

Для разработки, поддержки и выполнения таких процедур рекомендуется использовать специализированный инструментарий, предназначенный для автоматизации процессов извлечения данных из источников, их преобразования и загрузки в целевое хранилище. Вся информация вводится администратором перемещения данных и хранится в виде метаданных в репозитории системы.

Основой для хранения аналитической информации является хранилище данных, которое представляет собой базу данных, содержащую достоверную согласованную информацию, предназначенную для решения разнообразных аналитических задач. С точки зрения СУБД, под управлением которой работает хранилище, наиболее существенным является тот факт, что режимы функционирования базы данных для аналитических задач коренным образом отличаются от ситуации в обычных системах транзакционной обработки.

Они требуют специальных настроек параметров, методов индексирования и обработки запросов.

Информационное наполнение хранилища осуществлялось на основе файловых источников. Для подготовки пространственных данных (например, формата ESRI Shape File, ERDAS Imagine) могут быть использованы различные инструментарии (утилиты) сторонних разработчиков. Принцип работы этих утилит заключается в формировании различных SQLинструкций на основе полученной и отформатированной информации из файлового источника. После исполнения этих инструкций в SQL-среде СУБД формируются связные таблицы пространственных данных.

Отдельно остановимся на загрузке в хранилище данных дистанционного зондирования, которые по своей сути представляют растровые изображения. Базы геоданных могут содержать наборы растровых данных. Каждый растр представляет изображаемое пространство в виде одинаковых по размерам матриц элементов (пикселов). Каждый элемент этой матрицы отвечает какой-либо характеристике (отражательной способности, температуре и т.д.) участка местности в определенной зоне электромагнитного спектра. Набор растровых данных хранится в виде двумерной матрицы с определенным значением параметра для каждого элемента изображения. Данные многозональной съемки рассматриваются как многомерная матрица, где каждому участку поверхности соответствует целый набор значений, называемый вектором характеристик. Каждый элемент изображения имеет одинаковые размеры по высоте и ширине.

Положение (географические координаты) верхнего левого угла грида вместе с размерами элемента и числом элементов в строках и столбцах определяет пространственный экстент растрового набора данных. Растровые наборы данных содержат один или более слоев, называемые полосами (bands).

Например, обычное цветное изображение состоит из трех полос (красной, зеленой и синей), изображение цифровой модели местности (DEM) содержит одну полосу (полутоновое монохромное изображение со значениями яркости, соответствующими отметкам высот), а многоспектральное изображение может иметь много спектральных полос.

Каждая полоса растра содержит помимо самих элементов такие данные, как:

статистику (минимальное, максимальное и среднее значение для элементов изображения);

гистограмму значений яркостей элементов изображения;

таблицу значений атрибутов (необязательная вспомогательная атрибутивная информация о различных значениях элементов изображения);

принятую по умолчанию цветовую таблицу (color map) для отображения растрового изображения (необязательный элемент).

Растровые наборы данных в базе геоданных могут занимать очень большие объемы и покрывать большие географические области, обеспечивая при этом высокое разрешение.

Для обеспечения эффективного доступа и хранения таких данных в базе геоданных растровые данные автоматически режутся на отдельные фрагменты, и при этом сжимаются. При загрузке растровых данных можно сшивать в мозаику необходимое число таких фрагментов, чтобы обеспечить покрытие требуемого экстента. При этом для увеличения скорости отображения используются пирамидальные слои.

Пирамидальные слои для растровых данных представляют собой ряд слоев, получаемых из исходного изображения с понижением разрешения.

Каждый слой получается в результате преобразования (resampling) исходного изображения в изображение с более грубым пространственным разрешением.

Пирамидальные слои используются для ускорения процесса вывода и отображения растровых изображений в тех ситуациях, когда не используется максимальное разрешение в изображении, например, при уменьшении масштаба изображения на экране. Каждый последующий слой пирамид характеризуется более высокой степенью обобщения.

Для хранения растрового набора данных с созданными пирамидальными слоями требуется дополнительная память, которая зависит от числа слоев в пирамиде. Обычно затраты памяти для создания пирамидальных слоев составляют около 8% от исходного объема. Однако, выигрыш от создания пирамидальных слоев при работе с большими изображениями оказывается неизмеримо большим. Как правило, этот выигрыш начинает сказываться при объеме изображений, превышающем мегабайт.

Для получения студентами практических умений и навыков по данному разделу предусмотрено проведение четырех практических занятий и четырех лабораторных работ:

Практическое занятие 1: «Работа с атрибутивной информации объектов». Целью работы является ознакомление с функциями просмотра и присвоения атрибутивной информации к объектам, привязки пространственных объектов и атрибутивной информации, просмотра атрибутивной информации по одному или нескольким выбранным объектам.

Практическое занятие 2: «Работа с электронными документами».

Целью работы является ознакомление с функциями прикрепления электронных документов, мультимедиа информации к объектам на электронной карте, привязки электронных документов, мультимедиа информации к нескольким объектам на электронной карте, просмотра сведений обо всех электронных документах, мультимедиа информации, связанных с выделенным объектом на электронной карте, получения сведений обо всех объектах на электронной карте, с которыми связан выбранный электронный документ, мультимедиа информация, просмотра истории создания и ведения электронных документов, мультимедиа информации по каждому объекту на электронной карте; редактирование (добавление, изменение и удаление) электронных документов.

Практическое занятие 3: «Ознакомление со средствами визуализации слоев». Целью работы является ознакомление с функциями визуализации отдельных слоев на просматриваемых электронных картах, отображения векторных и растровых слоев (включая данные с космических аппаратов).

Практическое занятие 4: «Расчет площадей, длин и расстояний».

Целью работы является обучение расчету площадей, длин и расстояний по выбранным участкам цифровой или электронной карт.

Лабораторная работа 1: «Работа с географическими объектами в приложении ArcMap». Целью работы является получение навыков работы с географическими объектами электронной карты в геоинформационном приложении.

Лабораторная работа 2: «Работа с таблицами данных в приложении ArcMap». Целью работы является получение навыков работы с таблицами данных в ГИС.

Лабораторная работа 3: «Работа с векторными и растровыми данными в приложении ArcGIS 9.0». Целью работы является научиться отличать растровые и векторные данные, получать информацию о различных типах данных, понимать разницу между различными методами представления данных, привязывать растровые данные по координатам, создавать векторные данные, используя растровые в качестве основы Лабораторная работа 4: «Пространственные операции с векторными данными в приложении ArcGIS 9.0». Целью работы является научиться использовать различные пространственные операции и применять их для анализа геоданных.

В ходе выполнения лабораторных и практических работ происходит изучение выполнения пространственного анализа с помощью ArcView, баз данных и СУБД, работы с базами данных в геоинформационном приложении, координатной привязки и создания тематической электронной карты, работы с географическими объектами, с таблицами данных, редактирования пространственных объектов, построения базы геоданных, векторных и растровых данных, пространственных операций с векторными данными.

Какие модели пространственных данных используются для создания хранилища данных?

Что представляют метаданные объектов хранилища данных?

Перечислите требования к интегрированным информационным системам для работы с пространственной информацией.

Перечислите уровни архитектуры корпоративной информационноаналитической системы на основе технологии хранилища данных.

Опишите технологию функционирования системы на основе технологии хранилища данных.

Какие проблемы могут возникать при реализации хранилища данных?

Опишите этапы создания хранилища данных пространственной информации.

Какие современные подходы и решения создания хранилищ данных существуют?

Как осуществляется загрузке в хранилище данных дистанционного зондирования?