«ИНТЕГРАЦИЯ РЕСУРСОВ СПУТНИКОВОГО ЦЕНТРА В ИНФОРМАЦИОННЫЕ СИСТЕМЫ НАБЛЮДЕНИЯ ЗА ЗЕМЛЁЙ ...»

Федеральное государственное бюджетное учреждение наук

и

Институт автоматики и процессов управления

Дальневосточного отделения Российской академии наук

На правах рукописи

НЕДОЛУЖКО Илья Валерьевич

ИНТЕГРАЦИЯ РЕСУРСОВ СПУТНИКОВОГО ЦЕНТРА

В ИНФОРМАЦИОННЫЕ СИСТЕМЫ НАБЛЮДЕНИЯ ЗА ЗЕМЛЁЙ

специальность 05.13.11 — математическое и программное обеспечение вычислительных машин, комплексов, компьютерных сетей

ДИССЕРТАЦИЯ

на соискание учёной степени кандидата технических наук

Научный руководитель:

д.т.н. Алексанин А.И.

Владивосток —

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ОБЩИЕ ПОЛОЖЕНИЯ ИНТЕГРАЦИИ ИНФОРМАЦИОННЫХ И

ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В ИС ДЗЗ

1.1. Основные понятия

1.2. Эволюция подходов к созданию ИС ДЗЗ

1.2.1. Область применения, особенности и недостатки подхода, ориентированного на данные

1.2.2. Перспективы применения сервис-ориентированного подхода........... 1.2.3. Выводы по разделу 1.2

1.3. Основные современные стандарты и модели доступа потребителя к ресурсам ИС ДЗЗ

1.3.1. Доступ к данным и метаданным

1.3.2. Вызов процедур обработки данных и заказ на получение данных.... 1.5. Обзор крупнейших международных и российских ИС ДЗЗ

1.5.1. Развитие глобальных ИС ДЗЗ космических агентств США и ЕС...... 1.5.2. Развитие глобальных ИС ДЗЗ в России

1.5.3. Выводы по разделу 1.5

1.6. Опыт интеграции в глобальные ИС ДЗЗ в России и в мире

1.7. Выводы по главе 1

ГЛАВА 2. ТРЕБОВАНИЯ К СИСТЕМЕ ИНТЕГРАЦИИ РЕСУРСОВ

СПУТНИКОВОГО ЦЕНТРА

2.1. Формирование функциональных требований к ИС СЦ, ориентированной на работу с пользователями-исследователями

2.1.1. Принципы работы с пользователями-исследователями в СЦ ДВО РАН

2.1.2. Формирование функциональных требований к ИС на примере СЦ ДВО РАН

2.2. Анализ свойств, возможностей и требований глобальной ИС ДЗЗ Европейского космического агентства

2.2.1. Общие принципы интеграции в ИС ДЗЗ Европейского космического агентства

2.2.2. Анализ возможностей и свойств информационно-поисковых интерфейсов

2.2.3. Анализ возможностей и свойств интерфейсов передачи данных....... 2.2.4. Анализ возможностей и свойств интерфейсов заказа данных ДЗЗ и вызова процедур их обработки

2.2.5. Изучение особенностей совместного функционирования сервисов в SSE

2.2.6. Формирование требований к ИС СЦ для интеграции в глобальную ИС SSE

2.3. Разработка конечных требований к СИРЦ

2.4. Выводы по главе 2

ГЛАВА 3. МОДЕЛИ СИРЦ И ЕЁ КОМПОНЕНТОВ

3.1. Концептуальный проект СИРЦ

3.2. Открытый репозиторий спутниковых данных

3.2.1. Логическая организация данных репозитория

3.2.2. Общие модели информации, с которой работает репозиторий........... 3.2.3. Трансляция идентификаторов

3.2.4. Общая функциональная модель репозитория

3.3. Система заказов на обработку спутниковых данных

3.4. Выводы по главе 3

ГЛАВА 4. МЕТОДЫ СОЗДАНИЯ СИРЦ И ИХ РЕАЛИЗАЦИЯ В СЦ ДВО РАН

4.1. Анализ свойств и возможностей инструментальных средств

4.1.1. Анализ и тестирование средств создания каталогов

4.1.2. Анализ свойств средств для организации передачи данных............... 4.1.3. Средства создания сервисов заказа и обработки данных

4.1.4. Выводы по разделу 4.1

4.2. Архитектура СИРЦ

4.2.1. Архитектура СИРЦ первого этапа

4.2.2. Архитектура СИРЦ второго этапа

4.2.3. Выводы по разделу 4.2

4.3. Открытый репозиторий спутниковых данных

4.3.1. Каталоги коллекций и продуктов

4.3.2. Интерфейсы передачи данных

репозитория

4.3.4. Выводы по разделу 4.3

4.4. Система заказов на обработку спутниковых данных

4.4.1. Сервис заказа с интерфейсом SSE Order

4.4.2. Интерфейс к РСО с применением стандарта OGC WPS

4.4.3. Сервис заказа с интерфейсом OGC 06-141 (OSEO)

4.4.4. Выводы по разделу 4.4

4.5. Выводы по главе 4

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

ЛИТЕРАТУРА

ВВЕДЕНИЕ

Актуальность работы. В настоящий момент данные дистанционного зондирования Земли (ДЗЗ) из космоса широко применяются в различных отраслях исследовательской и хозяйственной деятельности человека. Ввиду сложности технологий восстановления физических параметров наблюдаемых объектов по спутниковым изображениям значительная часть обработки данных переносится на сторону спутниковых центров (СЦ). Эффективность решения прикладных и теоретических задач напрямую зависит от развитости средств доступа потребителей к продуктам и технологиям обработки данных ДЗЗ.

Задачи, связанные с мониторингом природных и антропогенных объектов, могут требовать оперативного доступа.

Современное состояние области ДЗЗ характеризуется непрерывным ростом числа спутников, типов измерительной аппаратуры и созданием новых алгоритмов обработки данных. Результатом обработки данных одного сенсора, полученных в рамках одного сеанса приёма, могут являться десятки или даже сотни продуктов. Обеспечение нужд потребителей спутниковых данных в рамках одного СЦ постепенно становится невозможным. Как следствие, одним из приоритетных мировых направлений в области доступа к данным ДЗЗ является создание глобальных распределённых информационных систем (ИС).

В таких системах пользователь получает доступ ко всем ресурсам через единую точку входа — отсутствует зависимость от особенностей поставщика ресурсов.

Получивший широкое распространение традиционный подход к построению ИС ДЗЗ основан на организации доступа к данным. Этот подход ограничивает возможности пользователя поиском и получением данных от СЦ.

Задачи пользователей-исследователей могут быть связаны с разработкой методик обработки спутниковых данных на основе подбора комбинаций алгоритмов и их параметров. В этом случае СЦ должен предоставить пользователю простой удалённый доступ к средствам обработки, размещаемым на стороне СЦ в силу их ресурсоёмкости и сложности в эксплуатации. Сервисориентированный подход к созданию современных ИС ДЗЗ даёт возможность решения такой задачи.

За последние годы выработано значительное число стандартов, определяющих функциональные и информационные модели взаимодействия клиента и сервера в ИС ДЗЗ. В то же время все они рассматривают заказ данных у СЦ и их обработку как отдельные задачи, равно как поиск и получение данных. Не разработаны модели и подход к созданию ИС СЦ, обеспечивающие совместимость с этими стандартами и интеграцию в глобальные ИС ДЗЗ, при этом предоставляющие пользователям-исследователям простой доступ к обработке данных.

Поэтому актуальной проблемой является разработка подходов к созданию системы для интеграции ресурсов спутникового центра (СИРЦ) в глобальные информационные системы для работы с данными дистанционного зондирования Земли из космоса. При этом необходимо учесть потребности пользователей-исследователей в доступе к обработке спутниковых данных по запросу в соответствии с выбираемой ими технологией.

Целью диссертационной работы является разработка моделей, методов и средств интеграции информационных и вычислительных ресурсов спутникового центра (СЦ) в глобальную ИС ДЗЗ Европейского космического агентства с учётом потребностей пользователей-исследователей, на примере Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН (СЦ ДВО РАН).

Достижение поставленной цели требует решения следующих задач:

1. Разработка требований к СИРЦ на основе анализа свойств глобальной ИС ДЗЗ Европейского космического агентства и опыта СЦ ДВО РАН по работе пользователями-исследователями.

2. Разработка моделей СИРЦ и её компонентов 3. Разработка методов создания СИРЦ и их реализация в СЦ ДВО РАН Методы исследования. При формировании требований к СИРЦ был произведён анализ возможностей и свойств современных глобальных ИС ДЗЗ.

Для представления моделей СИРЦ был использован язык UML. При создании СИРЦ были использованы методы системного, объектно-ориентированного и модульного программирования.

Научная новизна работы состоит в следующем:

1. Для интеграции в глобальную ИС ДЗЗ Европейского космического агентства был впервые разработан концептуальный проект СИРЦ, обеспечивающий пользователям-исследователям возможность заказа на обработку спутниковых данных с заданием используемых алгоритмов и их параметров.

2. Впервые разработаны функциональные и информационные модели открытого репозитория спутниковых данных, объединяющего сервисы поиска и доступа к данным.

3. Предложен новый метод создания сервиса заказа спутниковых данных в виде клиента сервисов обработки в соответствии с требованиями международных стандартов.

Практическая значимость диссертации. На основе разработанных в рамках диссертации моделей, методов и средств в Центре коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН создана система СИРЦ, обеспечивающая интеграцию в глобальную информационную систему SSE Европейского космического агентства. СИРЦ предоставляет пользователю-исследователю средства поиска и получения спутниковых данных, а также заказа на обработку в соответствии с задаваемой им технологией.

Созданные средства отвечают требованиям международных стандартов и будут использованы для интеграции в общероссийские системы ЕТРИС ДЗЗ (Роскосмос) и ЕСИМО (Росгидромет). Разработанные модели и методы позволяют сократить работы по созданию и поддержке СИРЦ в рамках других СЦ и предложены к применению в рамках всероссийской системы ЕТРИС ДЗЗ.

совместимый со стандартом EOLI-XML Европейского космического агентства»

ЭВМ №2013613453).

следующих научных проектов, грантов и программ: РФФИ 04-07-90350-в, 06р_офи, 08-07-00227-а, 11-01-12107-офи-м-2011, 11-07-00511-а, грантов ДВО РАН (руководитель грантов 10-III-В-01И-012 и 11-III-В-01И-012), гос.

контракта №02.518.11.7152 Минобрнауки России.

Апробация работы. Основные положения работы докладывались и обсуждались на следующих международных и российских конференциях и семинарах:

• Дальневосточной математической школе-семинаре имени академика Е.В.

Золотова (г. Владивосток, 2004, 2006, 2008);

современным прикладным программным системам (г. Алушта, 2005);

• Санкт-Петербургской Международной конференции «Региональная информатика – 2006» (г. Санкт-Петербург, 2006);

дистанционного зондирования Земли из космоса» (г. Москва, 2007, 2008, 2009, 2011);

океанографии: изучение и мониторинг окраинных морей Азии» (г.

Владивосток, 2007);

технологии для научных исследований» (г. Магадан, 2008);

• Всероссийской конференции с участием иностранных учёных «Проблемы мониторинга окружающей среды» (г. Кемерово, 2009);

• Международной конференции «First Russia and Pacific Conference on Computer Technology and Applications» (г. Владивосток, 2010);

(г. Новосибирск, 2010);

• Всероссийской объединённой конференции «Интернет и современное общество» (г. Санкт-Петербург, 2011);

государственной системы информации об обстановке в Мировом океане для информационного обеспечения морской деятельности в Российской Федерации» (г. Обнинск, 2012);

(RSAP-2013)» (г. Владивосток, 2013);

• конкурсе работ молодых учёных на базе конференции «Современные проблемы дистанционного зондирования Земли из космоса» (г. Москва, ИАПУ ДВО РАН (2010);

• семинарах лаборатории спутникового мониторинга ИАПУ ДВО РАН.

опубликовано 33 работы, из них 8 статей в журналах, рекомендуемых ВАК РФ для опубликования научных результатов, и одна публикация из списка Scopus.

Структура и объём работы. Диссертационная работа состоит из введения, четырёх глав, заключения и списка литературы. Основной объём диссертации составляет 130 страниц, в него входят: библиографический список из 138 наименований и 31 рисунок.

Первая глава посвящена обзору литературы. В ней даются базовые определения, принятые в области ДЗЗ или введённые в рамках диссертации.

Исследуется эволюция подходов к созданию информационных систем (ИС), предназначенных для работы с данными дистанционного зондирования Земли из космоса (ДЗЗ). Рассматриваются модели и стандарты взаимодействия потребителя с ИС ДЗЗ. Производится анализ существующих глобальных ИС ДЗЗ в России и мире, а также изучается опыт интеграции в них. Делается вывод о перспективности интеграции в европейскую ИС Service Support Environment (SSE) для СЦ, нацеленного на решение задач пользователей-исследователей.

Во второй главе разрабатываются требования к СИРЦ. При этом учитывается опыт СЦ ДВО РАН по работе с пользователями-исследователями, а также производится анализ свойств SSE и используемых в ней стандартов. В результате формируются конечные требования к СИРЦ.

Третья глава посвящена разработке моделей СИРЦ и её компонентов в соответствии с заданными требованиями. Представлен концептуальный проект СИРЦ, а также функциональные и информационные модели открытого репозитория спутниковых данных.

Четвёртая глава посвящена разработке методов создания СИРЦ и их реализации в СЦ ДВО РАН. Представлен результат анализа возможностей и опытной эксплуатации пакетов программ, в которых заявлена полная или частичная реализация стандартов, требуемых ИС SSE. С учётом полученного опыта и на основе концептуального проекта СИРЦ производится разработка конечной архитектуры СИРЦ, а также методов создания её компонентов.

Описываются средства, созданные в рамках диссертационной работы для реализации разработанных методов в СЦ ДВО РАН.

Личный вклад автора. Все результаты, составляющие основное содержание диссертации, получены автором самостоятельно. В работах [1, 27, 28, 29, 30, 40, 41, 51, 55] автору принадлежит анализ свойств глобальных ИС ДЗЗ. В работах [6, 7, 9, 10, 11, 12, 42] автором разработаны требования к СИРЦ и её концептуальный проект. В работах [2, 3, 10, 43, 45, 101, 102] автору принадлежит разработка моделей и методов создания репозитория спутниковых данных, в работах [4, 31, 44] — разработка методов создания системы заказов на обработку спутниковых данных.

ГЛАВА 1. ОБЩИЕ ПОЛОЖЕНИЯ ИНТЕГРАЦИИ

ИНФОРМАЦИОННЫХ И ВЫЧИСЛИТЕЛЬНЫХ РЕСУРСОВ В

ИС ДЗЗ Данная глава посвящена обзору литературы в области создания глобальных информационных систем (ИС), решающих задачу интеграции поставщиков и потребителей данных дистанционного зондирования Земли (ДЗЗ) из космоса в единую информационную сеть. Исследуются эволюция подходов к созданию ИС ДЗЗ, современные стандарты и модели взаимодействия пользователя с ИС ДЗЗ. Рассматривается мировой и российский опыт создания глобальных ИС ДЗЗ, их взаимодействие, а также интеграции в них отдельных спутниковых центров (СЦ).

1.1. Основные понятия Под спутниковым центром (СЦ) обычно понимают организацию, занимающуюся адаптацией имеющихся и разработкой новых технологий для приёма, архивирования, обработки и поставки данных, получаемых спутниками дистанционного зондирования Земли (ДЗЗ) из космоса.

конкретные пользователи, так и организации, в т. ч. другие СЦ. Получаемые со спутников массивы данных являются наборами пространственно-привязанных массивов отсчётов сенсоров, поэтому для решения большинства прикладных и исследовательских задач требуется дополнительная обработка. Целью такой обработки является восстановление физических параметров зондируемой среды.

Обработку спутниковых данных разделяют на первичную (связанную с восстановлением повреждённых при передаче от спутника данных, калибровкой измерений и географической привязкой) и следующую за ней тематическую (получение продуктов, непосредственно востребованных в решении прикладных и теоретических задач). В соответствии с этим выделяют различные уровни обработки спутниковых данных, где уровень 0 соответствует принятым со спутника необработанным данным, а уровень 2 и выше — различным видам тематической продукции. Ввиду многообразия современных алгоритмов и методик обработки спутниковых данных (СД) невозможно обеспечить решение всех тематических задач в рамках одного СЦ.

Обычно под термином продукт подразумеваются любой файл или группа файлов, являющихся результатом обработки спутниковых данных. Для простоты изложения в рамках диссертационной работы это понятие применяется также и к необработанным данным.

Понятие коллекция обозначает набор продуктов, объединённых по какомулибо признаку — например, спутник, размещённый на нём прибор дистанционного зондирования или тип обработки данных.

Под метаданными в рамках работы понимается структурированное описание данных продукта или коллекции, содержащее информацию о типе, происхождении данных, времени создания и т. д.

Под каталогом подразумевается сервис, предоставляющий клиенту функции поиска и просмотра записей метаданных.

Информационная система для работы с данными ДЗЗ (ИС ДЗЗ) — комплекс программных средств, обеспечивающих решение задач приёма, архивирования, обработки и поставки данных дистанционного зондирования.

Функционирование системы как комплекса может быть как полностью автоматическим, так и требовать участия персонала.

Рассматривая ИС ДЗЗ, необходимо произвести разделение между проблемно-ориентированными системами и системами общего назначения. К проблемно-ориентированным следует отнести системы, предназначенные для решения конкретного класса задач — например, оперативный мониторинг пожаров, разливов нефти, состояния лесов. Системы общего назначения тематически нейтральны и обеспечивают доступ к данным на основе общих принципов, применимым для работы с данными ДЗЗ. В системах общего назначения принципиальной является возможность для пользователя получать доступ не только к тематической продукции, но и к данным, прошедшим только первичную обработку. Это связано с существованием множества алгоритмов получения одного и того же вида продукции, отличающихся точностью и применимостью в условиях, определяемых задачей пользователя, а также используемыми исходными данными. Отличающиеся задачи обуславливают различие в применяемых стандартах, программных средствах, моделях и методах построения этих ИС.

Под термином глобальная ИС ДЗЗ подразумевается система систем, обеспечивающая взаимодействие интегрированных в неё СЦ. Глобальные ИС ДЗЗ позволяют СЦ обмениваться информацией, а потребителю получать доступ к ресурсам территориально распределённых СЦ через единую точку входа.

В рамках настоящей диссертационной работы под системой интеграции ресурсов спутникового центра (СИРЦ) в глобальные ИС ДЗЗ понимается набор программных компонентов ИС СЦ, обеспечивающих её интеграцию в глобальную ИС ДЗЗ. При этом вопросы разграничения доступа СИРЦ выходят за рамки работы, поскольку решаются с применением средств общего назначения.

Клиентами СИРЦ могут являться как пользователи, так и программные системы.

Термин сервис в рамках настоящей работы обозначает программную систему, предоставляющий набор функций внешним по отношению к нему программным системам. Термин веб-сервис обозначает сервис, созданный с применением технологий SOAP и REST [135].

Понятие интерфейс применяется к сервису или системе в целом и определяет совокупность операций, а также структуры информации, передаваемой между сервисом и его клиентом. Если интерфейс ориентирован на работу с пользователем, применяется понятие пользовательского интерфейса. Для пользовательского интерфейса, предоставляемого пользователю через средства веб-браузера, используется термин веб-интерфейс.

1.2. Эволюция подходов к созданию ИС ДЗЗ ориентированного на данные Традиционным в области ИС ДЗЗ является подход (data-centric vision), в рамках которого основной задачей СЦ является обеспечение доступа к данным ДЗЗ и продуктам их обработки. Большую важность представляет создание проблемно-ориентированных ИС ДЗЗ, обеспечивающих быстрый доступ к архивам тематической продукции и возможность ретроспективного анализа в различных задачах моделирования природных процессов и мониторинга предоставляется информационно-поисковой сервис (каталог), упрощающий поиск необходимых ему данных. Детализация метаданных в каталоге может идентифицировать наборы данных как на более общем уровне — «коллекция»

(характеризует тип продукта), так и на более конкретном — «продукт» («набор данных», «файл», «гранула»). Каталогизация на уровне продуктов позволяет различать последние при поиске, и обеспечивает техническую возможность непосредственного перехода от поиска к получению конкретных данных.

Передача требуемых наборов данных пользователю может осуществляться как в виде файлов на физическом носителе (магнитные ленты, CD, DVD, и т. д.), так и посредством сети Интернет.

Одним из недостатков подхода, ориентированного на данные, является зависимость качества архивируемых продуктов обработки данных ДЗЗ от использованных для их генерации алгоритмов обработки. Ежегодно в мире создаются методики и алгоритмы, позволяющие повысить точность восстановления физических параметров, связанных с наблюдаемыми объектами или явлениями. Усовершенствование последних может потребовать повторного пересчёта существующих архивов продукции [75]. Отдельный вид продукции может быть получен с применением различных алгоритмов, при этом выбор конкретного алгоритма в значительной мере зависит от решаемой потребителем задачи и используемых им методик. В связи с этим большую актуальность приобретает возможность построения нужных продуктов по запросу, на основе архивов данных низких уровней обработки.

Другой недостаток подхода, ориентированного на данные, отмечается в работах [56, 66]. Этим недостатком является низкая эффективность взаимодействия организаций, занимающихся обработкой данных с целью получения конечного продукта. Требуется более тесная кооперация организаций с целью исключения дублирующих видов деятельности, отделение поставки данных от их обработки и возможность распределения ролей организаций в процессе обработки и поставки данных ДЗЗ. При этом выделяется ниша для поставщиков услуг по специализированной обработке данных ДЗЗ, не ведущих собственных архивов.

1.2.2. Перспективы применения сервис-ориентированного подхода Описанных выше недостатков лишены ИС ДЗЗ нового поколения. В их основе лежит сервис-ориентированная архитектура (Service-Oriented Architecture — SOA) [96]. Ресурсом, к которому в этом случае получает доступ клиент, является сервис. Можно выделить два основных класса сервисов:

базовые (публикация, обнаружение и доступ к ресурсам) и дополнительные (управление пользователями, контроль доступа к данным, управление заказами, обработка по запросу, принятие решений) [56, 61]. Базовый набор сервисов обеспечивает функционал, аналогичный присутствующему в системах, построенных с применением традиционного подхода (основанного на данных).

Сочленение сервисов в единый поток (workflow) получения, обработки и поставки данных даёт возможность потребителю самостоятельно формировать цепочку вызовов сервисов различных поставщиков с целью получения конечного продукта. Для этого могут быть использованы такие средства, как язык BPEL (Business Process Execution Language) [65, 56]. На основе базовых сервисов могут создаваться составные (complex), включающие в себя цепочки вызовов других сервисов, распределённый вызов, переадресацию — при необходимости с предварительной обработкой запроса и последующей обработкой ответа. Технически такие сервисы могут быть организованы в виде «больших» веб-сервисов, основанных на применении технологий SOAP [120] и WSDL (Web Services Definition Language) [136]. SOAP отвечает за передачу применяется как язык описания для описания интерфейса сервиса, т. е. способа взаимодействия с ним клиента.

1.2.3. Выводы по разделу 1. Традиционным в области построения ИС ДЗЗ является подход, в рамках которого основной задачей, решаемой ИС, является обеспечение доступа к данным ДЗЗ и продуктам их обработки. Самостоятельная обработка данных специализированного программного обеспечения, в связи с чем большую востребованность имеют готовые продукты обработки. Поддержание архива продуктов может потребовать его периодического пересчёта в связи с улучшением алгоритмов обработки. Значительное число разрабатываемых разнообразию видов продукции СЦ. Это осложняет применение подхода для построения ИС ДЗЗ общего назначения. В то же время архивы тематической продукции, доступные по запросу, способны обеспечить быстрый доступ к ретроспективной информации и широко применяются в проблемноориентированных системах.

Сервис-ориентированные ИС ДЗЗ нового поколения обеспечивают выполнение базовых функции традиционных ИС ДЗЗ (поиск и доступ к данным), но также содержат и сервисы, решающие задачи запуска обработки по запросу, принятия решений и т. д. При этом присутствует возможность построения цепочек вызовов сервисов для организации комплексной обработки информации. Сервис-ориентированные ИС ДЗЗ позволяют обеспечить пользователю возможность самостоятельного управления процессом получения необходимого ему результата.

1.3. Основные современные стандарты и модели доступа потребителя к ресурсам ИС ДЗЗ В настоящий момент в мире разработано значительное число стандартов, применимых для работы с данными ДЗЗ. Часть из этих стандартов разработана непосредственно для работы с данными ДЗЗ и другими данными, имеющими географическую привязку. Все упомянутые стандарты можно сгруппировать согласно моделям взаимодействия клиента с ИС. Они описывают организацию поиска данных, доступа к данным, заказа данных, удалённого вызова процедур обработки данных.

Основной вклад в развитие современных стандартов и принципов, используемых в области построения и интеграции ИС ДЗЗ, вносит Открытый геопространственный консорциум (OGC) [106]. Консорциум был создан в году и на настоящий момент включает в себя свыше 400 организаций по всему миру [105].

1.3.1. Доступ к данным и метаданным Значительное количество развиваемых консорциумом OGC стандартов связано с доступом к пространственно-привязанным данным и их описанием в виде метаданных. Метаданные могут быть использованы пользователем или ИС с целью определения пригодности данных для решения конкретной задачи.

Модель доступа к метаданным в OGC определяется интерфейсом каталога CSW (Catalogue Service for the Web) [63]. Интерфейс позволяет внешнему клиенту пространственные и временные ограничения и т. д.) и осуществлять просмотр соответствующих им метаданных. Набора возможных и требуемых элементов, а также ограничения на принимаемые ими значения задаётся различными стандартами. Среди таких стандартов широкое распространение получил профиль метаданных ISO/FDIS 19115 [85]. Другими достаточно широко распространёнными стандартами в данной области являются протокол Z39.50 [22] и профиль CIP [62]. Протокол предоставляет клиенту унифицированный язык запросов для взаимодействия с распределённой сетью гетерогенных СУБД. Точкой доступа к отдельной СУБД является т. н. шлюз, обеспечивающий трансляцию запросов Z39.50 с учётом её специфики, а также обратное преобразование.

Из наиболее распространённых стандартов OGC в области доступа к данным можно выделить тройку стандартов WMS (Web Map Service) [134], WCS (Web Coverage Service) [131], WFS (Web Feature Service) [133]. Каждый из этих стандартов описывает взаимодействие между клиентом и сервером при доступе к картам (пространственно-привязанным растровым изображениям), покрытиям (пространственно-привязанным наборам измерений) и векторным объектам соответственно. Протокол OpeNDAP (Open-source Project for a Network Data Access Protocol) [108] предназначен для передачи фрагментов файлов и агрегации данных из нескольких файлов в рамках одной операции. В силу простоты и распространённости для передачи данных остаются востребованными такие протоколы общего назначения, как FTP [77], HTTP [84] и WebDAV [130].

Вопросы управления данными и метаданными в рамках единой системы рассматриваются группой моделей открытого архива — OAIS (Open Archival Information System) [122]. OAIS рассматривает архив данных как комплекс, включающий в себя как аппаратное и программное обеспечение, так и персонал. Модель подразумевает хранение дополнительной атрибутивной информации (метаданных) наряду с самими данными. Эта информация может быть использована как при управлении архивом, так и при доступе потребителя к данным. При этом делается различие между помещаемыми, хранимыми и извлекаемыми данными.

Руководство LTDP (Long Term Data Preservation) [95] опирается на применение моделей OAIS для работы с данными ДЗЗ. В то же время LTDP не описывает организацию программной системы, обеспечивающей реализацию базовых принципов OAIS при соответствии стандартам, принятым в области работы с данными ДЗЗ. OAIS и LTDP рассматривают только долговременное хранение данных и не затрагивают вопросы оперативного (временного) хранения и передачи данных.

1.3.2. Вызов процедур обработки данных и заказ на получение данных Отдельное семейство стандартов OGC описывает механизмы удалённого вызова процедур, ориентированные на работу с пространственными данными.

Такие механизмы описываются стандартами WPS (Web Processing Service) [113] и WCPS (Web Coverage Processing Service) [132] и ориентированы в первую очередь на взаимодействие система–система.

В последние годы получают развитие стандарты на сервисы заказа продуктов обработки данных ДЗЗ, такие как SSE Order [119] и OGC 06-141 [114]. Доступ к таким сервисам может быть бесплатным или осуществляться на коммерческой основе. Эти стандарты предназначены для заказа пользователем готовой продукции, подписки на её получение и формирования заявки на проведения съёмки определённого географического региона.

Существующие стандарты не описывают такой модели взаимодействия пользователя с СЦ, как заказ на обработку спутниковых данных, где пользователь мог бы самостоятельно задавать технологию обработки (алгоритмы и их параметры). Такое взаимодействие востребовано пользователями, неудовлетворёнными ассортиментом предлагаемой СЦ продукции либо ведущими исследовательские работы, связанные с подбором алгоритмов и уточнением их параметров для получения желаемого результата.

Заказ и обработка спутниковых данных стандартами рассматриваются как отдельные задачи.

1.5. Обзор крупнейших международных и российских ИС ДЗЗ 1.5.1. Развитие глобальных ИС ДЗЗ космических агентств США и ЕС Крупнейшими глобальными информационными системами общего назначения, обеспечивающими доступ к данным ДЗЗ, являются системы EOSDIS (Earth Observing System Data and Information System) NASA [90, 99] и INFEO (INFormation on Earth Observation) ESA [93]. Создание системы EOSDIS было начато в 1990 году. В 1992 году уже функционировало 8 узлов системы — центров DAAC (Distributed Active Archive Centers), каждый из которых был ответственным за хранение и распространение данных, связанных с конкретными научными дисциплинами [117]. Важной частью EOSDIS является международный реестр GCMD (Global Change Master Directory), хранящий информацию об организациях, предоставляющих доступ к разнообразным данным наблюдения за Землёй [100]. Регистрация в GCMD является первым шагом по интеграции в EOSDIS и INFEO.

Основа INFEO была создана ESRIN (центр по наблюдению за Землёй ESA) в рамках проекта EWSE (European Wide Service Exchange) в 1995 году и уже включала в себя функции распределённого поиска и просмотра метаданных. Разработка основы INFEO была закончена в 1999 году.

Ключевыми особенностями INFEO явились возможность взаимодействия с системой EOSDIS, а также возможность просмотра не только метаданных, но и обзорных изображений для спутниковых данных [68].

Интеграция в глобальные информационные системы EOSDIS и INFEO требовала развёртывания так называемого шлюза (gateway) на стороне поставщика данных. При этом не только данные, но и метаданные должны находиться на стороне поставщика [90]. Доступ к метаданным с целью поиска данных, обладающих необходимыми для пользователя характеристиками, в таких системах осуществляется посредством протокола CIP. CIP разработан в рамках проекта CINTEX (Catalogue Interoperability Experiment) [94] на основе протокола Z39.50, созданного для доступа к библиографическим базам данных [62].

поставщика данных, является трансляция запросов Z39.50 в запросы к реляционной базе данных определённой структуры. Встроенные в протокол Z39.50 функции по распределённой передаче запросов и их переадресации на другие узлы дают возможность создания глобальных распределённых информационных систем [22]. При этом пользователь обеспечивается возможностью поиска по всем каталогам спутниковых данных через единую точку входа вне зависимости от физического размещения поставщиков.

взаимодействию) каталогов данных ДЗЗ в рамках проекта CINTEX были разработаны специальные словари (тезаурусы, valids). Следование последним позволяло точно охарактеризовать отдельный набор данных, однако осложняло процесс каталогизации новых видов продукции (получаемых впервые созданными алгоритмами, и не имеющих соответствующей регистрации в тезаурусе).

В основе современных глобальных ИС ДЗЗ — ECHO (Earth observing system ClearingHOuse) NASA [117] и SSE (Services Support Environment) ESA [65, 67] лежит сервис-ориентированная архитектура (Service-Oriented Architecture — SOA) [96]. ECHO и SSE являются системами общего назначения и представляют собой платформу, интегрирующую сервисы для работы с данными ДЗЗ. Конкретные задачи могут решаться с применением интегрированных в них сервисов доступа к метаданным, данным и средствам их обработки.

До недавнего времени ECHO и SSE в основном ориентировались на применение внутренних стандартов, разработанных исходя из собственных потребностей. Работы последних лет связаны с постепенным переходом к применению открытых стандартов. Так, поверх инфраструктуры ECHO был создан сервис каталога согласно стандарту OGC CSW (Catalogue Service for the Web) [59]. В рамках проекта HMA (Heterogeneous Mission Accessibility) [67], развиваемого на базе SSE, используются только открытые стандарты. При этом значительная их часть была разработана в HMA и впоследствии получила утверждение OGC.

Выработанные в ходе проектов методы и стандарты находят применение в предметно-ориентированных региональных и глобальных информационных системах. Так, в рамках 7-й рамочной программы ЕС был запущен проект GENESIS (GENeric European Sustainable Information Space for environment), ставящий своей целью выработку решения по интеграции информационных сетей в строгом соответствии с Европейскими инициативами (INSPIRE, SEIS и GEOSS) по гармонизации [125]. В рамках проекта используются стандарты и средства, разработанные в рамках проекта HMA.

1.5.2. Развитие глобальных ИС ДЗЗ в России Федеральным космическим агентством (Роскосомос) ведутся работы по созданию ЕТРИС ДЗЗ, Единой территориально-распределенной информационной системы дистанционного зондирования Земли из космоса.

ЕТРИС ДЗЗ создаётся как национальная информационная система, объединяющая наземные комплексы приёма, обработки и распространения данных ДЗЗ различных организаций и ведомств [46, 47]. В рамках системы разработан профиль метаданных на основе общепринятых стандартов ISO 19115 и ISO 19139, однако механизм взаимодействия с каталогом данных в распределённого поиска — все метаданные должны выгружаться поставщиком непосредственно на FTP-сервер Роскосмоса. Единственным средством взаимодействия с системой на текущий момент является геопортал Роскосмоса, где продукты обработки спутниковых данных доступна через интерфейс OGC WMS. При этом вопрос доступа к данным низких уровней обработки не проработан.

автоматизированный центр приема, обработки и распространения спутниковых данных, работающий на постоянной основе с 1994 года. Его услугами Специалистами ИКИ РАН и Фрязинского отделения Института радиотехники автоматизированных систем для хранения и доступа к спутниковым данным. На информационные системы в ИКИ РАН, Центре космических наблюдений Росавиакосмоса, научно-исследовательском центре «Планета» и Госцентре «Природа» [21]. Сервис ВЕГА (VEGetation Analysis — анализ вегетации), также разработанный в ИКИ РАН, предназначен для решения задач, связанных с анализом изменений в лесном покрове и оценкой породной структуры лесов. В рамках проекта обеспечивается быстрый доступ к продуктам обработки геоинформационных технологий [15].

Развиваемая в Сибирском отделении РАН информационная система [50] обеспечивает пользователя возможностями распределённого поиска пространственных данных с применением протоколов Z39.50 и SRW/SRU [123], предоставляет ему различные средства для обработки, анализа и визуализации простра с использованием геоинформационных технологий. Одним из ключевых компонентов системы является собственная разработка СО РАН — платформа ZooSPACE, разработанная для интеграции разнородных информационных ресурсов [23].

Общероссийская система ЕСИМО (Единая государственная система информации об обстановке в Мировом океане) ставит своей целью обеспечение исследования океана [17]. В последние годы получили развитие спутниковая компонента ЕСИМО [14], а также технология интеграции ресурсов с применением принципов сервис-ориентированной архитектуры [16]. Портал сгруппированным по тематическим категориям, аналогично реестру GCMD. В настоящий момент в ЕСИМО отсутствует механизм распределенного поиска среди ресурсов интегрированных поставщиков данных, равно как и механизм непосредственного перехода от поиска конкретных наборов данных к их получению.

пространственной информацией «ГеоМета» [5] разрабатывается для доступа к базам геоданных, картографическим продуктам и связанным с ними метаданных [49] на базе стандартов ISO 19115, ISO 19139 и ГОСТ Р 52573но и пакет для развёртывания узла такой системы. На текущий момент широкого распространения среда не получила.

1.5.3. Выводы по разделу 1. Крупнейшими глобальными ИС ДЗЗ являются системы EOSDIS (Earth Observing System Data and Information System) NASA и INFEO (INFrmation on Earth Observation) ESA. Интеграция в такие системы достаточно трудоёмка и в последние годы потеряла актуальность ввиду развития систем-преемниц ECHO (NASA) и SSE (ESA). Основная часть существующих в России ИС ДЗЗ не является системами общего назначения. Такой системой должна стать система ЕТРИС ДЗЗ, разрабатываемая Роскосмосом. Система SSE, получившая развитие в рамках европейско-канадского проекта HMA, в настоящий момент является единственной ИС ДЗЗ общего назначения, целиком основанной на применении открытых стандартов. Интеграция в такую глобальную ИС для СЦ, ориентированного на работу с пользователями-исследователями, является наиболее перспективной.

1.6. Опыт интеграции в глобальные ИС ДЗЗ в России и в мире В настоящий момент в рассмотренные глобальные ИС ДЗЗ различным образом интегрированы ресурсы значительного числа спутниковых центров и космических агентств. Интерес представляет европейская система SSE, куда интегрированы ресурсы как европейских поставщиков (например, оператора EUMETSAT [129] и Германского аэрокосмического центра DLR [69]), так и организаций по всему миру. Свои сервисы в SSE интегрируют KARI (Корейский институт аэрокосмических исследований) [88] и JAXA (Японское агентство аэрокосмических исследований) [89].

Крайне важной представляется возможность взаимодействия глобальных информационных систем, созданных NASA и ESA. Так, в рамках проекта CINTEX была обеспечена интеграция информационных систем EOSDIS и INFEO с использованием протокола CIP [62]. Впоследствии аналогичная задача была решена для систем ECHO и SSE за счёт применения протокола EOLI [98].

Другим примером взаимодействия глобальных информационных систем является наличие обратной совместимости между системами более новыми и более старыми: каталоги INFEO доступны в качестве отдельного сервиса в системе SSE [74].

Вопрос об интеграции российских архивов спутниковых данных в международные глобальные ИС начал решаться в конце 1990-х [58] во Фрязинском отделении Института радиотехники и электроники (ФИРЭ) РАН. В 2000 году был запущен проект по интеграции INTAS (Международная ассоциация по содействию сотрудничеству с учёными новых независимых государств бывшего Советского Союза) [25, 91, 92]. В проекте участвовали Институт космических исследований (ИКИ) РАН, Институт радиотехники и электроники (ИРЭ) РАН и Институт автоматики и процессов управления (ИАПУ) Дальневосточного отделения РАН [54]. Значительные успехи были достигнуты в ФИРЭ РАН, где был развёрнут шлюз (Gateway) системы EOSDIS [48].

информационные системы не утерян и сейчас. Так, в ИКИ РАН в последние годы ведутся работы по исследованию европейских информационных систем нового поколения (SSE и HMA) [26], однако опыт интеграции в такие системы в настоящий момент не был получен. Возможность взаимодействия развиваемой инфраструктуры СО РАН с системой INFEO упоминается в статье [50], интеграция в эту же систему рассматривается как одно из направлений развития системы ЕТРИС ДЗЗ Роскосмоса [32].

1.7. Выводы по главе Проведённый обзор литературы позволяет сделать следующие выводы:

1. Традиционным в области построения ИС ДЗЗ является подход, ориентированный на обеспечение доступа к данным. Наличие значительного числа альтернативных алгоритмов и методик обработки спутниковых данных осложняет применение подхода при построении ИС ДЗЗ общего назначения.

Сервис-ориентированные ИС ДЗЗ нового поколения реализуют базовые функции традиционных ИС ДЗЗ (поиск и доступ к данным), а также дают возможность создания сервисов для автоматического принятия решений, удалённого запуска обработки, заказа данных пользователем.

2. Существующие стандарты, используемые в области создания ИС ДЗЗ, можно сгруппировать согласно моделям взаимодействия пользователя с ИС.

Основными такими моделями являются поиск данных, доступ к данным и доступ к обработке данных ДЗЗ. Заказ и обработка спутниковых данных в литературе рассматриваются как отдельные задачи. Поиск и доступ к данным рассматриваются в рамках модели OAIS, описывающей различные аспекты создания, поддержки и доступа к архивам данных. Попытка учесть специфику данных ДЗЗ в архиве OAIS предпринимается в руководстве LTDP. В то же время OAIS и LTDP не затрагивают вопросы оперативного (временного) хранения и передачи данных, а также не рассматривают создание такого архива как программной системы.

3. Крупнейшими глобальными ИС ДЗЗ общего назначения являются системы EOSDIS (Earth Observing System Data and Information System) NASA и INFEO (INFormation on Earth Observation) ESA. Интеграция в такие системы достаточно трудоёмка и в последние годы потеряла актуальность ввиду развития систем-преемниц ECHO (NASA) и SSE (ESA). SSE является основой для европейско-канадского проекта HMA, отличительной чертой которого является полный переход к применению открытых стандартов.

4. Основную часть существующих в России ИС ДЗЗ нельзя отнести к системам общего назначения. Такой системой должна стать система ЕТРИС ДЗЗ, разрабатываемая Роскосмосом. На территории России аналоги глобальных ИС ДЗЗ общего назначения ECHO (NASA) и SSE (ESA) отсутствуют.

Таким образом, актуальной является разработка моделей, методов и средств интеграции СЦ в глобальную ИС ДЗЗ в SSE с применением открытых стандартов нового поколения, разработанных в рамках проекта HMA. При этом необходимо учесть потребности пользователей-исследователей в доступе к обработке спутниковых данных по запросу в соответствии с выбираемой ими технологией.

ГЛАВА 2. ТРЕБОВАНИЯ К СИСТЕМЕ ИНТЕГРАЦИИ

РЕСУРСОВ СПУТНИКОВОГО ЦЕНТРА

Глава посвящена разработке требований к СИРЦ. Для этого на основе опыта работы Центра коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН (СЦ ДВО РАН) формулируются общие функциональные требования к ИС, ориентированной на обеспечение потребностей пользователей-исследователей. Далее анализируются особенности глобальной ИС ДЗЗ Европейского космического агентства и формализуется набор требований, необходимых для интеграции поставщика данных и сервисов в эту глобальную ИС. На основе этих двух наборов требований разрабатываются конечные требования к СИРЦ.

2.1. Формирование функциональных требований к ИС СЦ, ориентированной на работу с пользователями-исследователями 2.1.1. Принципы работы с пользователями-исследователями в СЦ ДВО РАН Центр коллективного пользования регионального спутникового мониторинга окружающей среды ДВО РАН создан на базе лаборатории спутникового мониторинга Института автоматики и процессов управления ДВО РАН. Центр получил статус ЦКП с 2003 года и имеет регистрацию в международном реестре GCMD (Global Change Master Directory) [100] — RU/RAS/IACP/SML. Центр обеспечивает информационную поддержку фундаментальных и прикладных научных исследований в области физики океана и атмосферы, океанологии, морской биологии и экологии. Ведётся разработка новых методов обработки и поставки спутниковых данных. В Центре круглосуточно работают службы приёма полярно-орбитальных и геостационарных спутников на основе четырёхантенного комплекса;

обеспечиваются накопление архивов, распределённая обработка и поставка через Интернет базовых видов информации, принимаемой со спутников NOAA, FY-1D, MTSAT-1R, AQUA, TERRA, METOP-A, METOP-B, SUOMI-NPP, Метеор-М № 1. Реализованы автоматические цепочки обработки данных спутников серии NOAA (температурные и структурные карты поверхности моря, профили температуры и влажности атмосферы), AQUA и TERRA (около 200 параметров морской воды и атмосферы), MTSAT-1R (температура воды, облачности, мониторинг морского льда) на основе пакетов SeaDAS, AAPP, RTTOV, MetOffice-1Dvar и собственных программных разработок [27, 28, 51, 55]. Данные средства функционируют совместно в рамках гетерогенной распределённой системы обработки (РСО) спутниковых данных, являющейся разработкой СЦ ДВО РАН. Взаимодействие РСО с Центром коллективного пользования «Дальневосточный вычислительный ресурс» (ДВВР) обеспечивает оперативную обработку больших объёмов данных с производительностью до терафлопс [13].

Объём архива спутниковых данных, ведущегося в Центре с 1993 года, превышает 20 ТБ. Основой архива является сетевое хранилище, построенное на базе технологии RAID общей ёмкостью 76 ТБ. При долговременном хранении в СЦ ДВО РАН предпочтение отдаётся данным низких уровней обработки (L0, L1). При этом поддерживается небольшой оперативный архив, содержащий наиболее популярные виды продукции высоких уровней обработки за последние несколько месяцев. Значительное количество продукции СЦ ДВО РАН предоставляет за счёт обработки по запросу, при этом вид обработки и её параметры могут быть заданы заказчиком. Заказ может быть сформирован через форму заказа, размещённую на сайте Центра, либо при личном обращении. В обоих случаях формирование заказа для РСО и передача результата обработки выполняются с участием оператора и требуют автоматизации. Общая архитектура существующей информационной системы Центра представлена на рисунке 1.

Рисунок 1. Архитектура существующей ИС СЦ ДВО РАН, обеспечивающая потребности пользователей-исследователей На основе поступившего заказа оператор СЦ ДВО РАН формирует задание на обработку. Обработка выполняется гетерогенной распределённой системой обработки Центра, где развёрнуты реализации алгоритмов обработки спутниковых данных — как общепринятые, так и разработанные в СЦ ДВО РАН. Исходные данные извлекаются из архива и по окончании обработки помещаются оператором в директорию пользователя, где они доступны для загрузки [1, 13, 42].

Недостатками существующей ИС СЦ ДВО РАН являются:

1. Участие оператора в различных стадиях обработки заказа. С ежегодным увеличением числа заказов на 20 % и выше оперативная обработка становится затруднительной.

непосредственной связи с РСО. Форма заказа не содержит актуальной информации о фактическом наполнении РСО теми или иными алгоритмами обработки спутниковых данных.

3. Отсутствие возможности перехода от поиска к заказу данных для пользователя. Таким образом, при заказе пользователь не имеет возможности оценить пригодность данных для решения его задачи.

4. Отсутствие интеграции в глобальные ИС ДЗЗ ограничивает круг пользователей СЦ ДВО РАН.

2.1.2. Формирование функциональных требований к ИС на примере

СЦ ДВО РАН

Для решения выявленных проблем при сохранении принципов работы с пользователями-исследователями необходимо обеспечить соответствие ИС СЦ ДВО РАН следующим выработанным требованиям [8, 9, 10]:

Требование 1. ИС должна предоставлять клиенту возможность поиска спутниковых данных на основе значений атрибутов (включая спутникисточник, время приёма, охватываемые географический регион, вид обработки и т. д.), а также возможность просмотра этих атрибутов.

Обоснование. Объём данных, полученных в течение одного сеанса приёма со спутника, или объём соответствующего файла конечной продукции может достигать нескольких десятков или сотен мегабайт. Необходимо предоставить пользователю способ быстро оценивать пригодность конкретных наборов данных для решения его задачи без загрузки самих данных.

Требование 2. ИС должна обеспечивать возможность непосредственного перехода от поиска данных к их получению.

Обоснование. Конечной целью клиентов СЦ является доступ к данным.

Выбрав пригодные для решения его задачи данные, клиент должен иметь возможность их получения. В противном случае механизмы поиска и просмотра метаданных, описанные в требовании 1, носят только функцию рекламы данных и не используются в полном объёме.

Требование 3. ИС должна предоставлять клиенту возможность получения стандартной продукции и необработанных данных в удобном для него формате.

Обоснование. Возможность применения данных в задаче клиента определяется не только видом продукции и способом её предоставления.

Необходимо учитывать значительное количество стандартов и средств, используемых в различных областях применения данных ДЗЗ. При этом пользователи, не удовлетворённые ассортиментом стандартной продукции, должны иметь возможность получения исходных данных для самостоятельной обработки.

Требование 4. ИС должна предоставлять пользователю возможность заказа на обработку спутниковых данных в соответствии с его требованиями. Эти требования могут включать выбор алгоритма обработки, задание их параметров и формата представления результата.

Обоснование. Пользователи, не удовлетворённые ассортиментом стандартной продукции, но не располагающие знаниями и/или ресурсами для самостоятельной обработки, должны иметь возможность заказа обработки для получения желаемой продукции. Наличие подобного механизма особенно важно для пользователей-исследователей, ряд задач которых связан с подбором параметров и комбинаций алгоритмов обработки, обеспечивающих получение необходимого результата. Осуществление оперативной обработки также может требовать привлечения значительных вычислительных мощностей, отсутствующих у клиента. Кроме того, СЦ может пожелать скрыть внутренние особенности реализации алгоритмов обработки от пользователя или предоставить услуги по обработке на коммерческой основе.

Требование 5. ИС должна предоставлять клиенту возможность загрузки собственных данных на сторону СЦ для их обработки с применением алгоритмов и вычислительных ресурсов, присутствующих в ИС СЦ.

Обоснование. Возможен сценарий, в котором в СЦ отсутствуют данные по определённому географическому региону, за определённый период и полученные с определённого спутника. Это может быть связано с зоной приёма, коммерческими ограничениями на получение исходных данных. При этом технологии обработки, развёрнутые в СЦ, оказываются пригодными для обработки данных, имеющихся в наличии у пользователя. В этом случае последний должен иметь возможность заказа обработки собственных данных на стороне СЦ.

Требование 6. ИС СЦ должна являться ИС ДЗЗ общего назначения, т. е. не должна зависеть от программного обеспечения и получаемой продукции, ориентированных на решение задач конкретной предметной области.

Обоснование. Такой подход обеспечит возможность простого расширения ИС средствами обработки и поставки данных, ориентированных на применение в конкретной предметной области. При этом модификация самой системы не требуется. Это же свойство упростит повторение разработанных моделей, методов и средств в других СЦ без модификации под решаемый ими круг задач.

Требование 7. ИС должна функционировать полностью автоматически, однако при необходимости допускать выполнение ряда работ оператором.

Обоснование. Объём круглосуточно принимаемых и обрабатываемых СЦ данных требует полного отказа от участия оператора в работе ИС СЦ.

Большинство современных алгоритмов обработки спутниковых данных способно функционировать полностью автоматически, однако часть из них может требовать принятия решения оператором. Участия оператора может также потребовать управление заказами на обработку.

Требование 8. ИС должна предоставлять как пользовательский интерфейс на основе веб-портала, так и средства для межсистемного взаимодействия.

Обоснование. Функции, предоставляемые ИС СЦ, могут быть интересны как непосредственно конечному пользователю, так и разработчику сторонней ИС, желающему организовать взаимодействие с ИС СЦ.

Требование 9. СИРЦ должна опираться там, где это возможно, на применение существующих моделей и стандартов.

Обоснование. Применение существующих моделей и стандартов снижает трудозатраты на развитие и поддержку ИС, а также даёт больше перспектив для взаимодействия с ИС других СЦ.

Требование 10. ИС должна обеспечивать интеграцию информационных и вычислительных ресурсов СЦ в глобальную ИС ДЗЗ Европейского космического агентства.

Обоснование. Согласно проведённому в главе 1 обзору интеграция в данную глобальную ИС ДЗЗ является наиболее перспективной для СЦ с точки зрения минимизации трудозатрат.

Предъявленные требования требуют создания СИРЦ как надстройки над ИС СЦ, обеспечивающий необходимые пользователю функции и интеграцию глобальную ИС ДЗЗ Европейского космического агентства. Для формирования конечных требований к СИРЦ необходимо изучить свойства и принципы функционирования самой глобальной системы и проанализировать требования используемых в ней стандартов.

2.2. Анализ свойств, возможностей и требований глобальной ИС ДЗЗ Европейского космического агентства Значительную часть работы по выработке конечных требований к СИРЦ составляет анализ свойств и возможностей глобальной ИС SSE (Service Support Environment) Европейского космического агентства, в которую производится интеграция. Отдельной частью этого анализа является изучение назначения и требования современных стандартов, применимых для интеграции в эту ИС.

При этом необходимо рассмотреть также стандарты, используемые в более широком контексте — вплоть до стандартов общего назначения, применяемых в сети Интернет. Поскольку информация по стандартам и самой системе SSE представлена в значительном числе разрозненных документов, необходимо на основе такого анализа сформулировать краткие требования по интеграции поставщика в эту глобальную систему.

2.2.1. Общие принципы интеграции в ИС ДЗЗ Европейского космического агентства Интеграция в глобальную информационную систему SSE требует организации на стороне поставщика (т. е. СЦ) набора сервисов [64]. Интерфейс отдельного сервиса (набор операций и структуры данных) определяется соответствующими стандартами. В основе каждого из таких интерфейсов лежит обмен XML-сообщениями [76] посредством протокола SOAP [120]. Сам интерфейс описывается с применением языков WSDL [136] и XML Schema. В зависимости от назначения сервиса отдельные его операции могут обеспечивать синхронную или асинхронную модель взаимодействия (рисунок 2).

Рисунок 2. Синхронная и асинхронная модель взаимодействия клиента (SSE Portal) и сервера (поставщик) в глобальной ИС SSE Синхронный запрос подразумевает немедленный ответ от сервера. Время обработки асинхронных запросов никак не ограничивается, что даёт возможность участия персонала при выполнении части функций сервиса. Не накладывается никаких ограничений на то, каким образом сервис-провайдер будет получать и обрабатывать информацию. Фактическая реализация сервиса может подразумевать как последовательность самостоятельных действий, необходимых для получения результата; так и опосредованный вызов сервисов других сервис-провайдеров.

Конечный пользователь получает доступ к сервисам интегрированных поставщиков через единый веб-портал системы — SSE Portal. При этом подразумевается, что поставщик может иметь также свой собственный портал, ориентированный на работу с региональными пользователями. Для интеграции в SSE поставщик должен:

1. создать сервис(ы) в соответствии со стандартами, требуемыми SSE;

2. получить регистрацию на портале и запросить права поставщика (service provider);

3. загрузить на сторону портала набор файлов, описывающих сервис.

Данный набор включает в себя файл WSDL и файл XSD, описывающие интерфейс сервиса, а также файл XSLT, определяющий правила генерации пользовательского веб-интерфейса, прямое и обратное преобразование данных при взаимодействии с сервисом.

2.2.2. Анализ возможностей и свойств информационно-поисковых интерфейсов Функции поиска наборов данных по архивам, а также получения информации о них в современных ИС ДЗЗ выполняются каталогами. Можно выделить два основных вида стандартов, связанных с созданием такого вида сервисов:

• стандарты, описывающие способ взаимодействия клиента с сервисом каталога (интерфейсы);

• стандарты, описывающие правила формирования записей, содержащих информацию об элементах архива данных (профили метаданных).

2.2.2.1. Внутренний европейский стандарт EOLI-XML Стандарт EOLI (Earthnet OnlIne) [70] изначально описывал механизм взаимодействия между одноимённой клиентской и серверной частью поискового интерфейса каталога eoPortal [72] на поздних стадиях развития системы INEFO. В дальнейшем EOLI стал основным интерфейсом доступа к каталогам продуктов в проекте MASS [65], на основе которого в дальнейшем была создана система SSE [64].

EOLI описывает как интерфейс, так и профиль метаданных для создания каталога продуктов обработки данных ДЗЗ и обеспечивает поиск конкретного продукта среди коллекции однотипных данных. Интерфейс требует реализации двух синхронных операций:

• Search — поиск продуктов обработки данных ДЗЗ по набору критериев;

• Present — получение метаданных по конкретному продукту.

Отдельный продукт в EOLI-каталогах может быть однозначно задан сочетанием собственного идентификатора и идентификатора содержащей его коллекции.

Профиль метаданных EOLI включает сравнительно небольшой набор необходимых атрибутов, унаследованных из профилей ISO 19115, FGDC и CIP.

Стандарт EOLI сыграл свою роль в развитии среды SSE, однако в настоящий момент устарел. Последняя его версия, дополненная функциями по заказу продуктов, была представлена [97] в 2005 году на рассмотрение в качестве минимального профиля каталогов OGC для работы с продуктами ДЗЗ (05-057r4, OpenGIS Catalogue Services – Best Practices for Earth Observation Products), однако дальнейшего развития не получила.

Спецификация EOLI, в силу своей простоты, может быть использована как временное решение по интеграции каталогов СЦ в глобальную информационную систему SSE. Перспективным же является применение технологий следующего поколения, разработанных в рамках проекта HMA.

2.2.2.2. Стандарты OGC 06-131 и OGC 06- Стандарт OGC 06-131 (OGC® Catalogue Services Standard 2.0 Extension Package for ebRIM Application Profile: Earth Observation Products) [104] был разработан в рамках проекта HMA как альтернатива устаревшему интерфейсу EOLI. Как и EOLI, OGC 06-131 описывает способ доступа к каталогам продуктов обработки данных ДЗЗ. В отличие от EOLI, OGC 06-131 получил утверждение консорциума OGC и целиком основан на открытых стандартах:

• OpenGIS® Catalogue Services Specification (OGC 07-006, «Catalogue Service for the Web» (CSW)) [63] — общая модель доступа к каталогам пространственно-привязанных данных;

• OASIS ebXML Registry Information Model v3.01 — модель реестра, используемого для хранения XML-документов [87].

Интерфейс OGC 06-131 требует реализации набора синхронных операций, большая часть которых унаследована от стандарта OGC CSW:

• GetCapabilities — получение метаданных о самом сервисе;

• GetRecords — поиск продуктов обработки данных ДЗЗ по набору критериев;

• DescribeRecord — получение метаданных об информационной модели и типах данных, используемых каталогом;

• GetRecordById — получение метаданных по конкретному продукту;

• Harvest — запрос на публикацию записи метаданных в каталоге (операция является необязательной).

Вспомогательные операции CSW Transaction (создание, изменение и удаление записей каталога) и GetDomain (получение информации об ограничениях на значения параметров запросов) в явном виде стандартом OGC 06-131 не описываются.

В дополнение к этим операциям стандарт OGC 06-131 определяет операцию GetRepositoryItem, которая позволяет извлекать записи метаданных именно в том виде, а каком они были помещены в каталог, а не согласно модели ebRIM.

Способ формирования записей для каталога OGC 06-131 описывается стандартом OGC 06-080r4 (GML 3.1.1 Application Schema for EO products) [109], определяющим прикладную схему для языка OGC GML (Geography Markup Language) [79]. Основное назначение стандарта – создание унифицированного способа представления метаданных о продуктах ДЗЗ от различных поставщиков, который бы включал набор общих атрибутов и имел возможность расширения за счёт определения набора дополнительных атрибутов, необходимых для описания различных тематических продуктов (рисунок 3).

Рисунок 3. Уровни совместимости метаданных, создаваемых с применением Стандарт OGC 06-080 позволяет достигнуть совместимости описаний данных:

• на базовом уровне языка GML (что может быть востребовано при изображении границ снимка на карте);

• на уровне описания продуктов обработки данных ДЗЗ (EOP — Earth Observation Product);

• на уровне описания тематических продуктов конкретного типа.

Стандарты OGC 06-131 и OGC 06-080 были разработаны группой европейских компаний, возглавляемой ESA, и в настоящий момент носят статус “Implementation specification” (техническое задание на реализацию). Реализация их в СЦ, по сравнению с EOLI, является более сложной и требует привлечения существующих пакетов программ.

2.2.2.3. Стандарты OGC 07-038, ISO 19115, ISO Подобно SSE, в HMA присутствуют два уровня детализации при описании данных метаданными: коллекция и продукт. В то время как описание коллекций в SSE фактически хранится на портале и не соответствует каким-либо стандартам, в HMA с этой целью применяется широко распространённый профиль метаданных ISO 19115 [85]. С использованием этого профиля, а также упомянутых выше стандартов OASIS ebXML Registry Information Model v3.01 и OpenGIS® Catalogue Services Specification (07-006) специально для HMA был разработан стандарт OGC 07-038r3 (OGC® Cataloguing of ISO Metadata (CIM):

Using the ebRIM profile of CS-W) [112]. Стандарт описывает интерфейс каталога коллекций. Такой каталог обеспечивает поиск коллекций данных нужного типа среди значительного числа архивов данных ДЗЗ. Ещё одной функцией стандарта является каталогизация произвольных сервисов (в дополнение к UDDI-реестру системы SSE). Формирование метаданных в этом случае производится с применением стандарта ISO 19119 [86].

Стандарт OGC 07-038 использует набор операций, унаследованный от стандартов CSW и ebRIM: GetCapabilities, GetRecords, GetRecordById, DescribeRecord, GetDomain, GetRepositoryItem, Harvest и Transaction. Их назначение совпадает с назначением одноимённых операций стандарта OGC 06-131.

Таким образом, в HMA появился стандартизированный механизм обнаружения коллекций и сервисов путём прямого взаимодействия с ИС СЦ в автоматическом режиме в обход портала SSE. Сложность создания каталога коллекций и сервисов по стандарту OGC 07-038 сопоставима со сложностью создания каталога продуктов OGC 06-131.

2.2.2.4. Другие актуальные стандарты для каталогов данных ДЗЗ Рассматривая интеграцию СЦ в европейские ИС ДЗЗ, необходимо учитывать не только особенности используемых в них стандартов, но также и отслеживать общемировые тенденции в данной области. В связи с этим необходимо рассмотреть ряд стандартов, распространённых в мировой практике создания каталогов данных ДЗЗ.

Широкое распространение в области работы с пространственнопривязанными данными получил стандарт метаданных ISO 19115 [85], последняя редакция которого датируется 2003 годом. На основе данного стандарта в России созданы профили ГОСТ Р 52573-2006 [19], профиль ЕБГД «Академический профиль пространственных метаданных «ГеоМЕТА»» [49].

Доступ к каталогам, содержащим записи ISO 19115, описывается следующими стандартами:

• OGC 04-038r4 v1.0, ISO Application Profile for CSW 2.0.1. В настоящий момент этот интерфейс признан устаревшим и имеет статус "Deprecated – Best Practices Document" (установившаяся практика, устаревший документ) [110].

• OGC 07-045 v1.0, ISO Application Profile for CSW 2.0.2. Имеет статус “Specification Application Profile – Approved” (прикладной профиль для спецификации, одобрен) [111].

Отдельно стоит упомянуть интерфейс OpenSearch и его развивающееся расширение OpenSearch-GEO [103]. Поддержка данного интерфейса присутствует в ряде программ и поисковых систем (таких как Google). Его применение может помочь обнаружению коллекций продуктов через поисковые системы общего назначения.

2.2.2.5. Выводы по подразделу 2.2. Значительная часть современных стандартов, связанных с созданием каталогов, использует в качестве основы интерфейс OGC CSW. Широкое распространение получили стандарт ISO 19115 и различные его модификации.

Изначально стандарт ISO 19115 также рассматривался как модель описания наборов данных в разрабатываемой системе HMA. Он был признан пригодным для описания наборов данных на уровне коллекций, однако недостаточным для описания на уровне продуктов. В частности, стандарт ISO 19115 не позволяет указывать URL описываемых данных, что делает такие метаданные менее полезными для конечного пользователя. В то же время стандарт OGC 06-080 позволяет ссылаться как на сами описываемые данные, так и на вспомогательные ресурсы — такие, как маска облачности. Такая ссылка может указывать непосредственно на файл данных или ресурс сервера WMS/WCS [104].

Для интеграции каталогов в систему SSE с использованием современных открытых стандартов проекта HMA необходимо создание каталогов продуктов и коллекций согласно описанным выше требованиям стандартов OGC 06-131 и OGC 07-038 соответственно. Стандарт OGC 07-045 по-прежнему является одним из наиболее распространённых в мире, при этом используется стандарт метаданных ISO 19115 так же, как каталог коллекций OGC 07-038.

интегрировать каталог продуктов обработки данных ДЗЗ в ИС SSE, является интерфейс EOLI. Его реализация менее перспективна для СЦ, однако позволяет изучить основные особенности создания и интеграции сервисов в систему SSE.

2.2.3. Анализ возможностей и свойств интерфейсов передачи данных Данные, получаемые от СЦ в ИС SSE, могут быть бинарными файлами значительного объёма, векторным изображением или текстовой информацией.

Для этого могут применяться как общепринятые, так и специализированные стандарты, разработанные для данных ДЗЗ.

2.2.3.1. Включение данных в сообщение от сервера SSE предусматривает такой способ поставки результата работы сервиса, как непосредственное включение данных в тело SOAP-сообщения. Способ пригоден для поставки векторных изображений в формате SVG или текстовой информации [64]. Формат SVG (Scalable Vector Graphics) разработан консорциумом World Wide Web и в настоящий момент является одним из наиболее распространённых форматов представления векторной графики [118].

Формат основан на XML, что даёт возможность генерации SVG-документов с использованием библиотек программ общего назначения. Способ представления данных в тестовом виде произволен, поскольку. отображение данных на портале SSE определяется самим поставщиком (СЦ).

2.2.3.2. Протоколы FTP и HTTP Ещё одним способом поставки данных пользователю, использующим только средства общего назначения, является включение в тело SOAP-сообщения URL файла данных, размещённого на сервере FTP или HTTP.

FTP является одним из старейших протоколов передачи файлов по сети [77]. Отличительной особенностью FTP является разделение передачи команд и данных по отдельным потокам и портам.

HTTP [84] можно назвать самым распространённым на сегодняшний момент протоколом передачи данных и файлов в Интернете. К недостаткам протокола следует отнести необходимость применения кодировки Base64 [124] в случае передачи двоичных данных, что приводит к увеличению объёма передаваемой информации на 33 %.

SSE не накладывает ограничений на формат данных, предоставляемых СЦ через протоколы FTP и HTTP. Они могут быть использованы для передачи данных пользователю как на ранних, так и на более поздних стадиях создания СИРЦ в силу простоты и широкой поддержки со стороны существующего программного обеспечения.

2.2.3.3. Протоколы OGC WCS и OGC WFS Поставка данных в рамках системы SSE может выполняться с применением специализированных стандартов, ориентированных на работу с пространственными данными.

Для поставки растровых данных, массивов измерений и восстановленных значений физических параметров в системе SSE предлагается применение открытого стандарта OGC WCS (Web Coverage Service) [131]. Интерфейс WCS требует от сервиса реализации в себя следующих операций:

• GetCapabilities — получение метаданных о самом сервисе;

• DescribeCoverage — получение метаданных об отдельном покрытии (например, данных снимка);

• GetCoverage — получение данных указанного покрытия, заданного пространственными ограничениями.

Расширение стандарта, содержащее операцию Transaction, позволяет пользователю загружать данные на сторону СЦ.

Поставка векторных данных в SSE может выполняться с применением открытого стандарта OGC WFS (Web Feature Service) [133]. Интерфейс WCS версии 2.0 требует от сервиса реализации в себя следующих операций:

• GetCapabilities — получение метаданных о самом сервисе;

• DescribeFeatureType — получение списка используемых типов слоёв (например, векторного объекта);

• ListStoredQueries — получение списка хранимых на сервере запросов;

• DescribeStoredQueries — получение метаданных о хранимом запросе;

• GetFeature — запрос данных конкретных слоёв.

Вспомогательный список операций позволяет клиенту сервиса редактировать слои и хранимые запросы:

• GetPropertyValue — извлечение свойств слоёв;

• LockFeature — блокировка изменений слоя для последующего обновления операцией Transaction;

• GetFeatureWithLock — запрос данных конкретных слоёв и их блокировка для последующего обновления операцией Transaction;

• Transaction — изменение хранимых на сервере слоев;

• CreateStoredQuery — создание хранимого запроса;

• DropStoredQuery — удаление хранимого запроса.

Следует отметить, что стандарт WMS [134], входящий в тройку стандартов WMS/WCS/WFS, для поставки данных в системе SSE не используется.

Причиной может являться ориентированность стандарта на задачи картографии.

WMS не предназначен для поставки массивов величин с плавающей запятой, используемых в задачах обработки данных ДЗЗ.

Реализация протоколов WCS и WFS достаточно сложна и требует привлечения существующего программного обеспечения. В то же время данные стандарты активно развиваются и широко применяются, что говорит от целесообразности их поддержки в рамках СИРЦ.

2.2.3.4. Другие актуальные стандарты, применимые для передачи данных ДЗЗ Общим недостатком описанных средств обмена данными является отсутствие механизмов организации распределённого хранения данных. Задача построения распределённой сети хранилищ представляет большой интерес ввиду значительных объёмов данных ДЗЗ. Построение системы распределённой обработки данных даже в рамках отдельного СЦ делает эту задачу одной из первоочередных. Одним из наиболее распространённых стандартов, обеспечивающих доступ к распределенной сети хранилищ данных, является протокол WebDAV [130]. Он расширяет протокол HTTP, обеспечивая возможность публикации ресурсов, однако сохраняет совместимость с протоколом HTTP. Из основных особенностей WebDAV можно выделить поддержку базовых и расширенных файловых операций над объектами на сервере, поддержку метаданных и коллекций объектов.

Рассмотренные протоколы передачи файлов способны обеспечить передачу только файла целиком или его фрагментов. При этом не учитывается структура файла, поэтому для извлечения тех или иных полей данных требуется полная загрузка файла или его фрагмента, содержащего нужные данные. В то же время данные ДЗЗ характеризуются значительным объёмом, в связи с чем прямая пересылка файлов может занять значительное время. Протокол OPeNDAP (Open-source Project for a Network Data Access Protocol) [108], также основанный на HTTP, позволяет решить эту проблему. Главным его достоинством является возможность передачи фрагментов файлов и агрегации данных из нескольких файлов в рамках одной операции передачи. При этом подразумевается оперирование не с произвольным участком двоичных данных, а с логическими структурами внутри файла данных вне зависимости от их способа хранения. Протокол OPeNDAP не накладывает никаких ограничений на используемые форматы файлов данных. Другим несомненным преимуществом протокола является возможность организации распределённой сети хранилищ.

Протокол применяется ESA и NASA для организации доступа к ряду архивов спутниковых данных. Несмотря на видимые преимущества протокола, следует отметить, что ряд из них (например, работа с фрагментами файлов) требует соответствующей поддержки со стороны программного обеспечения для обработки данных. То же самое касается поставки данных конечным пользователям.

2.2.3.3. Выводы по подразделу 2.2. Данные, получаемые от СЦ, могут быть представлены как бинарным файлом значительного объёма, векторным изображением или текстовой информацией. SSE не накладывает жёстких ограничений на формат данных, получаемых пользователем от поставщика (СЦ). Способ представления данных на портале может быть задан самим поставщиком.

Для поставки данных потребителям в рамках глобальной ИС SSE можно использовать следующие механизмы:

• пересылка данных в SOAP-сообщении, получаемом клиентом от сервера (произвольные данные в текстовом формате или векторная графика в формате SVG — способ отображения задаётся поставщиком данных);

• включение в SOAP-сообщение URL данных, размещённых на сервере FTP или HTTP (формат данных не оговаривается);

• OGC WFS для поставки векторных данных;

• OGC WCS для поставки растровых данных.

Наиболее простым (и наиболее пригодным для данных низких уровней обработки) способом является применение протоколов общего назначения — FTP и HTTP. Поставка данных с применением интерфейсов WFS и WCS наиболее сложна в организации, однако наиболее перспективна и востребована для продуктов высоких уровней обработки.

В системе SSE вопрос о передаче данных от пользователя к СЦ не рассматривается. Это необходимо для организации обработки пользовательских данных по запросу согласно сформулированным выше функциональным требованиям к СИРЦ. Развитие технологий распределённой обработки в СЦ также может потребовать от СИРЦ организации передачи данных на сторону конкретного обрабатывающего узла. Для этой цели можно предложить использование таких стандартов, как WebDAV и OGC WCS/WFS.

2.2.4. Анализ возможностей и свойств интерфейсов заказа данных ДЗЗ и вызова процедур их обработки Согласно функциональным требованиям, сформулированным ранее, в рамках СИРЦ пользователю-исследователю необходимо предоставить возможность заказа обработки выбранных спутниковых данных в соответствии с задаваемой пользователем технологией обработки. Как было показано раннее в главе 1, такая модель взаимодействия пользователя с ИС СЦ не описывается ни одним из существующих стандартов. В связи с этим необходимо оценить принципиальную возможность организации такого взаимодействия с применением существующих стандартов.

2.2.4.1. Внутренний европейский интерфейс заказа данных SSE Order Интерфейс SSE Order описывается в спецификации SSE ICD [119] и является основным механизмом заказа данных ДЗЗ в системе SSE. Интерфейс позволяет пользователю оформить заказ на получение одного или нескольких продуктов обработки данных ДЗЗ (любого уровня обработки, включая «сырые»

данные). Интерфейс поддерживает как синхронный, так и асинхронный режимы взаимодействия и требует от поставщика реализации одной из следующих операций:

• processOrder (синхронный) — отправляет форму заказа на сервер и ожидает немедленного ответа;

• sendOrder (асинхронный) — отправляет форму заказа на сервер, который впоследствии сообщает клиенту о готовности заказа путём вызова операции returnOrderResult на стороне клиента. Этим клиентом, как правило, является сервер SSE Portal.

При наличии ограничений на доступ к данным (включая коммерческий доступ) необходима реализация одной из следующих операций:

• processRFQ (синхронный) — запрос стоимости и возможности заказа указанных данных, требует немедленного ответа;

• sendRFQ (асинхронный) — запрос стоимости и возможности заказа указанных данных с указанными параметрами, с ожиданием сигнала путём вызова операции returnRFQResult на стороне клиента (аналогично sendOrder).

Как для Order, так и для RFQ (Request For Quotation) пользователь имеет возможность задания дополнительных опций заказа. В качестве таковых опций можно передавать на сторону СЦ параметры алгоритмов, которые будут использоваться при обработке выбранных данных.

Как видно из набора операций, у интерфейса SSE Order нет механизма передачи информации о возможных параметрах заказа на сторону клиента. Эта информация, а также способ её предоставления пользователю хранится на портале SSE, что осложняет поддержку сервиса заказа для поставщика.

Полноценная работа с сервисом в обход портала сильно затруднена, поскольку возникает необходимость передачи клиенту актуальной информации о возможностях сервиса нестандартными средствами. В то же время простота интерфейса SSE Order позволяет рассматривать его как временное решение по организации сервиса заказа на обработку в рамках СИРЦ.

2.2.4.2. Стандарт заказа данных OGC 06-141 (OSEO) Стандарт OGC 06-141 (OSEO, Ordering Services Framework for Earth Observation Products) [114] был разработан группой европейских организаций для проекта HMA и в 2012 году получил утверждение Открытого геопространственного консорциума (OGC). Его основное назначение — предоставить пользователю возможность единовременного заказа продуктов, оформления подписки на их получение или формирования заявки на съёмку определённого географического региона (планирование).

Интерфейс определяет следующий набор операций:

• GetCapabilites — получение метаданных о самом сервисе, включает информацию о синхронности/асинхронности конкретных операций;

• GetOptions — получение списка возможных опций для заказа данных, подписки на их получение, планирования съёмки;

• GetQuotation — запрос стоимости и возможности заказа указанных данных с указанными параметрами, в асинхронном режиме – с ожиданием сигнала путём вызова операции GetQuotationResponse на стороне клиента (аналогично операциям интерфейса SSE Order);

• Submit — оформление заказа/подписки/планирования, в асинхронном режиме – с ожиданием сигнала путём вызова операции SubmitResponse на стороне клиента (аналогично операциям интерфейса SSE Order);

• GetStatus — получение статуса выполнения заказа;

• DescribeResultAccess — получение URL результатов заказа;

• Cancel — оформление заказа/подписки/планирования, в асинхронном режиме – с ожиданием сигнала путём вызова операции CancelResponse на стороне клиента (аналогично операциям интерфейса SSE Order).

Необходимость реализации той или иной операции определяется классами требований (requirements classes), описание которых приведено в документации по стандарту.

Возможности стандарта OGC 06-141 (OSEO) позволяют применить его для организации сервиса заказа на обработку спутниковых данных в соответствии с требованиями, разработанными для СИРЦ. Реализация интерфейса OSEO значительно сложнее реализации интерфейса SSE Order. В то же время его поддержка необходима для интеграции СЦ в ИС нового поколения SSE/HMA и в силу общепризнанности стандарта более перспективна.

2.2.4.3. Стандарт вызова процедур обработки данных OGC WPS Стандарт OGC WPS (Web Processing Service) [113] не описывается в требованиях SSE и HMA, однако достаточно широко используется (например, в проекте GENESIS в рамках 7-й рамочной программы Евросоюза [125]) и решает схожую задачу. Стандарт описывает интерфейс доступа к службам обработки пространственных данных в стиле удалённого вызова процедур.

WPS позволяет задавать параметры обработки, а также реализовать асинхронную модель взаимодействия.

Интерфейс WPS требует от веб-сервиса реализации следующих операций:

• GetCapabilities — получение метаданных о самом сервисе, включает список доступных процессов (процедур обработки);

• DescribeProcess — получение метаданных об указанных процессах;

• Execute — запуск процесса на выполнение или проверка статуса уже взаимодействия организована без обратного вызова).

Стандарт WPS достаточно прост в реализации, однако ориентирован на работу непосредственного взаимодействия с конечным пользователем. В то же время WPS целесообразно использовать как основной интерфейс СИРЦ для взаимодействии.

2.2.4.4. Выводы по подразделу 2.2. предназначены для заказа данных ДЗЗ, однако поддержка асинхронной модели взаимодействия и возможность задания опций обработки позволяют использовать их при решении задачи заказа на обработку спутниковых данных.

При этом пользователь получает возможность выбора алгоритмов обработки и их параметров. Интерфейс SSE Order более прост в реализации может рассматриваться как промежуточное решение для интеграции СЦ в SSE.

Стандарт OGC WPS не нацелен на непосредственную работу с пользователем, однако может быть использован как основной интерфейс вызова процедур обработки данных СЦ при межсистемном взаимодействии.

2.2.5. Изучение особенностей совместного функционирования сервисов в SSE 2.2.5.1. Взаимодействие сервисов каталога и заказа на портале SSE интегрированных в SSE поставщиков является доступ через веб-интерфейс сервера SSE Portal. Типовой сценарий взаимодействия пользователя с сервисами каталога EOLI и заказа SSE Order представлен на рисунке 4.

Результатом поиска (Search) по каталогу является список идентификаторов продуктов, соответствующих заданным поисковым критериям. Пользователь имеет возможность просмотра метаданных конкретного продукта (Present), а также формированию заявки на заказ выбранных им продуктов (RFQ) и последующего подтверждения заказа (Order).

Рисунок 4. Последовательность вызова операций сервисов каталога (Search, Present) и заказа (RFQ, Order) при работе пользователя с SSE Механизм Workflow Engine на портале SSE позволяет передавать результат поиска по каталогу в качестве входной информации для сервиса заказа, при этом переход от работы с одним сервисом к работе с другим незаметен для пользователя. Для этого поставщик должен [64, 119]:

1. обеспечить применение единых идентификаторов продуктов и коллекций как для сервиса каталога, так и для сервиса заказа;

2. настроить соответствующим образом пользовательский интерфейс портала.

Поскольку входной информацией для сервиса заказа являются идентификаторы продуктов, на стороне поставщика должен присутствовать механизм определения имён и размещения соответствующих им файлов данных.

Следует отметить, что как SSE/HMA, так и используемые стандарты допускают применение сервиса заказа в самостоятельной форме без каталога. В этом случае пользователь лишается возможности поиска и выбора данных, получение/обработку большего числа файлов (что также неудобно и для СЦ). В то же время при работе в режиме подписки такой вариант использования сервиса заказа является обоснованным и единственно возможным, поскольку требуемые данные ещё не получены.

2.2.5.2. Идентификация коллекций и продуктов В рамках SSE отдельный продукт можно однозначно идентифицировать сочетанием его идентификатора и идентификатора коллекции [119]. Формат идентификаторов SSE определяется самим поставщиком. Согласно неофициальным рекомендациям идентификатор коллекции SSE должен состоять из букв латинского алфавита, цифр, знаков подчёркивания и точек.

Последние используются для структурирования коллекций согласно рекомендуемому шаблону:

ПОСТАВЩИК.МИССИЯ.ТИП_ПРОДУКТА

Идентификатор коллекции должен быть уникален в рамках всей ИС SSE или как минимум на уровне поставщика. Идентификатор продукта должен быть уникален на уровне коллекции и состоять из того же набора символов.

Рекомендуемый формат идентификатора продукта должен включать указание на тип данных и время его получения:

ТИП_ПРОДУКТА_ДАТА_ВРЕМЯ При этом из даты и времени необходимо убрать символы-разделители, наличие которых в строке недопустимо.

В стандартах нового поколения, разработанных в рамках проекта HMA [109, 114], идентификаторы продуктов и коллекций задаются в формате URN (Universal Resource Name) [78]. Это делает идентификатор отдельного продукта уникальным не только в рамках отдельной коллекции, но и на глобальном уровне — в том числе вне области ДЗЗ. Достигается это за счёт того, что любой URN включает в себя идентификатор пространства имён, в котором он определён — будь то коллекция, поставщик или тип описываемого метаданными ресурса. Таким образом, идентификатор коллекции в HMA может иметь следующий вид:

urn:ogc:def:EOP:ПОСТАВЩИК.МИССИЯ.ТИП_ПРОДУКТА При этом продукт, входящий в эту коллекцию, должен иметь следующий вид:

urn:ogc:def:EOP:ПОСТАВЩИК.МИССИЯ.ТИП_ПРОДУКТА:ПРОДУКТ Знак двоеточия является служебным символом URN, разделяющим области видимости. Остальные символы, задающие идентификатор, также должны являться буквами латинского алфавита, цифрами, знаками подчёркивания. Роль точки однозначно нигде не определяется. В ряде существующих реализаций её заменяют на двоеточие, что не противоречит сути URN, но нарушает совместимость с традиционным способом идентификации. Суффикс «ПРОДУКТ» в URN может формироваться способом, аналогичным традиционному.

2.2.5.3. Выводы по подразделу 2.2. Для совместной работы сервисов, интегрируемых в ИС SSE/HMA, необходимо выполнить ряд дополнительных требований. Основным из них является необходимость согласования способа идентификации данных между сервисами каталога и заказа. Исходя из этих требований можно сделать вывод о необходимости наличия в СИРЦ механизма, обеспечивающего взаимооднозначное соответствие между идентификаторами и хранящимися в СЦ файлами данных.

2.2.6. Формирование требований к ИС СЦ для интеграции в глобальную ИС SSE На основе проведённого анализа свойств и возможностей глобальной ИС Европейского космического агентства и используемых в ней стандартов был сформулирован следующий набор требований для интеграции ИС СЦ без учёта его специфики [33, 36]:

Требование 1. В рамках ИС СЦ должны быть развёрнуты сервисы на основе технологий SOAP и WSDL.

Обоснование. Интеграция в SSE подразумевает организацию удалённого вызов сервисов, выполняющихся на стороне поставщика (СЦ) и получающих запросы со стороны механизма Workflow Engine, являющегося ядром ИС SSE.

предопределённому в рамках SSE набору стандартов, особенности каждого из которых должны рассматриваться отдельно.

Обоснование. Стандартизация обеспечивает единообразный вызов сервисов различных поставщиков для механизма Workflow Engine, а также при непосредственном межсистемном взаимодействии с ИС поставщика.

Требование 3. Для организации поиска данных поставщика (и просмотра метаданных по ним) на стороне последнего должен быть развёрнут сервис, отвечающий требованиям одного из стандартов сервисов каталога.

клиентской стороне формировать запрос на получение метаданных согласно набору ограничений на значения атрибутов этих метаданных.

Требование 4. Для организации получения данных на стороне поставщика должен быть развёрнут один из общепринятых в области ДЗЗ сервис поставки данных.

Обоснование. SSE не накладывает жёстких ограничений на формат и способ предоставления данных пользователю, в связи чем их выбор определяется потребностями клиентов конкретного поставщика.

Требование 5. Ограничение доступа к данным, а также предоставление пользователю механизма для выбора способа их получения требует от поставщика создания сервиса, отвечающего требованиям одного из стандартов заказа.

Обоснование. Сервис заказа включает возможность формирования заказа на основе указания желаемых данных и различных опций их получения. До отправки заказа возможно также формирование предварительного запроса, позволяющего уточнить у поставщика возможность получения указанных данных в соответствии с заданными опциями.

Требование 6. Для организации доступа пользователей к сервисам каталога, получения данных, заказа необходима регистрация данных сервисов на центральном веб-портале SSE.

Обоснование. Портал является основной точкой входа для конечных пользователей и обеспечивает доступ к ресурсам всех зарегистрированных поставщиков. При регистрации поставщик имеет возможность настраивать вебинтерфейс собственного сервиса на портале и управлять его взаимодействием с механизмом Workflow Engine и самим сервисом, функционирующим в рамках ИС поставщика.

Требование 7. Базовая интеграция в SSE требует от поставщика создания и регистрации каталога.

Обоснование. Каталог позволяет поставщику продемонстрировать потенциальным потребителям ассортимент и качество продукции, при этом создание соответствующего сервиса наименее трудозатратно для поставщика.

Требование 8. Интеграция в SSE с поставкой данных пользователю требует от поставщика создания и регистрации каталога, а также развёртывания сервиса поставки данных.

Обоснование. Каталог обеспечивает поиск конкретных продуктов, сервис поставки данных позволяет пользователю получить сами данные продуктов.

самостоятельно, в отсутствии каталога.

Требование 9. Интеграция в SSE с возможностью заказа данных пользователем требует создания и регистрации сервиса заказа, а также развёртывания сервиса поставки данных.

Обоснование. Сервис заказа обеспечивает пользователю задание опций заказа на получение данных, сервис поставки данных позволяет пользователю получить сами данные продуктов.

Требование 10. Интеграция в SSE с возможностью заказа данных пользователем, с предварительной оценкой их пригодности для решения его задачи, требует создания и регистрации сервисов каталога и заказа, а также развёртывания сервиса поставки данных.

Обоснование. Данный набор сервисов обеспечивает возможности поиска и выбора данных, пригодных для решения задачи, их заказа с указанием опций и получения через выбранный сервис в выбранном формате.

Требование 11. Взаимодействие сервиса каталога с сервисом заказа требует использования единой системы идентификации данных, совместимой с используемыми стандартами каталога и заказа.