«МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ ...»
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ
ГЕОФИЗИЧЕСКИЙ ЦЕНТР РОССИЙСКОЙ АКАДЕМИИ НАУК
На правах рукописи
Соловьев Анатолий Александрович
МЕТОДЫ РАСПОЗНАВАНИЯ АНОМАЛЬНЫХ СОБЫТИЙ НА
ВРЕМЕННЫХ РЯДАХ В АНАЛИЗЕ ГЕОФИЗИЧЕСКИХ НАБЛЮДЕНИЙ
Специальность 25.00.10 Геофизика, геофизические методы поисков полезных ископаемых Диссертация на соискание ученой степени доктора физико-математических наук
Научный консультант академик РАН, доктор физикоматематических наук, профессор Гвишиани Алексей Джерменович Москва –
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи
1.1. Распознавание аномальных событий на временных рядах
1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей 1.1.2. Действующие системы обнаружения аномалий в сейсмологии
1.1.3. Статистические методы выделения аномалий на временных рядах
1.1.4. Распознавание аномалий временных рядов на основе вейвлет-анализа.............. 1.1.5. Нейросетевой подход к анализу временных рядов
1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ......... 1.2.1. Общее описание
1.2.2. Принципы работы и взаимодействия геомагнитного оборудования
1.2.3. Подготовительные работы по созданию геомагнитной обсерватории................ 1.2.4. Абсолютные измерения офсетным методом
1.2.5. Расчет базовой линии и временная привязка
1.2.6. Квазиокончательные данные
1.2.7. Регистрация секундных данных
1.3. Источники и методы оценки геомагнитной активности
1.3.1. Воздействие солнечного ветра на геомагнитное поле
1.3.2. Магнитосферные явления
1.3.3. Солнечносуточная вариация
1.3.4. Индексы геомагнитной активности
1.4. Наблюдения и исследование цунами
1.4.1. Общее описание
1.4.2. Механизмы образования цунами
1.4.3. Наблюдения цунами. Российская служба предупреждения о цунами................. 1.4.4. Система DART
1.4.5. Прогноз цунами
1.5. Обоснование и постановка задачи диссертации
ГЛАВА 2. Метод и алгоритмы дискретного математического анализа геофизических данных
2.1. Базовые элементы теории нечетких множеств
2.1.1. Основные определения
2.1.2. Операции над нечеткими множествами
2.1.3. Нечеткие бинарные отношения
2.2. Общие принципы дискретного математического анализа
2.2.1. Алгоритмический подход ДМА
2.2.2. Выпрямления и их примеры
2.2.3. Нечеткие сравнения
2.3. Алгоритм распознавания выбросов на минутных данных SP (SPIKE)
2.4. Алгоритм распознавания выбросов на секундных данных SPs (SPIKEsecond)....... 2.5. Алгоритм распознавания скачков JM (JUMP)
2.5.1. Неформальная логика
2.5.2. Нечеткие грани
2.5.3. Нечеткая мера скачкообразности
2.6. Мера аномальности
2.7. Алгоритм распознавания событий на данных о цунами RTFL (Recognition of Tsunamis Based on Fuzzy Logic)
2.8. Выводы
ГЛАВА 3. Распознавание на магнитограммах аномальных событий техногенного происхождения алгоритмами дискретного математического анализа
3.1. Техногенные сбои на магнитограммах
3.2. Автоматизированное распознавание выбросов на минутных магнитограммах...... 3.2.1. Постановка задачи распознавания выбросов на минутных магнитограммах (1/ Гц) ИНТЕРМАГНЕТ
3.2.2. Обучение алгоритма SP. Формальная схема
3.2.3. Обучение алгоритма SP в период пониженной магнитной активности............ 3.2.4. Контрольные эксперименты для оценки достоверности полученных результатов (внутренний экзамен)
3.2.5. Обсуждение результатов обучения
3.2.6. Экзамен алгоритма SP в период пониженной магнитной активности (внешний экзамен)
3.2.7. Экзамен алгоритма SP в период повышенной магнитной активности.............. 3.2.8. Обсуждение результатов экзаменов
3.3. Автоматизированное распознавание выбросов на секундных магнитограммах..... 3.3.1. Постановка задачи распознавания выбросов на секундных магнитограммах ( Гц) ИНТЕРМАГНЕТ
3.3.2. Магнитная обсерватория на острове Пасхи. Исходные данные для распознавания
3.3.3. Обучение алгоритма SPs
3.3.4. Устойчивость обучения относительно выбора свободных параметров............ 3.3.5. Оценка результатов обучения
3.3.6. Экзамен алгоритма SPs
3.3.7. Контрольный тест обученного алгоритма SPs для оценки достоверности распознавания
3.3.8. Анализ ложных тревог
3.3.9. Сравнение алгоритма SPs со статистическими алгоритмами выделения выбросов
3.4. Автоматизированное распознавание скачков на полусекундных магнитограммах 3.4.1. Описание магнитных данных спутника GOES (2 Гц) и постановка задачи...... 3.4.2. Распознавание скачков базовой линии на спутниковых магнитограммах........ 3.5. Выводы
ГЛАВА 4. Автоматизированная алгоритмическая система предварительной обработки и контроля качества магнитных данных. Российско-украинский центр магнитных данных
4.1. Обоснование и постановка задачи
4.2. Общее описание работы российско-украинского центра геомагнитных данных.... 4.3. База геомагнитных данных
4.4. Веб-приложения для удаленной работы с геомагнитными данными
4.4.1. Ввод абсолютных измерений
4.4.2. Веб-сервисы для интерактивного доступа к данным
4.5. Доступ к данным и их визуализация
4.5.1. Веб-портал центра геомагнитных данных
4.5.2. Видео-стенд для отображения геомагнитных данных
4.6. Сравнение распознавания выбросов методом F и алгоритмической системой, внедренной в центре
4.7. Моделирование полной напряженности магнитного поля на территории России в режиме квазиреального времени
4.8. Выводы
ГЛАВА 5. Распознавание магнитной активности методами дискретного математического анализа
5.1. Постановка задачи и ее обоснование
5.2. Апробация меры (t) оценки геомагнитной активности в реальном времени......... 5.3. Глобальный мониторинг геомагнитной активности в период магнитных бурь 23-го солнечного цикла
5.3.1. Анализ бури 8-11 ноября 2004 г
5.3.2. Анализ бури 15 мая 2005 г.
5.3.3. Обсуждение результатов анализа
5.4. Сравнение с онлайн-мониторингом геомагнитной активности ИНТЕРМАГНЕТ.. 5.5. Выводы
ГЛАВА 6. Применение метода дискретного математического анализа к распознаванию аномалий на данных о цунами
6.1. Обоснование и постановка задачи
6.2. Автоматизированное распознавание алгоритмом RTFL сигналов P-волн и волн цунами на данных системы DART-2
6.3. Выводы
ЗАКЛЮЧЕНИЕ
БЛАГОДАРНОСТИ
ПРИЛОЖЕНИЯ
ПРИЛОЖЕНИЕ 1. Магнитометрические измерения
ПРИЛОЖЕНИЕ 2. Индексы ретроспективной оценки геомагнитной активности......... ПРИЛОЖЕНИЕ 3. Моделирование и картографирование магнитного поля Земли...... ПРИЛОЖЕНИЕ 4. Основные публикации и доклады автора по теме диссертации...... СПИСОК ЛИТЕРАТУРЫ
ВВЕДЕНИЕ
Актуальность темы исследования Последние десятилетия в геофизике и смежных науках наблюдается стремительный рост объема получаемой информации о процессах, происходящих на Земле и в околоземном пространстве. Наземные сети геофизических наблюдений не только непрерывно растут, но и осуществляют переход на более высокочастотную регистрацию данных с целью удовлетворения потребностей более широкого круга научных и практических интересов. Так, переход с минутной на секундную регистрацию геомагнитных данных является одной из актуальных, трудных и обсуждаемых задач в геомагнитном сообществе. Объемы информации о Солнце, регулярно передаваемые с искусственных спутников Земли, также непрерывно растут, позволяя изучать более детально солнечную активность. Например, спутник SDO (Solar Dynamics Observatory) передает ежедневно на Землю порядка 1.5 терабайт данных о солнечной атмосфере на малых пространственно-временных масштабах и во многих длинах волн единовременно.Кроме того, происходит переход от накопленных ранее аналоговых представлений результатов измерений к цифровым. Вследствие этого возросла роль автоматизации сбора и анализа данных и математических методов их обработки.
Статистика показывает, что не менее стремительно растет и количество запросов к цифровым данным. При небольших объемах данных опытному эксперту не составляет труда извлечь из них полезную информацию. Но для эффективного использования объемных массивов данных и получения на этой основе качественно новых результатов актуальной является задача создания адекватных автоматизированных методов комплексного анализа и обработки данных. В этом случае автоматизированное извлечение полезной информации должно быть формализовано, происходить единообразно и объективно.
Одной из важнейших проблем современной геофизики является распознавание, изучение, классификация аномальных событий на длинных одномерных и многомерных временных рядах геофизических наблюдений. Несмотря на огромное многообразие и разнородность типов наблюдаемых рядов геофизических наблюдений эта проблема может рассматриваться в общей постановке, достаточно инвариантной к выбору того или иного типа информации. Тем самым, возникает необходимость создания общей теории и методов распознавания аномалий на рядах геофизических наблюдений различной природы. Этот общий метод должен адаптироваться к конкретному выбору типа геофизических данных в виде нетривиальной самостоятельной реализации.
Актуальной является задача распознавания и классификации различных форм сигнала на временных рядах. Эта непростая задача требует соответствующих алгоритмов детального анализа исходных данных и большого числа свободных параметров, подгоняемых в процессе настройки. Например, проблема выделения таких аномалий на временных рядах, как «спайки» (выбросы), до сих пор остается нерешенной. Помимо геофизики, эта проблема актуальна в целом ряде других дисциплин, включая медицину, радиофизику и др. Выбросы могут носить как техногенный, так и природный характер.
Вероятностно-статистические методы выделения возмущений, частотно-временной анализ, вейвлет-анализ и нейронные сети являются эффективными при наличии априорной информации. Во многих случаях априорная информация об искомых возмущениях весьма ограничена и касается только общих представлений об их форме.
Форма аномалии является достаточно нечетким понятием, а корреляционные свойства ее неизвестны. Поскольку природа явлений, отраженных в регистрируемых данных, априори не известна и изменчива во времени, то и методы должны быть в большой степени адаптивными. Требуются такие методы анализа временных рядов, которые бы позволяли решать задачи распознавания аномальных событий в самом общем случае. Обеспечить подобную гибкость при автоматизации распознавания аномальных событий способен эффективный учет в соответствующем методе знаний экспертов, осуществляющих анализ данных вручную. Моделирование деятельности и логики интерпретатора (эксперта) может быть достигнуто путем применения методов на базе нечеткой логики, которые были разработаны в последнее время.
распознавание физических и техногенных аномалий на рядах геомагнитных наблюдений и обнаружение всплесков магнитной активности. В то же время, крайне актуальной задачей является развитие сетей наблюдения магнитного поля Земли. Изучение состояния геомагнитного поля позволяет предотвратить такие чрезвычайные ситуации национального масштаба, как сбои в авиационной и космической навигации и радиосвязи, перегрузка линий электропередач, повреждение трубопроводов, сбои в работе ж/давтоматики и др., вызванные магнитными бурями. Непрерывная регистрация характеристик магнитного поля лежит в основе высокотехнологичных процессов освоения природных ресурсов (напр., наклонное бурение скважин), где точность данных достаточно критична. Результаты измерения магнитных аномалий в земной коре являются важной информацией, используемой при поиске полезных ископаемых и уточнении геологической истории планеты Земля. При решении всех вышеперечисленных задач необходимым условием является наличие геомагнитных данных, предварительно очищенных от техногенных аномалий. Причинами таких аномалий на магнитограммах могут быть близость аэродромов, железных дорог, линий электропередач или других техногенных элементов, воздействующих на магнитную обстановку, резкие перепады температуры, нарушения калибровки измерительных приборов и др. Актуальной задачей является различение естественных аномалий, обусловленных физическими процессами, и техногенных аномалий. Например, разделение магнитосферных возмущений (пульсаций) от промышленных помех (электропоезда, самолеты) на магнитограммах. В обсерваторской практике такая деятельность до сих пор осуществляется вручную, что служит серьезным препятствием для адекватного использования данных и развития систем геомагнитных наблюдений.
Кроме того, при стремительном росте объема данных использование единичных мер для описания характеристик наблюдаемых процессов представляется устаревшим и неэффективным. В геомагнетизме такими единичными мерами являются геомагнитные планетарные индексы. Они предназначены для оценки общей интенсивности магнитных бурь и рассчитываются по данным фиксированного набора станций. Современный этап развития сетей наблюдений требует перехода к новой парадигме в анализе геомагнитных данных, подразумевающей обработку целиком массива наблюдений на многих станциях, как единого целого. В геомагнитных исследованиях требуется введение меры комплексного анализа данных, позволяющей в единой шкале оценивать относительную магнитную активность в разных регионах Земли. Такая мера позволила бы получать мгновенные «снимки» распределения магнитной бури в каждый момент времени для изучения динамики распространения возмущений по земному шару. Методы, предлагаемые в данной работе, служат решению этой задачи. Их использование автоматизирует и существенным образом ускоряет обработку и анализ данных.
Создание общей формализованной методологии обеспечивает независимость результатов обработки от субъективных факторов (напр., отличия в подходах различных экспертов к анализу данных). В то же время решается актуальная задача значительного сокращения задержки в получении обработанных данных мировым научным сообществом. Математическая формализация распознавания временных возмущений будет способствовать значительному повышению качества обработки данных геомагнитных измерений, что внесет существенный вклад в расширение и углубление знаний о магнитном поле Земли.
В настоящее время главными задачами по преодолению отставания российской сети магнитных наблюдений от мирового уровня являются:
1. развитие пунктов геомагнитных наблюдений в России;
2. создание национального центра геомагнитных данных, который будет служить ядром российского сегмента ИНТЕРМАГНЕТ;
окончательные данные, предоставляемые научной общественности, вместо передачи «сырых» данных в различные зарубежные центры.
Диссертационная работа направлена на решение этих актуальных задач.
Целью работы является развитие математических методов автоматизированной обработки данных и их применение к анализу дискретных временных рядов геомагнитных и других геофизических наблюдений. В рамках диссертации анализ временных рядов направлен на распознавание таких природных явлений, как магнитные бури, землетрясения и цунами, а также явлений, носящих техногенный характер. Кроме того, в работе решаются задачи разработки систем сбора геомагнитных данных.
моделировании дискретных аналогов фундаментальных понятий математического анализа, таких как связность и монотонность, экстремум, перегиб, выпуклость и т.д. Этот подход носит название «Дискретный математический анализ» (ДМА). Диссертационная работа направлена на его применение к распознаванию и изучению аномалий на временных рядах геофизических наблюдений. Математической базой для этого являются элементы ДМА. Диссертация продолжает цикл работ школы исследователей, возглавляемой академиком А.Д. Гвишиани, к которой причисляет себя и автор.
Отправной точкой такого математического моделирования служит достаточно «мягкий», в смысле создателя «нечеткой» математики Л. Заде, характер восприятия человеком свойств дискретности. Действительно, опытный исследователь, как правило, интуитивно и эффективно кластеризует, выделяет сгущения, трассирует, находит аномалии в двух- и трехмерных массивах и на временных рядах небольших объемов.
Использование ДМА позволяет перенести это умение на большие размерности и большие объемы обрабатываемых данных.
Основные задачи
исследования 1. Создание на базе ДМА алгоритмической системы автоматизированного, адаптивного распознавания аномальных событий произвольной природы на длительных временных рядах различных геофизических наблюдений.
2. Системно-математическая и алгоритмическая реализация разработанного общего метода для распознавания аномальных событий на временных рядах минутных, секундных и полусекундных магнитограмм, зарегистрированных наземными обсерваториями и искусственными спутниками Земли. Оптимизация системы обучения и математическая формализация критериев эффективности разработанного метода.
Создание формализованного метода оценки эффективности работы алгоритмов в задаче распознавания аномальных событий техногенной природы на магнитограммах в периоды спокойного магнитного поля и повышенной активности.
автоматизированного, формализованного и единообразного распознавания аномальных событий техногенной природы на магнитограммах наземных сетей наблюдений;
доведение качества распознавания до уровня, сравнимого с работой эксперта вручную;
сравнение созданного метода с классическими статистическими методами распознавания.
межрегионального центра геомагнитных данных по обслуживанию российскоукраинского сегмента сети ИНТЕРМАГНЕТ.
5. Создание нового метода распознавания и мониторинга геомагнитной активности на основе данных всей глобальной сети наземных наблюдений с использованием ДМА и ГИС-технологий для возможности изучения динамики распространения магнитных бурь по земному шару в режиме реального времени; разработка меры, дающей оценку геомагнитной активности в различных регионах Земли в единой шкале, и ее сравнение с классическими индексами геомагнитной активности. Оценка эффективности разработанного метода в задаче внутреннего анализа сильных геомагнитных бурь, наблюдаемых во время 23-го солнечного цикла на всей мировой сети магнитных обсерваторий ИНТЕРМАГНЕТ.
6. Реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане; применение реализованной алгоритмической системы для решения задачи распознавания на записях наблюдений системы DART-2 (глубоководная система обнаружения волн цунами) временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами; оценка работы системы с работой эксперта.
Научная новизна 1. Разработан новый подход к распознаванию и изучению аномальных событий на больших временных рядах различных геофизических данных. Подход отличается универсальностью, позволяя решать широкий спектр геофизических задач. В отличие от существующих методов распознавания аномальных событий, в его основе лежит моделирование естественных рассуждений и действий человека при поиске аномалий.
2. Впервые создана автоматизированная алгоритмическая система для распознавания техногенных аномальных событий в геомагнитных измерениях с применением аппарата нечеткой логики и распознавания образов. Система по эффективности и точности превосходит соответствующие методы, которые применяются в рамках программы ИНТЕРМАГНЕТ.
3. Впервые при помощи разработанной алгоритмической системы проведено автоматизированное распознавание техногенных аномалий на секундных магнитограммах и выработаны критерии качества, применимые к секундным и полусекундным данным.
4. Применение алгоритмической системы распознавания техногенных аномалий в непрерывном режиме впервые позволяет получать окончательные данные в режиме, близком к реальному времени, вместо годовой задержки более года.
5. Разработанные алгоритмы впервые позволяют распознавать и изучать низкоамплитудные магнитные пульсации диапазона 5-45 секунд (Pc3) по совокупности секундных данных, зарегистрированных целым кластером обсерваторий на приэкваториальных широтах.
6. На базе ГЦ РАН впервые в России создан межрегиональный центр геомагнитных данных. Центр является ядром российско-украинского сегмента сети ИНТЕРМАГНЕТ, в котором развернута единая система магнитных наблюдений формата ИНТЕРМАГНЕТ.
Отличительной особенностью центра является внедрение автоматизированной системы распознавания техногенных аномалий на поступающих магнитограммах. Распознавание возмущений формализовано и выполняется единообразно, что позволяет повысить достоверность очищенных магнитограмм даже по сравнению с зарубежными официальными узлами магнитных данных ИНТЕРМАГНЕТ. Подход к хранению данных при помощи реляционной системы управления базами данных (СУБД), реализованный в центре, также является его отличительной чертой, поскольку обеспечивает широкие возможности поиска данных, гибкость запросов любой сложности и быстроту их выполнения. Геомагнитная БД предназначена для хранения как минутных, так и секундных данных. Создание геомагнитного центра имеет фундаментальное значение, т.к.
открывает возможность решения задач на большом объеме данных с большим территориальным охватом в режиме реального времени.
7. Впервые разработан метод распознавания и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли с использованием ДМА и ГИС-технологий. Метод, осуществляя распознавание, позволяет следить за динамикой распространения магнитных бурь в режиме реального времени.
Оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
8. На базе ДМА разработана новая мера аномальности, которая дает возможность более детального и наглядного изучения развития геомагнитной активности по сравнению с геомагнитными индексами. Мера позволяет анализировать внутреннюю тонкую структуру магнитных бурь, динамику их развития, как по всему земному шару, так и в пределах отдельных регионов. На высоких широтах, где измеряемое магнитное поле намного более изменчиво в силу воздействия внешнего магнитного поля, такое региональное изучение динамики активности становится еще более интересным.
9. Разработанный алгоритмический метод ДМА реализован для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане. Созданная система впервые позволяет обнаруживать в накопленных данных события, не отраженные в имеющихся мировых каталогах землетрясений и цунами в силу их небольшой магнитуды.
10. Впервые создан и опубликован в электронном виде Атлас магнитного поля Земли (МПЗ) за 1500-2010 гг. Атлас представляет собой унифицированный набор физических, общегеографических, тематических, в том числе исторических карт МПЗ, а также справочных (текстовых и табличных) материалов, позволяющих детально и разносторонне изучать МПЗ с 1500 по 2010 гг. Он представляет собой фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками картографируемого явления – геомагнетизма. Он содержит научные результаты как исторического, так и современного состояния изучения МПЗ. Атлас не имеет ни отечественных, ни зарубежных аналогов.
Основные защищаемые положения 1. Разработанное на основе математической теории ДМА новое направление в распознавании и изучении аномалий на временных рядах геофизических наблюдений позволяет создать инструментарий для решения широкого круга задач анализа геофизических временных рядов. Достоверность этого нового направления подтверждается апробацией методов на данных наблюдений МПЗ и цунами.
2. Разработанная на базе конструкции нечетких сравнений строгая формализация понятий, необходимых для анализа временных рядов: нечеткая мера аномальности, нечеткие грани и нечеткая мера скачкообразности.
3. Развитие и реализация метода ДМА для распознавания и анализа аномальных событий на наземных и спутниковых магнитных данных, формализованные критерии его эффективности и оценка достоверности результатов распознавания.
4. Новый метод определения и мониторинга геомагнитной активности на основе всей совокупности наземных наблюдений магнитного поля Земли. Метод базируется на ДМА и ГИС-технологиях. Он позволяет осуществлять распознавание и следить за динамикой распространения магнитных бурь в режиме реального времени. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
5. Развитие и реализация метода ДМА для распознавания аномальных событий на временных рядах вариаций придонного давления воды, регистрируемых мировой сетью придонных датчиков гидростатического давления в открытом океане.
Научная и практическая значимость полученных результатов В рамках алгоритмического подхода ДМА построена конструкция нечетких сравнений, позволяющая сравнивать различные характеристики объектов с учетом их относительных шкал изменений, тем самым, формализуя экспертную оценку. Такая конструкция дает нормированное представление сравнений, что позволяет в дальнейшем агрегировать их в единой шкале при помощи аппарата нечеткой логики. Иными словами, в нормированном виде появляется возможность соединять методами нечеткой логики разные точки зрения экспертов в единую, агрегированную точку зрения. На базе конструкции нечетких сравнений в рамках диссертации строго формализованы понятия, необходимые для анализа временных рядов: нечеткая мера аномальности, оценивающая в шкале от -1 до 1 степень аномальности того или иного фрагмента временного ряда на общем фоне, нечеткие грани, позволяющие выявлять наиболее характерные диапазоны изменения значений на фрагментах временных рядов, и нечеткая мера скачкообразности, оценивающая степень значительности перепада базового уровня.
Созданные алгоритмы обладают существенной адаптивностью и универсальностью в силу наличия свободных параметров. Используя конкретный набор значений параметров, алгоритмы осуществляют единообразное формализованное распознавание аномальных событий на временных рядах произвольной природы. Специфика и морфология данных при этом отражены в результатах обучения (значениях свободных параметров). Все это делает алгоритмы универсальным инструментарием, позволяющим решать широкий круг задач, связанных с анализом временных рядов и распознаванием отраженных на них аномальных событий.
Разработанная алгоритмическая система распознавания аномалий техногенной природы позволяет повысить достоверность очищенных от техногенных аномалий магнитограмм, в частности, сети ИНТЕРМАГНЕТ и получать их из предварительных минутных, секундных и полусекундных записей практически без участия человека.
Система дает также возможность проведения единообразного формализованного ретроспективного анализа огромных архивов цифровых и оцифрованных магнитограмм, накопленных в Мировой системе данных Международного совета по науке (ICSU). Таким образом, улучшая качество и повышая достоверность как вновь поступающих, так и исторических исходных данных, она вносит вклад в развитие геомагнетизма.
Применение созданной системы в непрерывном режиме для контроля качества магнитных данных позволяет сократить время подготовки окончательных данных с года до месяца. Основные задачи, которые требуют наличия таких данных, включают в себя краткосрочное моделирование геомагнитного поля, расчет оперативных версий индексов геомагнитной активности, оперативная оценка геомагнитной обстановки, краткосрочный прогноз магнитных бурь и др.
На базе ГЦ РАН создан межрегиональный геомагнитный информационный центр по обслуживанию российско-украинского сегмента сети ИНТЕРМАГНЕТ, налажена передача данных из 14 пунктов наблюдений магнитного поля Земли. В центре внедрена автоматизированная система, предназначенная для формализованного и единообразного распознавания техногенных аномалий на магнитограммах по мере их поступления. В центре реализовано хранение данных в реляционной СУБД, обеспечивающее широкие возможности поиска данных, гибкость и быстрое выполнение запросов любой сложности.
Внедрение автоматизированной системы распознавания техногенных возмущений в непрерывном режиме в российско-украинском центре магнитных данных дает возможность доступа к очищенным магнитным данным с минимальной задержкой, по мере их поступления в центр. Наряду с обработкой наземных наблюдений, созданный алгоритмический комплекс в настоящий момент также внедряется в систему спутниковых геофизических наблюдений, которую разрабатывает Институт прикладной геофизики имени академика Е. К. Федорова РОСГИДРОМЕТ.
На базе поступающих в центр данных решена задача непрерывной интерполяции полной напряженности магнитного поля Земли на территории России в режиме квазиреального времени. Следует ожидать, что с ростом числа российских пунктов наблюдений магнитного поля Земли построенная модель будет существенным образом уточняться, предоставляя более достоверные значения напряженности поля.
Разработанная система оценки магнитной активности в приложении к поступающим в российско-украинский центр магнитным данным, которые проходят процедуру автоматизированного контроля качества и привязки к базовой линии, открывает возможность для достоверного изучения и оценки распределения магнитных возмущений по территории России и Украины в режиме, близком к реальному времени. В отличие от существующих индексов магнитной активности, предложенный метод осуществляет оценку геомагнитной возмущенности на основе всей совокупности наземных наблюдений магнитного поля Земли. При этом оценка геомагнитной активности в различных регионах Земли дается в единой шкале.
Разработанные алгоритмы, примененные к секундным магнитным данным, открывают новые возможности по решению научных задач космической физики. К ним относятся оперативное распознавание и оценка солнечной активности, распознавание и изучение магнитных пульсаций в диапазоне от нескольких секунд до нескольких минут.
Разработанный на базе ДМА алгоритмический комплекс RTFL (Recognition of Tsunamis based on Fuzzy Logic) успешно применен для решения задачи распознавания на записях наблюдений системы DART-2 временных участков, соответствующих сигналам от подводных землетрясений (P-волн) и волн цунами. Комплекс может быть использован для мониторинга цунами, обнаружения в накопленных данных событий, не отраженных в имеющихся мировых каталогах землетрясений и цунами и моделирования систем предупреждения о цунами. Кроме того, его компоненты в значительной степени гибки и адаптивны к другим задачам распознавания аномальных событий на временных рядах.
Созданный Атлас магнитного поля Земли, включающий обширный материал, предназначен для широкого круга пользователей, представляющих различные научные и прикладные области знания. Атлас представляет собой оригинальный фундаментальный картографический продукт с наиболее полными и научно обоснованными характеристиками МПЗ за период с 1500 по 2010 гг. Его преимуществом является картографическое представление материалов по геомагнетизму.
Научная и практическая значимость выполненных автором исследований подтверждается тем, что часть работ, вошедших в диссертацию, проводилась при поддержке Программы фундаментальных исследований ОНЗ РАН № 7, РФФИ (гранты 12-05-90428-Укр_а, 12-05-00583-а, 11-05-06000-г, 11-05-05024-б, 10-05-90441-Укр_а, 09НЦНИ_а, 09-05-00789-а), Программы сотрудничества между ИФЗ РАН и Парижским институтом физики Земли, Программы сотрудничества между NOAA, Благотворительного Кауффман-Фонда.
Все результаты, представленные в диссертации, получены автором самостоятельно или при его непосредственном участии в коллективе соавторов. В большинстве публикаций, относящихся к теме диссертации, автору принадлежала ведущая роль в постановке задачи, поиске путей решения, выполнении соответствующих расчетов и интерпретации результатов.
Апробация работы Результаты работы докладывались и обсуждались на научных семинарах ГЦ РАН, ИФЗ РАН, ИЗМИРАН, ИПГ им. академика Е.К. Федорова, ААНИИ, Парижского института физики Земли (Франция), Национального центра геофизических данных НОАА (США). Основные положения работы были также доложены на отечественных и международных семинарах и конференциях (более 30 докладов). Автор являлся приглашенным докладчиком на конференции POLAR-2011 в ИЗМИРАН (г. Троицк) и Генеральной Ассамблее Международного Союза Геодезии и Геофизики (IUGG) 2011 г. в г. Мельбурне (Австралия). Автор был награжден за лучший стендовый доклад на международной конференции CODATA Международного совета по науке (ICSU) 2012 г. в г. Тайбэе (Тайвань). Полный список семинаров и конференций включает: 9-я международная конференция INFOBALT “Информационное общество: инновационные технологии для бизнеса и образования” октября 2007 г. (Вильнюс, Литва); Всероссийский съезд геологов 2008 г. (Москва, Россия); Международная конференция «Итоги Электронного Геофизического Года» 2009 г. (Переславль-Залесский, Россия); IAGA 11th Scientific Assembly 2009 (Sopron, Hungary); IV Фестиваль науки 2009 г. (Москва, Россия);
фундаментальных научных исследований РАН в области наук о Земле» 2010 г.
(Владивосток, Россия); International Workshop “Artificial Intelligence in the Earth’s Magnetic Field Study. INTERMAGNET Russian Segment” 2011 (Uglich, Russia); Первая и Вторая научные конференции «Базы данных, инструменты и информационные основы полярных геофизических исследований» (POLAR-2011, POLAR-2012) 2011-2012 гг. (Троицк, Россия); XXV IUGG General Assembly “Earth on the Edge: Science for a Sustainable Planet” 2011 (Melbourne, Australia); The 1st ICSU World Data System Conference “Global Data for Global Science” 2011 (Kyoto, Japan); European Seismological Commission 33-rd General Assembly 2012 (Moscow, Russia); 23rd CODATA International Conference "Open Data and Information for a Changing Planet" 2012 (Taipei, Taiwan); IAGA 12th Scientific Assembly 2013 (Merida, Yucatan, Mexico); Partnership Conference "Geophysical observatories, multifunctional GIS and data mining" 2013 (Kaluga, Russia).
В ходе подготовки диссертации были получены следующие свидетельства о государственной регистрации программ для ЭВМ: (1) Агаян С.М., Соловьев А.А.
«Кристалл». Свидетельство № 2010616341 от 24.9.2010; (2) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SP». Свидетельство № 2011616021, от 3.8.2011; (3) Гвишиани А.Д., Агаян С.М., Богоутдинов Ш.Р., Соловьев А.А. «SPs». Свидетельство № 2012619415 от 18.10.2012.
Публикации По теме диссертации опубликованы 30 научных работ, из которых 20 статей в изданиях, рекомендованных ВАК РФ для публикации материалов докторских и кандидатских диссертаций, а также получены 3 свидетельства о государственной регистрации программ для ЭВМ.
Структура и объем работы Диссертация состоит из введения, шести глав, четырех приложений и заключения;
содержит 310 страниц машинописного текста, в том числе 146 рисунков, 31 таблицу и формулы (пронумерованные); список использованной литературы составляет наименования. Главы, посвященные геофизическим приложениям разработанных методов, предваряются постановкой задачи. В конце каждой главы, начиная со второй, приведены выводы.
ГЛАВА 1. Исторический экскурс и современное состояние проблемы. Постановка задачи 1.1. Распознавание аномальных событий на временных рядах 1.1.1. Краткий очерк истории развития методов поиска аномалий физических полей В истории развития подходов к поиску и распознаванию аномалий на временных рядах можно выделить ряд этапов, характеризующихся как актуальностью текущих задач и доминирующей концепцией подхода к обработке данных, так и развитием вычислительной техники, ЭВМ. В целом зарождение основных принципов обработки данных и поиска аномалий в геофизике началось примерно в 1930-х гг.
Первый этап (1930—1950 гг.) характеризуется исключительно детерминированным подходом к обработке данных. В детерминированном подходе предполагается, что данные являются точно измеренными и учтёнными, и решение задачи поиска аномалий определяется полностью системой исходных значений измеренного физического поля [Никитин, 1979]. При этом неизбежными искажениями исходной информации за счет различного рода помех обычно пренебрегают. К таким методам в интерпретации геофизических данных относились графические методы (палеточные методы, метод касательных, метод характерных точек [Логачев, Захаров, 1979]), методы подбора, и по сей день применяющиеся в прикладных программах интерпретации данных.
Второй этап (1950—1962 гг.), начало которого было обусловлено пониманием некоторых исследователей необходимости исключения помех из измеренных данных, являлся развитием детерминированного подхода. В это время, в частности, начинают использовать приемы аналитического продолжения гравимагнитных полей в верхнее и нижнее полупространства, интенсивно развиваются методы частотного анализа, которые подготовили базу для разработки аналоговых счетно-решающих устройств. Именно на этом этапе в работах некоторых исследователей начинается формирование принципиально нового подхода к обработке геофизических данных — вероятностностатистического, основанного на представлении полей в виде случайных функций.
Такое представление в значительной степени приближает нас к реальным ситуациям, когда источники естественных физических полей варьируют зачастую в достаточно широких пределах, а сигналы, являющиеся объектом поиска (полезные сигналы) осложнены помехами и погрешностями наблюдений. Действительно, в случае магнитного поля мы имеем в общем виде сложное наложение главного магнитного поля, аномального поля, солнечно-суточных вариаций и т.д., т.е. сочетание как постоянных, так и случайных составляющих. Таким образом, при вероятностно-статистическом подходе исходные данные считаются известными только частично, либо их значения недостаточно точны, результатом решения задачи здесь является уже не число и не функция, а распределение вероятностей, заданное над возможными значениями результата.
Третий этап — с 1963 г. по настоящее время. Характеризуется внедрением аналоговых устройств и ЭВМ в практику геофизических работ. С 1970 г. происходит отмирание аналоговой техники и повсеместное распространение получают методы цифровой обработки данных на ЭВМ. Наряду с функционально-аналитическим направлением широкое развитие приобретают вероятностно-статистические методы обработки и интерпретации геофизических данных.
Проблема выделения сигналов [Никитин, 1979] включает в себя несколько задач:
обнаружение, под которым понимается установление наличия сигнала, собственно выделение или измерение, состоящее в оценке параметров сигнала, в частности его местоположения, и различение нескольких сигналов. Все эти задачи неразрывно связаны и их, как правило, решают одновременно.
При решении задачи выделения сигнала на фоне помех наиболее распространенной является аддитивная модель поля. Сигнал может быть представлен либо детерминированной, т. е. известной по форме и параметрам функцией, либо случайным процессом с известными или неизвестными статистическими характеристиками. Помеха вследствие многообразия создающих ее факторов, как правило, описывается случайным процесом. Анализ методов выделения геофизических аномалий указывает на большое разнообразие используемых в настоящее время приемов обработки исходных данных.
Поэтому возникает необходимость в их систематизации, которая позволила бы ориентироваться при выборе того или иного приема в зависимости: 1) от характера поставленной задачи; 2) от наличия априорных сведений об изучаемых объектах; 3) от возможности использования определенного математического аппарата.
1.1.2. Действующие системы обнаружения аномалий в сейсмологии Воспользовавшись [Кедров, 2005], дадим краткий обзор реально действующих (в основном в сейсмологии) систем обнаружения аномалий. Цель этого отнюдь не исчерпывающего обзора – позиционирование по отношению к включенным в обзор системам алгоритмов, построенных на базе ДМА.
Согласно [Кедров, 2005], полный цикл процедуры обнаружения аномалий на записи подразделяется на три этапа: предобнаружение, обнаружение (детектирование) и обработка обнаруженной аномалии. При этом алгоритмы выделения аномалий преимущественно основываются на сочетании статистического подхода и спектральновременного анализа СВАН - раздела статистического анализа, целью которого является исследование частотных характеристик стационарного случайного процесса с дискретным временем или временного ряда. СВАН основывается на разнородной спектральной, асимптотической и функциональной технике, которая во многих ситуациях жестко привязана к физической сущности изучаемых явлений и тем самым весьма наглядна [Прохоров, 1999]. Остановимся, кратко, на некоторых их этих систем.
Система SESMO1 [Кедров и др., 2000] предназначена для обнаружения короткопериодных сейсмических аномалий в режиме реального времени во временной и частотной областях. Алгоритм использует восемь полосовых фильтров Баттеруорта, охватывающих с перекрытием всю полосу частотной характеристики аномалии. В этом алгоритме используется трехкомпонентный поляризационный анализ.
АРСС-модели [Кушнир и Мостовой, 1990]. Этот тип алгоритмов обнаружения аномалий основан на использовании адаптивных и согласующих фильтров. Алгоритм такого детектора строится на основе авторегрессионного описания (АРСС-модели) сейсмических аномалий и помех. Фильтрация состоит в непрерывном анализе шума.
Соответственно делается прогноз характера данных, которые должны быть зарегистрированы в последующий момент. Если накопленный на текущий момент времени прогноз о шумах не сбывается, то делается предположение, что зарегистрирована полезная аномалия.
Максимальное правдоподобие [Кушнир и Мостовой, 1990]. Сложными для использования в режиме реального времени являются методы обнаружения аномалий, основанные на использовании фильтров максимального правдоподобия. В этом случае обнаружение проводится с учетом непрерывного оценивания в режиме реального времени спектральных свойств шума. При этом накладывается условие, что параметры аномалии либо неизвестны, либо известны, но недостаточно полно.
Распознавание с обучением [Harjes and Joswig, 1985]. Для обнаружения локальных и региональных аномалий малой амплитуды из интересующего района производится СВАН-анализ аномалий, и по их совокупности составлялся набор характерных “масок”.
Обнаружение новой аномалии из данного района производится путем ее сопоставления с имеющимися “масками”. Делается это по величине когерентности на нескольких уровнях по мощности сигналов.
Нейронные сети [Romeo, 1994]. Другой подход - моделирование возможностей исследователя с помощью специально построенной нейронной сети. Сеть представляет собой многослойный перцентрон. В качестве входных параметров в нем использовались средние абсолютные значения спектральных амплитуд сейсмических колебаний в девяти частотных полосах. На выходе обнаруженные аномалии классифицируются на локальные, региональные, телесейсмические и помехи двух типов [Гвишиани и др., 2008а].
1.1.3. Статистические методы выделения аномалий на временных рядах В разведочной геофизике [Никитин, 1979; Никитин, 1986] зачастую процесс поиска аномалий на данных имеет место уже после предварительных процедур обработки, позволяющих их выделение. Наиболее успешно выделяются аномалии, отличающиеся от фонового значения поля по частотным или корреляционным свойствам.
Так, например, в достаточно часто встречающейся задаче выделения локальных составляющих поля используется фильтрация. Методы поиска аномалий в рамках вероятностно-статистического подхода, основанные на фильтрации, обычно реализуются при наличии априорной информации о форме самих аномалий и об их корреляционных характеристиках (закон распределения поля, дисперсия).
К концу 60-х годов прошлого века была разработана компьютерная технология извлечения дисперсионных кривых и других характеристик поверхностных волн из цифровых сейсмограмм, получившая название Многоканальная фильтрация. Но эта методика грешила систематическими ошибками в измерениях дисперсии в условиях, когда амплитудный спектр сигнала быстро изменялся с частотой. В работах А.В. Ландера, А.Л. Левшина и В.Ф. Писаренко [Ландер и др., 1973; Levshin et al., 1972] были предложены методы преодоления этих недостатков и создана новая процедура – Спектрально-временной анализ (СВАН). Различные варианты методов СВАН успешно применяются в геофизике, например, [Dzienovski, 1969; Ландер и др., 1973; Кедров и др., 1998; Кедров и Кедров, 2006].
С целью выделения скрытых периодичностей из наблюдений сейсмичности и других геофизических полей В.Ф. Писаренко предложил регулярный метод оценки параметров гармоник (амплитуды, фазы, частоты), не связанный с поиском минимума в многомерном пространстве [Писаренко, 1973, 1974; Pisarenko, 1972]. Методика спектрального анализа высокой разрешающей способности, предложенная в этих работах, была в дальнейшем обобщена и усовершенствована и способствовала появлению новых методов высокой разрешающей способности.
Одним из наиболее простых методов выделения аномалий на основе фильтрации является осреднение сигнала и последующий вычет осредненного поля из исходного.
Данный метод требует сведений о частотном составе выделяемых аномалий.
представлением аномалий в виде случайных процессов. Реализация этого фильтра требует задания автокорреляционной функции аномалии и помехи или их энергетических спектров [Аронов, 1970; Никитин, 1979]. Весовая функция такого сглаживающего фильтра определяется либо путем решения системы линейных уравнений где hi - весовая функция фильтра; R f (m i) — корреляционная матрица исходных значений поля, построенная для соответствующей автокорреляционной функции;
Raf (m) — функция взаимной корреляции желаемого сигнала, описываемого случайным процессом, с исходным полем [Никитин, 1979], либо путем преобразования Фурье частотной характеристики фильтра, равной отношению энергетических спектров и имеющей вид:
где Ws ( ) и Wn ( ) – соответственно, энергетические спектры сигнала и помехи.
Выбор автокорреляционных функций аномалии и помехи зависит от конкретного типа данных и общей формы аномалий. Так, в гравиразведке в качестве автокорреляционных функций использовались кривые гауссова типа. Оценка качества фильтра Колмогорова— Винера характеризуется величиной среднеквадратической погрешности, вычисляемой либо через автокорреляционные функции аномалии и исходного поля, либо через энергетические спектры аномалии и помехи.
Фильтрация эффективна при выделении сильных аномалий (т.е., таких, наличие которых не вызывает сомнений), однако широко распространённым явлением является трудность визуального обнаружения аномалии (в этом случае аномалию можно называть слабой). Наиболее эффективно задача выделения слабых аномалий может быть решена на базе математического аппарата теории статистических решений, обеспечивающей максимальное извлечение полезной информации путем вычисления апостериорных вероятностей наличия аномалии. Результаты наблюдений некоторого физического поля вдоль профиля (либо на временной оси) F = {f( х 1 ), …, f( х n ) } представляют сумму аномалии а ( х ) и помехи n ( х ). Помеху считаем эргодическим, стационарным процессом нормального типа с нулевым средним и дисперсией 2. Требуется установить наличие аномалии, т.е. определить, является ли поле суммой аномалии и помехи, т.е. f( х ) = с т а т и с т и ч е с к и е г и п о т е з ы H1 и H 0 : при наличии аномалии выполняется гипотеза H1, при ее отсутствии — гипотеза H 0. Задача обнаружения аномалии в указанной формулировке состоит в нахождении функции правдоподобия наблюдаемых значений поля соответственно при наличии (гипотеза H1 ) и отсутствии (гипотеза H 0 ) аномалий.
Функции правдоподобия (условные плотности вероятностей [Вентцель Е.С., 1969]) имеют вид, соответственно, p( F H1 ) и p( F H 0 ). Далее по ним находится коэффициент правдоподобия Е с л и 1, принимается решение о наличии аномалии, если 1, то об отсутствии аномалии, т. е. порог принятия решения 0 1. П о ф о р м у л е Б е й е с а от коэффициента правдоподобия можно перейти к вычислению вероятности гипотезы о наличии аномалии. При равных априорных вероятностях гипотез H1 и H 0 p1 p0 0, p( H1 F ) 0,5 есть аномалия, в противоположном случае — нет.
В случае некоррелированной помехи нормального типа с нулевым средним и энергетического отношения сигнал/помеха и свёртки, обеспечивающей фильтрацию исходных данных. При вычислении коэффициента правдоподобия для каждого наблюденного значения поля можно получить его распределение на временной оси или на линии наблюдений. Так строится алгоритм обнаружения, описанный А.Г. Тарховым и проанализированный в [Никитин, 1979]. В этом алгоритме обнаружения аномалии, полученном на основе применения теории статистических решений, с одной стороны, обеспечивается оптимальная фильтрация исходных данных, т. е. процесс выделения аномалии, с другой стороны — возможность вычисления апостериорной вероятности наличия аномалии, т. е. извлечение максимума информации. Однако следует иметь в виду, что при этом требуется наличие априорной информации как о форме и параметрах аномалии, так и о дисперсии помех. Форма и протяженность аномалии, подлежащей обнаружению, могут быть выбраны либо исходя из теоретических представлений об аномальном объекте, либо по расчетным данным. Таким образом, алгоритм обнаружения работает на детерминированных аномалиях.
Используя критерий правдоподобия, можно построить и алгоритм обнаружения аномалии с неизвестными параметрами аномалии (амплитудой, протяженностью и местоположением) [Никитин, 1979; Никитин, 1986].
Вышеописанные методы выделения возмущений являются эффективными при наличии априорной информации. Однако в практике анализа обсерваторских магнитограмм (как и практике выделения возмущений на временных рядах любой природы вообще) задача выделения возмущений имеет несколько иную специфику, поскольку объектом поиска в первую очередь являются возмущения искусственного (техногенного) происхождения [Богоутдинов и др., 2010]. При этом выделение выбросов производится экспертами вручную. Характеристики того или иного возмущения при этом определены только на основе общих представлений о данной разновидности возмущений (см. определение выброса в [Богоутдинов и др., 2010]). Таким образом, здесь, в отличие от разведочной геофизики, исследующей аномалии физических полей, источниками которых являются неоднородности геологической среды, мы имеем весьма ограниченную априорную информацию об искомых возмущениях, касающуюся только общих представлений об их форме. Таким образом, в этом отношении данная задача аналогична задаче выделения аномалий в условиях минимума априорной информации о них. В работе [Никитин, 1979] под термином «минимум априорной информации» понимается отсутствие сведений о форме аномалии и ее корреляционных свойствах. В данном случае форма аномалии (т.е., форма выброса) является достаточно нечётким понятием, а корреляционные свойства её неизвестны. Поэтому требуется такой алгоритм анализа поля, который бы позволял решать задачи выявления аномалий в самом общем случае.
Здесь перспективными для обнаружения и классификации аномалий следует считать самонастраивающиеся (адаптивные) процедуры обработки. Под самонастройкой понимается «приспособляемость» алгоритма обработки к изменению свойств аномалий (их формы и параметров) и помех (дисперсии, корреляционные свойства) непосредственно в процессе обработки.
С точки зрения теории обработки сигналов в различных областях техники важное место занимает задача разладки сигнала. Если считать сигнал случайным процессом, то под разладкой случайного процесса будем понимать скачкообразное изменение его свойств (обычно описываемых какими-либо параметрами), происходящее в неизвестный момент времени или не происходящий вовсе [Курбаналиев, Ташлинский, 2011]. Задачей обнаружения разладки является установление факта разладки, и если считается, что разладка произошла, то также оценивание момента разладки. Часто ввиду полного отсутствия априорной информации статистического характера и наличия только некоторой оценки самого сигнала применение классических статистических алгоритмов поиска разладки затруднительно. Возникает вопрос, как с помощью этих оценок восстановить незашумленную форму сигнала и возможно ли такое сделать.
Будем считать, что исследуемый сигнал сильно зашумлен. Тогда в нашем последовательностью гауссовских случайных величин с одинаковой дисперсией 2>0 и изменения средних случайных величин yi. Пусть имеются в распоряжении две оценки сигнала, полученные посредством псевдоградиентной адаптации [Цыпкин, 1995]. одна оценка получена при оценивании сигнала слева направо (от начала сигнала до его конца), а другая – справа налево (от конца к началу). Алгоритмы оценивания при использовании релейных процедур принимают вид:
где параметр подбирается экспериментально. На рис.1.1, а, показаны три графика: исходная выборка, оценки от начала к концу и от конца к началу. Рассмотрим сечение выборки в некоторый произвольный момент времени. Для непрерывного сигнала в выбранном сечении возможно бесконечное множество значений его уровня. Поэтому выберем дискретные значения с некоторым шагом, определяемым требуемой точностью оценивания. Тогда набор значений данного сечения ys j j 1, где ys1 соответствует нижнему значению сечения, а ysn – верхнему. В каждом сечении найдем псевдоградиент целевой функции, например, среднего квадрата или модуля разности. Оценку исходного сигнала в данной точке выберем по минимуму модуля псевдоградиента. Для уменьшения объема вычислений верхний и нижний предел сечения целесообразно связать с оценками сигнала, выполненными слева направо и справа налево. В приведенном примере нижняя граница соответствует оценке слева направо, а верхняя – справа налево. Обработав указанным способом все сечения, получим оценку неизвестного процесса yt (рис.1.1, б).
Таким образом, предложенный способ позволяет обнаружить не только факт и момент разладки высокочастотного сильно зашумленного сигнала, но и с высокой степенью достоверности оценить его форму. Стоит отметить, что подобного рода возмущения характерны для магнитограмм и являются скачками базовой линии.
Рис. 1.1. Реализация случайного процесса (а) и его оценка (б) (1 – исходная выборка, 2 – оценка от начала к концу, 3 – оценка от конца к началу).
1.1.4. Распознавание аномалий временных рядов на основе вейвлетанализа Рассматривая современный этап развития методов распознавания образов на временных рядах, нельзя не упомянуть возможности вейвлет-анализа сигналов, подхода, развивающегося с середины 1980-х гг. [Астафьева, 1996] и нашедшего применение в самых разных задачах распознавания образов – от радиотехники и геофизики до медицины (например, [Jouck, 2004]) и биологии. Вейвлет-преобразование было преобразованию Фурье для исследования временных и пространственных рядов с выраженной неоднородностью. В отличие от преобразования Фурье, локализующего частоты, но не дающего временного разрешения процесса, вейвлет-преобразование, обладающее самонастраивающимся подвижным частотно-временным окном, одинаково хорошо выявляет как низкочастотные, так и высокочастотные характеристики сигнала на разных временных масштабах. По этой причине вейвлет-анализ часто сравнивают с "математическим микроскопом", вскрывающим внутреннюю структуру существенно неоднородных объектов [Козлов, Чен, 2002]. Вейвлет-преобразования позволяют выявлять все локальные особенности функций, сигналов и изображений с привязкой их ко времени или координатам пространства. Указанная универсальность и обеспечила вейвлет-анализу широкое использование в самых различных областях знаний, включая геофизику (напр., [Баранов, 2007]).
Подобно тому, как в основе аппарата преобразований Фурье лежит единственная функция w(t ) eit порождающая ортонормированный базис пространства L2 (0, 2 ) путем масштабного преобразования, так и вейвлет-преобразование строится на основе единственной базисной функции (t ), принадлежащей пространству L2 ( ), т.е. всей числовой оси.
Базис одномерного дискретного вейвлет-преобразования (ДВП) [Грибунин, 2007] строится на основе вейвлета (t ) посредством операций сдвигов и растяжений вдоль оси t. Т.о., вейвлет-преобразования заключаются в разложении сигнала s(t) по базису, сконструированному из обладающей определенными свойствами функции (вейвлета) k (t ) посредством масштабных изменений и переносов:
пространственную (временную) частоту, так и ее локализацию в физическом пространстве (времени).
выполняться следующие необходимые условия:
1) локализация базисной функции вблизи нуля аргумента и во временном, и в частотном пространстве;
знакопеременной функцией);
3) ограниченность ( убывающей функцией временной (пространственной) переменной.
Непрерывное вейвлет-преобразование (НВП) строится аналогичным образом с помощью непрерывных масштабных преобразований и переносов вейвлета (t ) с произвольными значениями масштабного коэффициента a и параметра сдвига b. Вейвлетпреобразование обратимо для функций пространства L2 ( ).
В основе непрерывного вейвлет-преобразования лежит использование двух непрерывных и интегрируемых по всей оси t (или х) функций:
(t )dt 1, определяющей грубое приближение сигнала и порождающей коэффициенты аппроксимации.
Функции (t ) и (t ) уточняются итерационным методом, каждый шаг которого Аппроксимирующие функции (t ) присущи не всем вейвлетам, а только тем, которые относятся к ортогональным. Детализирующая функция (t ) создается на основе базисной функции 0 (t ), которая также определяет тип вейвлета. Базисная функция должна обеспечивать выполнение двух основных операций:
где a – параметр, определяющий ширину этого пакета; b – его положение.
Следующее выражение задает оба этих свойства вейвлет-функции (t ) :
В общем случае вейвлет-коррекция для выбранного базиса (например, вейвлетов Хаара, Добеши, симлетов и др.) включает:
1) выбор уровня аппроксимации j;
2) выбор глубины разложения N и нахождение коэффициентов разложения заданном масштабе;
3) восстановление исходной функции f ( x) при помощи обратного дискретного вертикальном направлении составляющую. Низкочастотная часть (приближение или аппроксимация) содержит информацию о низких в вертикальном направлении частотах [Смоленцов, 2005].
Выбор того или иного класса анализирующих функций диктуется спецификой задачи, тем, какую информацию нужно извлечь из сигнала. В ряде случаев с помощью различных вейвлетов можно более полно выявить особенности анализируемого сигнала.
Спектр вейвлет-преобразования одномерного сигнала представляет поверхность в трехмерном пространстве. Обычно изображение спектра выполняется путем проектирования линий постоянного уровня поверхности на плоскость с переменными:
параметрами сдвига (по оси абсцисс) и масштабом (по оси ординат), с градиентной заливкой оттенками серого цвета между линиями (см. рис. 1.2).
Рис. 1.2. Пример результата вейвлет-преобразования сигнала. Сигнал - сумма синусоиды и В работе [Любушин, 2007] методы вейвлет-анализа применяются к исследованию геофизических временных данных различной природы и различных временных масштабов. Сейсмические, электротеллурические, климатические, метеорологические данные были изучены автором с применением разработанных им методик совместного анализа данных. Созданные методы имеют многофункциональный характер и применяются для решения достаточно широкого круга задач – в частности, задач поиска новых предвестников сильных землетрясений.
Широко используемым вейвлет-методом выделения «спайков» и скачков базового уровня является WTMM – Wavelet Transform Maxima Modulus [Mallat, Hwang, 1992].
Например, в [Jouck, 2004] он используется для анализа кардиограмм. Также в качестве приложений вейвлет-анализа в распознавании сигналов можно привести анализ рядов событий течения Эль-Ниньо и изменений индекса Южного колебания, где вейвлет-анализ позволил выявить периодические компоненты процессов и временные масштабы, на которых данные имеют автомодельную структуру [Астафьева, 1996]. Исследование временных рядов отклонений температуры от среднемесячных значений по результатам измерений на метеорологической станции Фрунзе (Бишкек) за период 1931-1998 гг.
[Козлов, 2002] позволяет высказать предположение, что динамическим системам, какой, в частности, является климатическая, присущи скрытые внутренние характеристики, статистически воспроизводимые на различных временных масштабах. Следует отметить эффективность выявления аномалий на временных рядах методами вейвлет-анализа на временных промежутках различной длины.
1.1.5. Нейросетевой подход к анализу временных рядов В связи с ростом хранимых, упорядоченных во времени, данных о характеристиках объектов, процессов и систем в промышленности, экономике, медицине, образовании, социологии расширяются возможности анализа и прогнозирования количественных и качественных изменений этих характеристик, а также их носителей. Систематическое и комплексное исследование тенденций развития процессов на основе анализа временных рядов, извлеченных из хранилищ и баз данных, является сферой профессиональной деятельности специалистов различного профиля. Технологии баз данных создают новые возможности извлечения знаний из временных рядов баз данных для специалистов при решении задач анализа процессов: 1) по качественной оценке текущего и будущего состояния исследуемого процесса, 2) по обнаружению типичных и аномальных типов событий, 3) по выявлению имевших место качественных изменений.
Одним из направлений, обеспечивающим «интеллектуальную» поддержку специалистов по решению новых задач анализа временных рядов баз данных, являются методы анализа временных рядов с применением нейронных сетей. В нейросетевом подходе задача прогнозирования временных рядов формулируется как задача распознавания образов, для решения которой формируется обучающая последовательность данных временного ряда, и нейронная сеть обучается распознавать соответствующие образы [Ярушкина и др., 2010].
Искусственные нейронные сети (ИНС) – это вычислительные модели, построенные по принципу организации и функционирования биологических нейронных сетей. ИНС представляют собой систему соединенных и взаимодействующих между собой простых процессоров (искусственных нейронов). Важная особенность ИНС состоит в возможности параллельной обработки информации и способности к обучению и обобщению накопленных знаний. Широкое распространение нейронных сетей в разных областях объясняется тем, что во многих случаях формализация процедур решения сложных задач в экономике, медицине, технике, военном деле зачастую оказывается очень трудоемкой, либо невозможной.
Основной элемент нейронной сети – это формальный нейрон, осуществляющий операцию нелинейного преобразования суммы произведений входных сигналов на весовые коэффициенты:
где X ( x1, x2,..., xn )T – вектор входного сигнала, W (w1, w2,..., wn ) – вектор весовых коэффициентов, F – функция нелинейного преобразования.
Способности нейронной сети к прогнозированию ВР напрямую следуют из ее способности к обобщению и выделению скрытых зависимостей между входными и выходными данными. После обучения сеть способна предсказать будущее значение уровня временного ряда на основе нескольких предыдущих значений. Моделирование временного ряда в рамках нейросетевого подхода сводится к задаче наилучшей аппроксимации нелинейной функции от многих переменных по набору примеров, заданных историей временного ряда.
Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными численными алгоритмами. Технически обучение заключается в среднеквадратичного отклонения ошибки. В процессе обучения нейронная сеть способна выявлять сложные нелинейные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что, в случае успешного обучения, сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке.
Нейронные сети используются как для классификации сигналов и изображений, для обнаружения объектов определённого типа. Кроме того, что любая обученная МНС в некоторой мере может определять принадлежность образов к “своим” классам, её можно специально обучить надёжному детектированию определённых классов. В этом случае выходными классами будут классы принадлежащие и не принадлежащие к заданному типу образов. Нейронные сети применяются так же для извлечения ключевых классификации.
Основная область применения нейронных сетей – исследование двумерных и трёхмерных объектов, однако их успешно можно применять и для анализа временных рядов, где нейросетевой подход практически не имеет недостатков, в отличие от анализа использования искусственных нейронных сетей для решения задач моделирования и прогнозирования временных рядов рассмотрены в работе [Козадаев, 2008].
Итак, нейронные сети являются результативным инструментом моделирования и прогнозирования временных рядов, распознавания возмущений заданной формы на временных рядах, позволяющим снизить требования к квалификации пользователя.
Стоит отметить, что поэтапное развитие методов поиска и распознавания аномалий заданной морфологии на временных рядах обусловлено не только успехами математической теории обработки сигналов, методов распознавания образов, развитием вейвлет-анализа и нейронных сетей совместно с развитием вычислительной техники, но и сменой подходов исследователей к описанию моделей сигнала. От детерминированного подхода, применимого только в случае точного определения искомых возмущения на временных рядах, в дальнейшем был совершен переход к более реалистичному вероятностно-статистическому подходу, позволяющему считать исходные данные неточными, рассматривать их как случайные процессы, что позволило применять к обработке данных статистические алгоритмы анализа сигналов.
В настоящее время большое развитие получили методы с использованием нечёткой логики, направленные уже на моделирование деятельности интерпретатора (эксперта) и являющиеся весьма эффективным подходом, позволяющим учесть его логику.
1.2. Современная система наблюдений магнитного поля Земли ИНТЕРМАГНЕТ
[Chapman, 1959] (рис. 1.4), просуществовало всего 2–3 года. Основное назначение сети включает производство наблюдений, а также сбор, хранение, распространение и научный анализ данных о геомагнитном поле в оперативном режиме. Мировая сеть ИНТЕРМАГНЕТ непрерывно растет, на данный момент она включает в себя более обсерваторий [http://www.intermagnet.org/] (рис. 1.3).
Рис. 1.3. Карта обсерваторий ИНТЕРМАГНЕТ с указанием их кодов по состоянию на Рис. 1.4. Карта обсерваторий МГГ с 1957 по 1959 гг. [Allen et al, 1985].
На рис. 1.5 графически приведена динамика роста числа обсерваторий сети ИНТЕРМАГНЕТ и динамика роста объема базы данных, измеренного в данных за сутки.
Рис. 1.5. Динамика роста обсерваторий и накопленных данных ИНТЕРМАГНЕТ. По горизонтальной оси – года, по вертикальной – количество обсерваторий ИНЕТРМАГНЕТ Динамика территориального покрытия сети ИНТЕРМАГНЕТ по частям света показана на рис. 1.6.
Рис. 1.6. Динамика территориального покрытия сети ИНТЕРМАГНЕТ (слева) и территориальная принадлежность обсерваторий на 2011 г. (справа) по частям света.
По сути, ИНТЕРМАГНЕТ представляет собой свод стандартов, охватывающих все этапы обсерваторских наблюдений и позволяющих получать измерения высочайшего качества. К ним относятся требования к конструкции павильонов, векторным и скалярным магнитометрам, изменчивости базовой линии (не более 5 нТл в год), нормам работы на обсерватории (напр., минимум одно абсолютное измерение в неделю) и многое другое.
Работоспособность большинства обсерваторий обеспечивается национальными правительствами, некоторые функционируют при поддержке университетов, и лишь немногие – при поддержке частных компаний [Love, 2008]. Предварительные (preliminary), необработанные данные геомагнитных наблюдений из обсерваторий в течение 72 часов поступают в 5 узлов сбора данных (Geomagnetic Information Node – GIN), расположенных в городах Эдинбург (Великобритания), Голден (шт. Колорадо, США), Киото (Япония), Оттава (Канада) и Париж (Франция) [St-Louis, 2008]. На рис. 1. приведена динамика запросов к базам данных ИНТЕРМАГНЕТ. Из графика видно, что со временем наблюдается рост интереса к предварительным, необработанным данным.
Рис. 1.7. Динамика запросов к базам данных ИНТЕРМАГНЕТ в количестве загруженных суточных данных за год. Предварительные данные отображены красным, окончательные – На данный момент Российский сегмент представлен пятью обсерваториями в поселке Борок (BOX) [Chulliat and Anisimov, 2008] (рис. 1.8), городах Иркутск (IRT), Новосибирск (NVS), Магадан (MGD) и Якутск (YAK). Регистрация данных о магнитном поле Земли осуществляется в виде временных рядов. Обсерватории расположены по всему земному шару и каждая из них обладает оборудованием, необходимым для цифровой регистрации абсолютных значений трех компонент и модуля вектора магнитного поля Земли в точке [Jankowski and Sucksdorff, 1996; Turner et al., 2007].
Согласно стандартам ИНТЕРМАГНЕТ, минимальный комплект оборудования включает в себя:
(деклинометр/инклинометр) для измерения абсолютных значений магнитных склонения и наклонения;
2. Скалярный протонный магнитометр для измерения абсолютного значения полной напряженности магнитного поля Земли;
3. Векторный феррозондовый магнитометр (вариометр) для измерения вариаций компонент магнитного поля Земли;
4. Система сбора и регистрации данных (аппаратно-программный комплекс), поступающих с векторного и скалярного магнитометров в непрерывном режиме.
Рис. 1.8. Павильоны для электромагнитных измерений в Геофизической обсерватории «Борок» (код IAGA – BOX). Дом для абсолютных измерений – первый справа, дом для измерения вариаций — первый слева [Chulliat and Anisimov, 2008].
Векторный феррозондовый магнитометр предназначен для мониторинга вариаций компонент вектора магнитного поля. Как правило, векторные данные выражаются либо в декартовых компонентах X (север), Y (восток) и Z (вниз), либо в горизонтально-полярных компонентах: горизонтальная интенсивность H = (X2 + Y2)1/2, склонение D = arctan (Y/X) и Z (вниз) [Love, 2008; Jankowski and Sucksdorff, 1996]. Формально, склонение – это угол направления горизонтальной компоненты H магнитного поля. Качественно работающая обсерватория производит данные с небольшим дрейфом в точности измерений: обычно такой дрейф составляет менее 20 нТл ежегодно. Однако, ионосферные и магнитосферные исследования, а также картографирование глобального магнитного поля за длительный срок требуют более точных данных. В связи с этим, на современной обсерватории также установлен магнитометр, основанный на протонной прецессии, для измерения абсолютного значения полной напряженности магнитного поля F = (X + Y + Z2)1/2. На обсерватории также установлен зафиксированный теодолит с интегрированным на телескопе феррозондовым магнитометром (деклинометр/инклинометр). Примерно раз в неделю работник обсерватории, используя деклинометр/инклинометр, производит серию измерений для получения значений магнитного склонения D и магнитного наклонения I = arctan(Z/H). Эти абсолютные значения магнитных углов используются в дальнейшем для калибровки данных, полученных вариометром, с целью компенсации долгосрочного дрейфа. Окончательные данные (definitive), прошедшие обработку, имеют абсолютную точность выше 5 нТл, что позволяет проводить содержательный анализ магнитных вариаций на различных временных масштабах [Love, 2008]. Обработанные окончательные данные подготавливаются сотрудниками обсерваторий и узлов сбора данных и становятся доступными для мирового научного сообщества с задержкой более 1 года с момента их регистрации. Ежегодно независимая группа экспертов осуществляет проверку регистрируемых данных. Предварительные и окончательные данные доступны на сайте ИНТЕРМАГНЕТ по адресу http://www.intermagnet.org.
Каждый год руководство ИНТЕРМАГНЕТ устраивает рабочие встречи, где обсуждаются такие вопросы как новые стандарты для обсерваторий, анализ новых заявок на участие в сети и их соответствие принятым стандартам, принципы обработки и передачи накопленных данных, перспективы развития узлов сбора данных и т.д. На встречи также приглашаются представители отдельных обсерваторий.
1.2.2. Принципы работы и взаимодействия геомагнитного оборудования Измерения магнитного поля феррозондовым магнитометром (fluxgate sensor) основываются на нелинейном соотношении между индуцирующим и индуцированным магнитным полем в таких материалах как ферромагнетики. Обычно устройство состоит из двух идентичных катушек намотанных на параллельные ферромагнитные сердечники, причем соединение катушек таково, что индуцированные магнитные поля в сердечниках находятся в противофазе. Переменный ток, протекающий по катушкам подбирается так, чтобы сердечники полностью намагничивались в точности за полупериод колебаний. Если имеется постороннее магнитное поле, ориентированное вдоль сердечников, то насыщение магнетизации будет происходить быстрее в одном полупериоде и медленней в другом.
Далее чувствительный к сдвигу фаз датчик покажет разность фаз индукционных и накачивающих токов. Важно отметить, что эффект связан с сонаправленностью магнитного поля и сердечников, то есть измерение магнитного поля дает лишь проекцию на направление [Turner et al., 2007]. Отсюда вытекает возможность измерения компонент вектора, в частности одновременного измерения (рис. 1.9).
Рис. 1.9. Феррозондовый магнитометр модели IPGP VM391, установленный в Геофизической обсерватории «Борок» [Chulliat and Anisimov, 2008].
Соответствующий датчик может быть расположен так, что сердечники катушек параллельны какой-либо настраиваемой оси (оптической оси немагнитного теодолита в случае деклинометр/инклинометра) или вертикальной плоскости, проходящей через отвес (в случае вариометров с подвешенным датчиком) [Jankowski and Sucksdorff, 1996].
Идея скалярного измерения магнитного поля (измерения интенсивности поля) основана на том, что для протона спиновый момент L и магнитный момент M параллельны, их отношение (в фиксированной системе единиц) называется протонным гиромагнитным отношением. При включении внешнего магнитного поля, магнитный момент возмущается, стало быть, изменяется проекция параллельного ему спина, возникает то, что в квантовой механике называется Ларморовская прецессия протона, методы измерения частоты этой прецессии были разработаны более полувека назад.
Величина этой (быстро затухающей) прецессии связана с интенсивностью возмущающего магнитного поля, что и дает метод «протонной прецессии» для измерения интенсивности.
Достижимая здесь точность порядка 0.1 нТл. Эффект Оверхаузера состоит в некоторой модернизации указанной технологии: вначале с помощью частот накачки, можно переводить спины электронов в высокоэнергетическое состояние, в так называемый электронный магнитный резонанс. При этом в целом атоме возникает поляризация, которая усиливает прецессию. Речь идет здесь о достаточно кратковременных процессах, поэтому все измерения повторяются с некоторой частотой (килогерцы), задаваемой внешним источником. Таким образом, достигается точность порядка 1 пикотеслы, но по сравнению с обычным протонным прецессионным магнитометром (PPM) датчик, основанный на эффекте Оверхаузера, может использоваться менее продолжительное время (обычно 5 лет) [Turner et al., 2007].
Совместное использование феррозондовых датчиков в вариометрах и инклинометрах а также абсолютных датчиков направлено на то, чтобы все компоненты магнитного поля были бы измерены в хорошо определенном базисе. При этом инклинометр/деклинометр (рис. 1.10) используется для привязки к геодезическим осям (для этого и нужен теодолит), подвешенный датчик вариометра дает измерения с хорошо определенной вертикальной осью но оба они нуждаются в абсолютной калибровке, для чего используется скалярный магнитометр. Блок сбора данных, представляющий собой специально разработанный компьютер и программное обеспечение, необходим для оцифровки, сохранения и архивации данных, регистрируемых вариометром в непрерывном режиме. Данные, накопленные за сутки, ежедневно должны отправляться из блока сбора данных в центральный узел сбора данных ИНТЕРМАГНЕТ. Набор этих инструментов является минимально необходимым для оборудования магнитной обсерватории [Turner et al., 2007; Chulliat et al., 2009а].
Рис. 1.10. Интерьер дома для проведения абсолютных измерений при помощи деклинометра/инклинометра на базе теодолита [Chulliat and Anisimov, 2008].
одновременным использованием одного зафиксированного скалярного магнитометра и градиометра, состоящего фактически из двух одинаковых скалярных магнитометров. В результате принимаются решения о пригодности выбранных мест для создания обсерваторий ИНТЕРМАГНЕТ по результатам местной магнитной съемки.
1.2.3. Подготовительные работы по созданию геомагнитной обсерватории Перед установкой геомагнитного оборудования требуется проведение тщательной работы по выбору подходящего места для размещения каждой обсерватории.
Геомагнитные обсерватории устанавливаются для работы в течение длительного времени.
Одна из их основных задач состоит в регистрации геомагнитного векового хода. В рамках этой задачи, десять или даже сто лет считается коротким временем. Поэтому, выбор места для обсерватории является крайне важной задачей: изменения магнитных характеристик в окрестности не допустимы. Магнитные свойства в зоне планируемой обсерватории должны быть изучены тщательно заранее. Магнитные карты местности дают лишь общее впечатление о магнитной однородности запланированной области. Но местная съемка с разрешением в метры обязательно должна быть проведена в месте строительства помещений, так как мелкомасштабные вариации также могут иметь значительные градиенты [Turner et al., 2007; Chulliat et al., 2009а].
одновременным использованием двух протонных магнитометров, один из которых зафиксирован, а второй перемещается по прямоугольной сетке, узлы которой расположены приблизительно через 1 метр или меньше. В частности следует выбирать область так, чтобы горизонтальные и вертикальные градиенты оказались менее 1 нТл на метр.
Среди требований к территории обсерватории выделим те, которые связаны не просто с магнитной съемкой на местности, но со стабильностью магнитных характеристик во времени. Нестабильность может быть связана, например, с возвратными токами, так например, геомагнитные наблюдения в Брорфельде (Дания, код обсерватории ИНТЕРМАГНЕТ — BFE) выявили скачки 6 нТл по горизонтальной компоненте поля и нТл по вертикальной компоненте. Косвенный источник этих скачков – проходящий в значительном удалении кабель по которому течет постоянный ток в 1500 А из Центральной части Европы в Скандинавию. Обычно такие кабели содержат лишь фазовый провод, так что возвратные токи передаются через заземление. Подобный эффект в более скромных масштабах например наблюдается вблизи тех железных дорог РФ, где задействованы электровозы постоянного тока. Важный фактор составляют пиковые нагрузки – именно они индуцируют возвратные токи большой мощности, при этом предсказать собственно район, где можно будет наблюдать магнитные эффекты этих возвратных токов по-видимому невозможно при современных технологиях. Поэтому проверка стабильности градиентов во времени должна быть проведена непосредственно [Turner et al., 2007].
Поскольку морская вода хорошо проводит электричество, возвратные токи более интенсивны в морях и соленых водоемах вообще, косвенным следствием является то, что магнитные обсерватории в прибрежной зоне будут значительно лучше фиксировать вариации, связанные с этими токами. Таким образом, в приморской зоне строительство обсерваторий (включающих анализ базовой линии для системы вариометров) нежелательно.
Необходимое удаление от объектов, продуцирующих магнитное поле – железные дороги, мощные линии энергопередач постоянного тока – в целом оценивается десятками километров, но в каждом случае точнее можно будет сказать только после детальной магнитной съемки на местности, проверки ее стабильности во времени: только смена энергонагрузки на электрические сети выявляет изменения градиента [Chulliat et al., 2009а].
В дополнение к магнитным свойствам зоны обсерватории, следует принимать в расчет многие другие факторы: например, обсерватории, обслуживаемые людьми, должны располагаться не слишком далеко от цивилизации, иначе они не смогут привлечь к себе квалифицированный персонал. С другой стороны, обсерватория должна оставаться достаточно далеко от возмущений, производимых людьми. Деятельность, связанная со строительством зданий, сложно предсказуема на десятилетия или столетия вперед, однако необходимо стараться учесть и это. В любом случае, для обсерватории должна быть отведена довольно большая территория радиусом порядка 300 м, отмеренным от помещения для абсолютных измерений и как минимум на расстоянии 1 км от ближайшей железной дороги. Если железная дорога электрическая, расстояние должно составлять несколько километров, а в случае поездов на постоянном токе — десятки километров, в зависимости от проводимости земли.
1.2.4. Абсолютные измерения офсетным методом Абсолютные измерения производятся на обсерватории в «абсолютном» павильоне примерно 1-2 раза в неделю при помощи одноосевого феррозондового магнитометра, установленного на немагнитном теодолите, и скалярного магнитометра [Jankowski and Sucksdorff, 1996]. Абсолютные измерения заключаются в определении абсолютных значений склонения Dabs, наклонения I abs и полной напряженности Fabs магнитного поля в заданной точке («абсолютный» пиллар) в географической системе координат. По ним вычисляются также горизонтальная и вертикальная компоненты H abs и Z abs :
Офсетный метод абсолютных измерений заключается в измерении погрешностей при восьми положениях теодолита, перпендикулярных магнитному вектору. При измерении склонения D эти положения находятся в горизонтальной плоскости, и они перпендикулярны горизонтальной компоненте H:
1. Сенсор сверху, теодолит направлен на восток;
2. Сенсор снизу, теодолит направлен на запад;
3. Сенсор снизу, теодолит направлен на восток;
4. Сенсор сверху, теодолит направлен на запад.
При измерении наклонения I положения находятся в вертикальной плоскости, и они перпендикулярны полному вектору F:
5. Сенсор сверху, теодолит направлен на север;
6. Сенсор снизу, теодолит направлен на юг;
7. Сенсор снизу, теодолит направлен на север;
8. Сенсор сверху, теодолит направлен на юг.
Наблюдателем находится положение теодолита 1, близкое к перпендикуляру компоненте H. Далее положения 2-4 последовательно устанавливаются путем вращения теодолита на 180о либо в вертикальной, либо в горизонтальной плоскостях. Аналогично происходит в случае положений 5-8 для измерения I. При каждом из положений регистрируются значения с датчика магнитометра M(i), i=1,…,8. Они представляют собой значения проекции вектора на ось сенсора магнитометра. Эти значения, как правило, малы, поскольку сенсор во всех положениях почти перпендикулярен вектору. Введем следующие обозначения:
Aref – азимут миры;
Amark – угол в шкале теодолита в горизонтальной плоскости, соответствующий азимуту миры;
PDD – угол в шкале теодолита в горизонтальной плоскости, при котором начинается измерение склонения D, т.е. соответствует положению 1;
PDI – угол в шкале теодолита в вертикальной плоскости, при котором начинается измерение наклонения I, т.е. соответствует положению 5. При этом угол в горизонтальной плоскости выставляется на PDD-90o;
Fabs(i) – абсолютное значение F, полученное на абсолютном пилларе в момент i-го измерения, i=1,…,8;
PDDerr(i), i=1,…,4 – угол в шкале теодолита, недостающий до перпендикулярности теодолита компоненте H при измерении D в положениях 1,…,4;
PDIerr(i), i=1,…,4 – угол в шкале теодолита, недостающий до перпендикулярности теодолита вектору F при измерении I в положениях 5,…,8.
Сначала вычисляются PDIerr(i) по формулам:
Поскольку в теодолите углы в вертикальной плоскости отсчитываются от зенита, для I имеем среднюю ошибку в виде:
Смена знаков в числителе компенсирует тот факт, что при перевороте сенсора через зенит в вертикальной плоскости, или при повороте сенсора на 180 о в горизонтальной плоскости происходит смена знака в показаниях датчика магнитометра.
Таким образом, окончательная формула для Iabs:
Для D средняя ошибка рассчитывается с использованием полученного Iabs. Сначала вычисляются PDDerr(i):
Habs(i) –абсолютное значение H в момент i-го измерения (i=1,…,4), рассчитанное как Таким образом, в случае D средняя ошибка будет а Dabs будет рассчитываться по формуле:
В данной формуле ( PDD PDDerr ) отражает искомый угол, перпендикулярный к H в шкале теодолита, ( PDD PDDerr 900 ) – угол в шкале теодолита, соответствующий направлению H, ( Aref Amark ) – разница между известным азимутом и соответствующим показанием теодолита в горизонтальной плоскости, которая используется для приведения шкалы теодолита к шкале реальных углов в горизонтальной плоскости.
1.2.5. Расчет базовой линии и временная привязка 1.2.5.1. Базовая линия После получения абсолютных значений компонент поля в точке расположения абсолютного пиллара встает задача привязать вариационные измерения компонент вектора магнитного поля к этим абсолютным значениям. Задача осложняется тем фактом, осуществляется вдоль осей, не совпадающих с осями географической системы координат (рис. 1.11). Это обстоятельство обусловлено естественной погрешностью при физической установке прибора.
Рис. 1.11. Ориентация векторного магнитометра относительно географической системы координат в горизонтальной плоскости. dX и dY – непрерывные измерения вариаций горизонтальных компонент (северной и восточной) векторным магнитометром.
В измерениях, полученных феррозондовыми векторными магнитометрами, иногда наблюдается дрейф, обусловленный либо температурными вариациями, либо старением блока электроники. Для периодической калибровки векторного магнитометра и компенсации возможного наклона пиллара, на котором установлен магнитометр, регулярно производятся абсолютные измерения компонент вектора магнитного поля.
Полученные абсолютные значения используются для расчета калибровочной кривой, которая называется базовой линией [Peltier and Chulliat, 2010].
На векторных магнитометрах FGE диапазон измерения dX, dY (рис. 1.11) и dZ составляет 10 В, при этом 10 В примерно соответствует 3895 нТл. C учетом того, что абсолютные значения компоненты X обычно лежат в пределах первых десятков тысяч нТл, появляется необходимость в уточнении некоторого квазипостоянного слагаемого X (рис. 1.11). X 0 называется значением базовой линии компоненты X, а его уточнение происходит при каждой новой серии абсолютных измерений. В результате абсолютных измерений также уточняются значения базовых линий D0 (рис. 1.11) и Z 0 для склонения и вертикальной компоненты соответственно.
географической системе координат. Для того, чтобы установить взаимосвязь между векторными и абсолютными измерениями, которые осуществляются в географической системе координат, вводятся следующие формулы:
где dZ и dF – непрерывные измерения вариаций вертикальной компоненты векторным магнитометром и полной напряженности поля скалярным магнитометром.
По формулам (1.2) вычисляются значения базовой линии X 0 (нТл), D0 (град), Z (нТл) и F0 (нТл) для горизонтальной северной компоненты, склонения, вертикальной компоненты и полной напряженности соответственно. Эти значения соответствуют полученным абсолютным измерениям Dabs, I abs и Fabs. Сами базовые линии представляют собой сплайны, построенные по X 0, D0, Z 0 и F0.
1.2.5.2. Временная привязка абсолютных значений и значений базовой линии Полученному значению Dabs присваивается среднее время TD измерений M(i) в положениях i=1,…,4, а полученному значению I abs присваивается среднее время TI измерений M(i) в положениях i=5,…,8. Fabs рассчитывается как среднее по четырем значениям Fabs(i), i=5,…,8, и полученному значению присваивается время TI.
Согласно формуле (1.2) для расчета X 0 и D0 требуется значение H abs. Поскольку H abs рассчитывается через Fabs (1.1), то H abs присваивается также время TI. Для расчета X 0 согласно формуле (1.2) значения dX и dY также берутся за момент времени TI. Тем самым, X 0 присваивается время TI. Аналогично, значению Z 0 присваивается время TI.
В случае D0 ситуация выглядит не так однозначно. Как было отмечено ранее, H abs соответствует время TI, однако при расчете D0 по формуле (1.2), помимо H abs, используются значения Dabs и dY. В этом случае берутся значения Dabs и dY за момент времени TD, и D0 также присваивается время TD. Максимальные колебания H abs за день составляют примерно 50 нТл/день, само значение составляет примерно 21000 нТл, а dY, как правило, принимает значения в пределах 100 нТл. Таким образом, в слагаемом в формуле (1.2) расхождением по времени между dY и H abs можно arcsin пренебречь.
1.2.6. Квазиокончательные данные Как было сказано выше, на магнитных обсерваториях производятся два типа данных: предварительные данные, доступные в течение 72 часов в случае обсерваторий ИНТЕРМАГНЕТ, и окончательные данные, доступные не чаще, чем раз в год. В окончательных данных учтена поправка на изменения базовой линии, в то время как предварительные данные не скорректированы должным образом. Последние служат материалом для изучения быстрых вариаций поля, обусловленных внешними источниками.
Многие пользователи и группы исследователей нуждаются в непрерывном доступе к данным, скорректированным относительно базовой линии. Основные задачи, которые требуют наличие таких квазиокончательных (quasi-definitive) данных, включают в себя моделирование геомагнитного поля и расчет индексов геомагнитной активности. Так, глобальные модели разложения современного поля по сферическим гармоникам обычно основываются на совокупности данных, полученных со спутников [Lesur et al., 2008; Olsen et al., 2009] и на обсерваториях. Полностью откалиброванные данные со спутников Oersted и CHAMP [http://www-app2.gfz-potsdam.de/pb1/op/champ/] становятся доступными в течение нескольких дней после ввода в эксплуатацию. Годовая задержка в подготовке окончательных обсерваторских данных тем самым мешает строить модели текущего магнитного поля Земли. По той же причине ограничена пригодность обсерваторских данных для расчета и проверки модели Международного эталона геомагнитного поля (International Geomagnetic Reference Field – IGRF), осуществляемые каждые пять лет [Macmillan and Maus, 2005; http://www.ngdc.noaa.gov/IAGA/vmod/igrf.html]. Наличие квазиокончательных данных также позволило бы улучшить качество оперативных версий геомагнитных индексов, таких как Dst.