ЛИМНОЛОГИЧЕСКИЙ ИНСТИТУТ
СИБИРСКОГО ОТДЕЛЕНИЯ
РОССИЙСКОЙ АКАДЕМИИ НАУК
На правах рукописи
ХОДЖЕР Татьяна Андреевна
ИНФОРМАЦИОННАЯ СИСТЕМА
ФОТОГРАММЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ
МИКРООБЪЕКТОВ ДЛЯ БИОЛОГИЧЕСКИХ
ИССЛЕДОВАНИЙ
05.25.05 - информационные системы и процессы, правовые аспекты информатики Диссертация на соискание ученой степени кандидата технических наук
Научный руководитель член - корр. РАН И.В. Бычков Иркутск -
СОДЕРЖАНИЕ
ВВЕДЕНИЕ
ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ. ТЕОРЕТИЧЕСКИЕ
ОСНОВЫ ФОТОГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ СТЕРЕОСНИМКОВ,
ПОЛУЧЕННЫХ НА РЭМ.
1.1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ, ФОРМУЛИРОВКА ТРЕБОВАНИЙ ПРЕДЪЯВЛЯЕМЫХ К
МОДЕЛИ ИНФОРМАЦИОННОЙ СИСТЕМЫ СБОРА, АНАЛИЗА И ХРАНЕНИЯ ПЕРВИЧНОГО
БИОЛОГИЧЕСКОГО МАТЕРИАЛА.
1.2. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ФОТОГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ СТЕРЕОПАР,
ПОЛУЧЕННЫХ С ПОМОЩЬЮ РАСТРОВОГО ЭЛЕКТРОННОГО МИКРОСКОПА.
ГЛАВА 2. ПРОЕКТИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ
ФОТОГРАММЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ МИКРООБЪЕКТОВ
ДЛЯ БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ. НАБОР МЕТОДОВ
ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ДЛЯ ФОТОГРАММЕТРИЧЕСКОЙ
ОБРАБОТКИ РЭМ-СТЕРЕОПАРЫ
2.1. МОДЕЛЬ ИНФОРМАЦИОННОЙ СИСТЕМЫ ФОТОГРАММЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ
МИКРООБЪЕКТОВ ДЛЯ БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ.
2.2. ТЕХНОЛОГИЯ ПОЛУЧЕНИЯ СТЕРЕОПАРЫ НА РАСТРОВОМ ЭЛЕКТРОННОМ МИКРОСКОПЕ (С
УВЕЛИЧЕНИЕМ ДО 500Х).2.2.1. Подготовка образцов исследования
2.2.2. Условия получения информативной РЭМ-стереопары.
2.2.3. Метод получения стереопары на растровом электронном микроскопе (с увеличением до 500х)
2.2.4. Захват и перенос РЭМ-стереопары микрообъекта с микроскопа на персональный компьютер
2.3. ОПРЕДЕЛЕНИЕ ВХОДНЫХ ПАРАМЕТРОВ ДЛЯ ФОТОГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ РЭМСТЕРЕОПАРЫ.
2.3.1. Метод вычисления фокусного расстояния
2.3.2. Метод определения опорных данных АГ для внешнего ориентирования модели, формируемой по РЭМ-стереопаре
2.4. ВЛИЯНИЕ СУММАРНЫХ ОШИБОК ПРИ ПОЛУЧЕНИИ РЭМ-СНИМКОВ
2.4.1. Увеличение
2.4.2. Дисторсия микроскопа
ГЛАВА 3. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ ИНФОРМАЦИОННОЙ
СИСТЕМЫ ФОТОГРАММЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ
МИКРООБЪЕКТОВ ДЛЯ БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ.............. 3.1. ПРОЕКТИРОВАНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ3.2. МОДУЛЬ ПРОГРАММНОЙ СИСТЕМЫ «PA-3DM/ВХОДНЫЕ ДАННЫЕ». ОПРЕДЕЛЕНИЕ ВХОДНЫХ ПАРАМЕТРОВ РЭМ – СНИМКОВ.
3.3. ЦИФРОВАЯ ФОТОГРАММЕТРИЧЕСКАЯ СИСТЕМА Z-SPACE 1.2. ОСНОВНЫЕ ФУНКЦИОНАЛЬНЫЕ БЛОКИ.
3.4. МОДУЛЬ ПРОГРАММНОЙ СИСТЕМЫ «PA-3DM/РАБОТА С 3-D МОДЕЛЬЮ».
ГЛАВА 4. ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ ИНФОРМАЦИОННОЙ
СИСТЕМЫ ФОТОГРАММЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ
МИКРООБЪЕКТОВ ДЛЯ БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ НА
ОЗЕРЕ БАЙКАЛ
4.1. ЗАДАЧА ВОССОЗДАНИЯ РЕЛЬЕФА ПОВЕРХНОСТНОГО СЛОЯ ЧЕШУИ БАЙКАЛЬСКОГО ОМУЛЯ
(COREGONUS AUTUMNALIS MIGRATORIS GEORGI).
4.2. ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННОЙ СТРУКТУРЫ РАКОВИНЫ БАЙКАЛЬСКОЙ ОСТРАКОДЫ
ДЛЯ СОЗДАНИЯ ЭЛЕКТРОННЫХ КОЛЛЕКЦИЙ
4.3. МОДЕЛИРОВАНИЯ БАЙКАЛЬСКИХ КОЛОВРАТОК НА ПРИМЕРЕ КERATELLA СOCHLEARIS.....
4.4. РЕШЕНИЕ ЗАДАЧИ ВОССОЗДАНИЯ ЦМР БАЙКАЛЬСКИХ АЭРОЗОЛЕЙ.ЗАКЛЮЧЕНИЕ
СПИСОК ЛИТЕРАТУРЫ
СПИСОК СОКРАЩЕНИЙ
ПРИЛОЖЕНИЕ 1. СТЕРЕОФОТОГРАММЕТРИЧЕСКИЙ МЕТОД.............
ПРИЛОЖЕНИЕ 2. ПРОГРАММНЫЙ КОД МОДУЛЯ «PA-3DM/ РАБОТА С
3-D МОДЕЛЬЮ».ПРИЛОЖЕНИЕ 3. ФРАГМЕНТ БАЗЫ ДАННЫХ РЭМ-СНИМКОВ (РЭМ СТЕРЕОПАР).
ВВЕДЕНИЕ
Актуальность темы. Использование современных информационных технологий в биологии существенно расширяет возможности традиционных подходов при изучении микромира: позволяет получать новую информацию об объекте исследования, осуществлять моделирование микрообъектов живой природы с сохранением их истинных размеров и форм, проводить компьютерную видовую диагностику в 3-D режиме и накапливать информацию о их биоразнообразии. Одним из перспективных методов неразрушающую реконструкцию образца на основе снимков высокого разрешения. Несмотря на то, что первые исследования в этом направлении начались в 70-80 годах прошлого века, микроскопия до сих пор остается актуальной областью для использования фотограмметрических методов.Большой вклад в развитие этого направления внесли работы Е.И.
Калантарова, В.Н. Мельник, В.Н. Соколова, Л.К. Трубиной, A. Boyde, M.
Ritter и др.
моделирования микрообъектов, позволяющей получать, хранить и исследований, связанных с приспособительной изменчивостью, функциональной морфологией, с поиском принципиально новых ключевых признаков и с экологией микромира.
специализированной информационной системы для создания цифровых 3-х мерных моделей микрообъектов живой природы с возможностью анализа их формы, сравнительной характеристикой ныне живущих организмов с их предками, сохранением информации о биоразнообразии биологических микрообъектов, в том числе и эндемичных видов, обитающих в оз. Байкал.
Целью диссертационной работы стала разработка информационной биологических исследований.
Достижение цели потребовало решения следующих задач:
1. Разработать модель информационной системы создания 3-D модели разрешения;
определить входные параметры для построения цифровой матрицы рельефа микрообъекта;
3. Осуществить программную реализацию полуавтоматического восстановления цифровой модели рельефа микрообъекта;
4. Применить созданную информационную систему для решения ряда биологических и экологических задач.
Научная новизна работы заключается в следующем:
микрообъектов (с увеличением до 500х) с последующим использованием полученной информации при решении некоторых биологических и экологических задач.
микрообъекта на растровом электронном микроскопе и определения входных параметров для фотограмметрического построения цифровой 3D модели микрообъекта (увеличение до 500х).
3. Впервые получены цифровые 3-х мерные модели байкальских видов микрообъектов: коловратки, остракоды; реализован алгоритм решения задачи подсчета возраста байкальского омуля; получены цифровые 3-D модели байкальских аэрозолей.
Практическая значимость. Созданная информационная система на основе фотограмметрических методов и методов растрово-электронной микроскопии может быть использована специалистами, изучающими микрообъекты живой природы. В частности, система уже используется при решении задач функциональной морфологии, приспособительной изменчивости, систематики для определения видовой принадлежности при исследовании биоразнообразия оз. Байкал.
Научная обоснованность и достоверность результатов соискателя подтверждаются хорошим соответствием результатов многократных экспериментов на тестовых образцах с данными натурных экспериментов, а также опытом успешного применения разработанной информационной (остракоды, коловратки, чешуя байкальского омуля) и байкальских аэрозолей.
Структура работы. Диссертационная работа объемом (125 страниц, рисунка, 4 таблицы) состоит из введения, четырех глав, заключения, списка литературы и трех приложений. Список литературы включает наименований, в том числе 54 на иностранном языке.
Первая глава посвящена анализу предметной области, описанию исследуемой проблемы, формулировке требований предъявляемых к модели информационной системы сбора, анализа и хранения биологического материала; литературному обзору научных публикаций, посвященных фотограмметрической обработке РЭМ-стереопары.
информационной системы фотограмметрического моделирования определения опорных данных для работы с РЭМ-стереопарой, результаты экспериментальных исследований применяемых методов.
микрообъекта в виде комплекса прикладных программ, включающего базовый модуль - цифровую фотограмметрическую систему Z-Space 1.2 (liteверсия) и специально разработанные модули PROGRAM OF ANALYSIS 3D MODEL: «PA-3DM/ Входные данные», «PA-3DM/
Работа с 3-D моделью».
информационной системы при решении задач определения видовой принадлежности, морфологической изменчивости, сохранения биоразнообразия озера Байкал, а также при решении экологических задач – определение источников происхождения атмосферных аэрозолей в Байкальском регионе.
В заключении представлены основные результаты, полученные в ходе выполнения работы.
Приложение 1 включает описание фотограмметрических методов, базовые этапы построения модели по двум стереоснимкам и содержит некоторые наиболее значимые разделы теории построения цифровой матрицы рельефа по двум фотоснимкам.
В Приложении 2 приведен программный код модуля «PA-3DM/ Работа с 3-D моделью».
Приложение 3 содержит фрагменты базы образцов исследованных объектов.
докладывались на российских и международных конференциях, симпозиумах, школах-семинарах: Биоразнообразие и динамика экосистем Северной Евразии (Новосибирск, 2000); III Верещагинская Байкальская международная конференция (Иркутск, 2000); Моделирование, базы данных и информационные системы для атмосферных наук (Modas 2001, Иркутск, 2001); «Междисциплинарные исследования в Байкальском регионе»
(Иркутск, 2001); III Международный симпозиум Видообразование в древних озерах (SIAL’3, Иркутск, 2002); «Математическое моделирование и информационные технологии» (Иркутск-Ангасолка, 2002); Всероссийская конференция «Инфокоммуникационные и вычислительные технологии и системы» (Улан-Удэ, 2003), Международная конференция «Аэрозоли естественного и антропогенного происхождения» (Санкт-Петербург, 2006);
VIII Международная конференция «Распознавание образов и анализ изображений: новые информационные технологии» (Йошкар-Ола, 2007).
Публикации. По теме диссертации опубликовано 14 печатных работ, куда входят (в скобках в числителе указан общий объем этого типа публикаций, в знаменателе – объем, принадлежащий автору) 2 статьи в изданиях, рекомендованных ВАК для представления основных научных результатов диссертации (0.64/0.28 печ. л.), 2 свидетельства РОСПАТЕНТа, 10 тезисов и статей в изданиях трудов конференций (2/1.1 печ. л.).
Благодарности. Автор выражает благодарность академику РАН М.А.
Грачеву за помощь при постановке задач в работе; к.б.н. М.А. Тягун за совместное решение задачи определения возраста байкальского омуля; д.б.н.
Е.В. Лихошвай, инженеру М.М. Масленниковой за помощь в организации работ на РЭМ; к.б.н. Н.Г. Мельник и д.б.н. Т.Я. Ситниковой за консультации в ходе подготовки работы. Особая благодарность научному руководителю члену-корреспонденту РАН И.В. Бычкову за помощь во время подготовки работы.
1. Предложена информационная модель системы фотограмметрического моделирования биологических микрообъектов (увеличение до 500х) для получения, хранения и анализа информации о их 3-D формах и рельефах поверхностей.
2. Унифицированы и разработаны методы определения корректных параметров съемки на растровом электронном микроскопе для формирования стереопары микрообъекта и обеспечения опорными данными при ее обработке.
3. Выполнено проектирование и реализован комплекс прикладных фотограмметрическую систему Z-Space 1.2 (lite-версия) и разработанные модули PROGRAM OF ANALYSIS 3D MODEL (PA-3DM), которые обеспечивают полуавтоматизированный процесс моделирования микрообъекта и анализ его цифровой 3-D модели.
4. Осуществлено применение информационной системы на байкальских микрообъектах.
ГЛАВА 1. АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ.
ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ФОТОГРАММЕТРИЧЕСКОЙ
ОБРАБОТКИ СТЕРЕОСНИМКОВ, ПОЛУЧЕННЫХ НА РЭМ.
1.1. Анализ предметной области, формулировка требований предъявляемых к модели информационной системы сбора, анализа и хранения первичного биологического материала.Внедрение современных информационных технологий приводит к пересмотру многих традиционных систем обработки и анализа информации.
Например, в биологических дисциплинах при изучении микрообъектов живой природы (как правило, такие исследования ведутся с помощью микроскопа) можно непосредственно моделировать объект наблюдения и проводить его всесторонний анализ с помощью 3-D модели, что позволяет исследователю осуществлять компьютерную диагностику видов в 3-D режиме и хранить информацию о биоразнообразии микрообъектов на цифровом носителе В традиционной системе проведения биологических исследований информация о микрообъектах хранится с помощью типовых коллекций проб биологического материала (рис. 1). Получение первичного материала включает в себя следующие этапы: сбор in situ, фиксация (формалин, этиловый спирт, раствор Буэна и др.), приготовление препарата, анализ под первичной информации:
Научные Экспедиции Станции мониторинга Рис. 1. Традиционная система обработки первичной информации о биологическом микрообъекте.
микроскопом, перенос в виде фотографий или рисунков на бумажный или электронный носитель. Данная система требует наличия специализированной материально-технической базы, обеспечивающей необходимые условия для нормального хранения проб: средства контроля температурных режимов, наличие помещения, посуды, реактивов и т.д. Ведение журналов биологических проб, создание и обновление этикеток требует затрат времени исследователей. Помимо этого, при работе с фиксированным материалом, нередко возникают трудности, связанные с разницей массы фиксированных и живых особей. Особенно существенна потеря массы тела при фиксации у так называемых мягкотелых беспозвоночных. Масса тела микрообъекта при консервации разными фиксирующими растворами сильно различается, и может быть как положительной, так и отрицательной в зависимости от систематического состава изучаемых групп и от продолжительности времени хранения проб (Зайцева и др., 2008). Длительное хранение биологического материала в фиксирующей жидкости может также вызывать уплотнение тканей из-за неоднородности изменения структурных элементов микрообъекта, появление артефактов – новообразований различных микроструктур, искажающих реальный объем и форму. Подобные искажения формы биологических образцов в первую очередь связаны с невозможностью создания стандартной фиксирующей жидкости, одинаково хорошо сохраняющей все составные части клеток и тканей (Ромейс, 1954).
Хранение препаратов в виде коллекций биологических микрообъектов является, в целом, типовым при биологических исследованиях (рис. 2).
Однако данный подход имеет ряд признаков, не отвечающих современным требованиям. Среди них можно выделить затрудненный поиск необходимого биологического материала, использование бумажных каталогов, не всегда позволяющих оперативно и в полном объеме получать требуемую информацию, отсутствие оперативного обмена информации между исследователями о морфологических характеристиках микрообъекта. Кроме Рис. 2. Хранение биологических проб и препаратов в Байкальском музее ИНЦ СО РАН.
того, срок хранения подобных биологических препаратов ограничен из-за разложения фиксирующих препаратов, несоблюдения правильных режимов хранения (температурный, световой), возможной утерей коллекций образцов и т.д.
обработки информации о биологических микрообъектах, были предложены следующие основные требования к модели информационной системы получения, хранения и обработки первичных биологических материалов:
1) модель должна обеспечивать возможность получения, хранения и анализа микрообъектов (увеличение до 500х);
2) модель должна обеспечивать неразрушающую реконструкцию микрообъектов, поскольку биологические образцы очень чувствительны к тактильной обработке;
3) информационная система должна быть ориентирована на пользователя, не имеющего навыков работы в области информационных технологий;
4) информация о трехмерной модели микрообъекта должна храниться в удобном формате данных, поддерживаемом большинством программных систем обработки и моделирования 3-D объектов;
5) коллекции цифровых 3-D моделей микрообъектов должны храниться в базе данных исследователя, с возможностью их восстановления, визуализации и анализа; при необходимости должна осуществляться оперативная передача информации об объекте или его трехмерной форме другим пользователям.
Для выполнения данных требований был проведен анализ методов формирования объемных изображений различных объектов окружающей среды. Среди которых можно выделить:
1. Разнообразные программные продукты моделирования реальности - D Studio MAX, Maya, LightWave, trueSpace, Raydream Studio, Softimage. Эти программы обеспечивают построение трёхмерных моделей объектов с учётом цвета, фактуры, расстановки осветительного оборудования, использования библиотеки материалов, моделирования реальных законов преимущественно в сфере компьютерных игр и киноиндустрии (Денисов, 2006). Использование подобных программных средств для моделирования истинной структуры поверхности и формы микрообъектов не отвечает предъявляемым требованиям.
2. Системы, основанные на сканировании лазерным или электронным лучом определенного объема визуализации. В настоящее время создано несколько таких систем. Одной из них является объемный лазерный дисплей формирующий реальное движущееся объемное полупрозрачное изображение, видимое в зависимости от формы визуализатора либо в пределах 360 градусов со всех сторон вокруг визуализатора, либо в пределах 180 градусов в передней полусфере объема визуализации (Woods et all., 2008). Трехмерное изображение для этого дисплея синтезирует компьютер.
Наряду с тем, что подобные исследования являются очень перспективными, они являются достаточно дорогостоящими и требуют наличия специального оборудования.
3. Системы, основанные на использовании стереофотограмметрического метода. Современный научно-технический уровень фотограмметрии характеризуется появлением цифровых фотограмметрических систем и технологий, использующих новейшие достижения в сфере обработки изображений, машинного распознавания образов, искусственного интеллекта. Основным достоинством этого метода является высокая точность, объективность и достоверность информации, возможность (Келль,1989).
фотограмметрии. Цифровые фотограмметрические системы (ЦФС) созданы во многих странах мира (США, Канада, Англия, Германия, Франция и др.) и успешно решают различного рода задачи. Множество зарубежных фирм предлагают свои цифровые фотограмметрические системы, среди них Intergraph Corporation, LH-systems LLC, ISM, ERDAS. В России также проводятся разработки в области цифровой фотограмметрии: компания лаборатории компьютерного зрения Института Информационных Технологий (г. Москва), Сибирский цифровой стереоплоттер - SDS создан на кафедре фотограмметрии и дистанционного зондирования Сибирской Государственной Геодезической Академии (г. Новосибирск). Все эти программы в той или иной степени обладают развитыми функциональными возможностями и высокой производительностью. С их помощью можно решать конкретные задачи автоматического или полуавтоматического создания и редактирования цифровой матрицы рельефа (Кадничанский, Хмелевский, 1999).
На основании сформулированных требований и анализе литературных данных было предложено оригинальное решение, заключающееся в применение фотограмметрических методов совместно с возможностями графической обработки цифровых 3-D моделей микрообъектов. Ранее проведенные исследования в этой области (Boyde A., Ross H., 1975; Goldstein J., et all., 1984; Мельник, 1981; Соколов, 1996; Hemmleb, 2000; Ritter, 2003;
Трубина, 2002, 2006) показали перспективность применения фотограмметрических методов при исследовании микрообъектов.
1.2. Теоретические основы фотограмметрической обработки стереопар, полученных с помощью растрового электронного микроскопа.
Наиболее подходящим источником получения стереоизображений исследуемой поверхности микрообъектов является растровый электронный микроскоп. До изобретения электронных микроскопов растрового типа, использование фотограмметрических методов в микроскопии было ограниченным. Это объяснялось тем, что световые микроскопы имели небольшую разрешающую способность и малую глубину резкости. С созданием растровых электронных микроскопов, обладающих значительной глубиной поля зрения (примерно в 300 раз больше, чем у световых), применение стереометода становится эффективным и представляет практический интерес при определении морфологических особенностей биологических микроструктур (Финковский, Мельник, 1978).
Схема растрового электронного микроскопа приведена на рисунке 3.
Микроскоп состоит из следующих основных узлов: электронной пушки 1...3, эмитирующей электроны; электронно-оптической системы 4...10, формирующей электронный зонд и обеспечивающей его сканирование на поверхности образца 12; системы, формирующей изображение 11,13..15.
РЭМ имеет вакуумную камеру, которая необходима для создания разряжения (~10-3 Па) в рабочем объеме электронной пушки и электронно-оптической системы. Составными частями микроскопа являются механические узлы (гониометрический стол и т.д.), обеспечивающие установку и перемещение образца.
Рис. 3. Схема электронного микроскопа: 1- катод, 2 – модулятор, 3 – анод, – ограничивающая диафрагма, 5 – первая конденсаторная линза, 6 – вторая конденсаторная линза, 7 –катушка двойного отклонения, 8 – стигматор, 9 – конечная линза, 10 – диафрагма, ограничивающая размер пучка, 11 – генераторы развертки, 12 – образец, 13 – детектор вторичных электронов, 14 – усилитель фотоумножителя, 15 – электронно-лучевая трубка (Гоулдстейн и др., 1984).
Сканирование образца осуществляется с помощью двух отклоняющих катушек, каждая из которых служит для отклонения соответственно в Х- и Yнаправлениях. Пучок перемещается через последовательные положения, зондируя поверхность образца в контролируемой последовательности точек (Гоулдстейн, 1981). В результате взаимодействия пучка с исследуемым образцом возникает вторичная электронная эмиссия, несущая информацию о морфологии изучаемой поверхности (Мельник, 1981). Измеряя величину этих сигналов с помощью соответствующего детектора, можно определить локальную топографию исследуемого образца (рис. 4).
Область сканирования на образце Рис. 4. Принцип отображения информации при сканировании по площади или по изображению, устанавливает соответствие между набором положение на образце и на ЭЛТ.
В результате синхронного сканирования по образцу и электронно – лучевой трубке микроскопа (ЭЛТ) создается однозначное соответствие между последовательностью точек в «пространстве объекта» и на экране ЭЛТ или в пространстве изображения. Для отображения информации о взаимодействии электронов с объектом используется яркостная модуляция, т.е. интенсивность сигнала с выхода детектора S, используемая для управления яркостного пятна на экране ЭЛТ (Гоулдстейн, 1981).
Таким образом, растровый электронный микроскоп производит прямое отображение точек пространства микрообъекта в точки пространства ЭЛТ, повторяя точную форму объекта за счет синхронности разверстки. Линейное увеличение на изображении РЭМ определяется отношением длины разверстки ЭЛТ – L к длине отрезка l в пространстве объекта: M= L/l. Так как длина разверстки L на экране ЭЛТ фиксированная величина (например, для использованного в данной работе микроскопа Philips SEM 505M длина разверстки равна 10 см), то возрастание увеличения достигается за счет уменьшения длины сторон площадки, по которой происходит сканирование на образце. Расчет области сканирования на образце в зависимости от увеличения приведен в таблице 1 при размерах ЭЛТ 10 х 10 см.
Таблица 1. Зависимость области сканирования на образце от увеличения.
Для проведения аналогии с классической связкой проектирующих лучей аэрофотокамеры, производится замена последовательного отображения одновременным отображением с помощью ряда элементарных пучков (рис.
5). Изображение, создаваемое осями пучков, подобно исходному, синхронно выдерживается постоянство скорости разверстки и одинаковое число строк на обоих растрах.
При съемке в микроскопии оптимальное положение центра проекции в пространстве предметов совпадает с центром входного зрачка S оптической системы формирующей изображение (Финковский, Мельник 1978).
Отображающий электронный пучок в растровом микроскопе, в отличие от оптического микроскопа, не расходящийся, а почти параллельный. При небольших увеличениях линии сканирования соизмеримы с проекционным расстоянием и конусность отображающей лучевой связки значительна. Если увеличение больше 1000х отклонение периферийных лучей весьма незначительное и происходит почти параллельное проектирование. С ростом увеличения центр проекции удаляется к бесконечности, и отображение осуществляется из несобственного центра S.
Рис. 5. Упрощенная схема процесса отображения в РЭМ в виде ряда элементарных пучков.
Из литературных источников известно, что формируемое РЭМизображение – перспективно-аффинное, а стереомодель формируется последовательно из множества центров проекции, соответствующих отображаемому множеству точек (Мельник и др., 1987). Этой точки зрения придерживается большинство исследователей, однако в работах (Соколов, 1996; Stampfl и др., 1996; Hemmleb, 2002) было отмечено, что при малых увеличениях (до 500 раз) РЭМ-изображение необходимо рассматривать как центральную проекцию с виртуальным центром. В то же время в работе (Калантаров, Сагандыкова, 1983) рассматривается предположение о невозможности получения параллельной проекции при очень больших увеличениях. Таким образом, среди исследователей до сих пор нет единого мнения о виде проекции и априорном математическом описании процесса формирования изображения в РЭМ.
Необходимо отметить, что при фотографировании с использованием РЭМ точка объекта, перспективный центр и соответствующая точка изображения лежат на одной линии. Это условие известно как условие коллинеарности, при котором множество точек исходного пространства объекта однозначно обратимо множеству точек изображения. Полученные соответствии, при котором одноименные лучи, пересекаясь, воссоздают существование перспективного центра отображения и фокусного расстояния камеры микроскопа. В работе (Трубиной, 2002) фокусное расстояние при = 1 = 2, где - угол наклона образца, вычисляется по следующий формуле:
где V – увеличение, D – расстояние между объектом и плоскостью изображения.
В работе (Финковского, 1977) фокусное расстояние рассчитывается по формуле:
где М – увеличение, D – расстояние до предмета.
параметрами для расчета пространственных координат.
Формулы расчета пространственных координат для РЭМ-стереопар по классической фотограмметрии (с использованием условия коллинеарности для описания геометрии РЭМ-изображений):
где Ni,j – скаляры, I,j – соответственно положительный и отрицательный наклон гониометрического устройства, Xs,Ys, Zs – координаты центра проектирования.
Не менее важным этапом в построении цифровой матрицы рельефа является этап калибровки и учета деформаций снимков, полученных с помощью РЭМ. При получении РЭМ–изображения предполагается, что точки объекта отображаются прямыми лучами, проходящими через центр проекции. Однако, это предполагаемое условие не всегда соответствует действительности. Результаты измерений, выполняемые на РЭМизображениях, могут быть искаженными, поскольку процесс захвата изображения обусловлен взаимодействием большого числа различных факторов. При этом одни искажения носят систематический характер, другие – случайный. Теория калибровки аэрофотоснимков, применяемая в классической фотограмметрии, не обеспечивает выявление и коррекцию всех возникающих искажений рассмотрены в работах (Maune,1976; Соколов, и др., 1996; Hemmleb, 1997; Wes Bethela, 2001 и др.) электронной микроскопии являются: нестрогость математической модели процесса формирования изображения; дисторсионные искажения, обусловленные несовершенным процессом сканирования, неточностями юстировки отклоняющихся катушек, оптической дисторсией фотоприставки;
ошибки угловых параметров стереосъемки (вследствие гистерезиса механических движений объектного столика); случайные ошибки, изменяющиеся от снимка к снимку и зависящие от точности измерения и отождествления одноименных точек на снимках стереопары, случайных ошибок определения параметров съемки, наличие шума, который может повлиять на всех участках прохождения видеосигнала от образца к ЭЛТ и т.п. Калибровка РЭМ производится с помощью тест-объектов с известными линейными размерами (дифракционная решетка, сетка с известной ценой деления и др.). Сравнение координат точек пересечения с координатами соответствующих точек изображения позволяет найти величины дисторсионных искажений. В работе (Финковский, Мельник, 1977) используется высокоточная тестовая сетка, изготовленная на слое алюминия, нанесенном на стеклянную основу путем испарения в вакууме.
Для того чтобы оценить искажения по высоте, необходима проверка системы с использованием объемных тест-объектов. Трехмерная реконструкция нескольких таких образцов на разных увеличениях и сравнение полученной 3-D модели с истинной высотой объекта помогает построить корректную фотограмметрическую модель растрового электронного микроскопа. Однако изготовление такого тестового объекта для калибровки РЭМ – снимков задача сама по себе очень трудоемкая. В работе (Sinram, и др., 1999) для калибровки микроскопа применяется специально изготовленная пирамида с ассиметрично распределенными по ее поверхности наномаркерами (рис. 6).
Рис. 6. РЭМ-изображение пирамиды калибровки (6м х 3м), с нанесенными 38 контрольными пунктами.
Часто для корректуры модели используются латексы небольшого диаметра. Сравнение истинных диаметров латексов D с диаметрами Dx, Dy, Dz, определенными из фотограмметрических построений в трех координатных плоскостях, выступают свободными членами в уравнениях поправок. В результате решения уравнений, уточняются элементы углового внешнего ориентирования модели, ее масштаб и коэффициенты деформации по оси Z, и вновь вычисляются пространственные координаты (Трубина, 2002).
В работах (Калантаров, Сагандыкова, 1983; Калантаров, 1986) для исправления искажений, возникающих в ходе формировании ЦМР микрообъекта, при обработке неметрических снимков использовались алгоритмы проективных преобразований.
Таким образом, проведенные исследования показали значимость и перспективность использования фотограмметрических методов в микроскопии, которые позволяют восстанавливать пространственный образ (стереомодель) микрообъекта по РЭМ-стереопаре, не искажая его реальной структуры.
ГЛАВА 2. ПРОЕКТИРОВАНИЕ ИНФОРМАЦИОННОЙ
СИСТЕМЫ ФОТОГРАММЕТРИЧЕСКОГО
МОДЕЛИРОВАНИЯ МИКРООБЪЕКТОВ ДЛЯ
БИОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ. НАБОР МЕТОДОВ
ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ДЛЯ
ФОТОГРАММЕТРИЧЕСКОЙ ОБРАБОТКИ РЭМСТЕРЕОПАРЫ.
2.1. Модель информационной системы фотограмметрического моделирования микрообъектов для биологических исследований.приготовленных проб (глава 1) показал отсутствие комплексного решения при работе с первичным биологическим материалом. Была предложена модель информационной системы фотограмметрического моделирования микрообъектов, предназначенная для получения, анализа и хранения цифровых трехмерных моделей биологических микрообъектов. Данная модель была создана с учетом всех требований, перечисленных в первой главе.
1. Модель должна обеспечивать возможность получения, хранения и анализа микрообъектов. На рисунке 7 приведена модель информационных процессов системы фотограмметрического моделирования микрообъектов. Структурно процесс работы по созданию и анализу цифровой трехмерной модели микрообъекта был разделен на два этапа. Первый этап заключался в микрообъекта: подготовка препарата; исследование препарата на РЭМ;
получение РЭМ - стереопары объекта исследования; определение входных фотограмметрическая обработка стереопары и получения 3-D модели микрообъекта. Второй этап связан с визуализацией 3-D модели и ее анализом. Для первого этапа был разработан и унифицирован ряд методов, информации БД снимков I этап информация о форме, рельефе поверхности ACSII и пространственных параметрах биологического микрообъекта Рис. 7. Модель информационных процессов системы фотограмметрического моделирования микрообъектов.
обеспечивающих адаптацию фотограмметрических методов классической аэрофотосъемки к созданию цифровой 3-D модели микрообъекта по стереопаре полученной на растровом электронном микроскопе (п. 2.2., 2. Глава 2).
микрообъектов, поскольку биологические образцы очень чувствительны к тактильной обработке. Фотограмметрические методы, положенные в основу построения модели микрообъекта, обеспечивают неразрушающую реконструкцию биологического образца. В данной работе для сохранения тканевой структуры микрообъекта максимально соответствующей исходному состоянию, промежуток времени, затрачиваемый на получение цифровой трехмерной модели, был минимальным. Образцы биологического материала фиксировались с помощью стандартных методик (п. 2.2.1 Глава 2).
3. Информационная система должна быть ориентирована на пользователя, не имеющего навыков работы в области информационных технологий. Как фотограмметрические системы позволяют моделировать практически все процессы, выполняемые в классической фотограмметрии. Это значительно расширило сферы их применения во многих областях: археологии, строительстве, биологии, медицине, и дало возможность пространственно (Кадничанский, Хмелевский, 1999). Системы стали обладать понятным и специального образования.
На этапе проектирования информационной системы был проведен анализ наиболее известных ЦФС и принято решение использовать систему ZSpace 1.2, в которой реализованы основные стадии получения цифровой матрицы рельефа земной поверхности, и данная система оказалась наиболее приемлемой по соотношению цена–качество. Поскольку параметры 3-D модели, формируемой по РЭМ-стереопаре, существенно отличаются от реализованных в Z-Space 1.2, потребовались решить ряд методических и теоретических задач обеспечивающих адаптацию фотограмметрических методов классической аэрофотосъемки к созданию цифровой 3-D модели микрообъекта по стереопаре, полученной на РЭМ.
4. Информация о трехмерной модели микрообъекта должна храниться в удобном формате данных, поддерживаемом большинством программных систем обработки и моделирования 3-D объектов. В данной работе информация о 3-D модели исследуемого микрообъекта хранится в виде стандартного текстового файла (п. 3.3. Глава 3).
5. Коллекции цифровых 3-D моделей микрообъектов должны храниться в базе данных исследователя, с возможностью их восстановления, визуализации и анализа; при необходимости должна осуществляться оперативная передача информации об объекте или его трехмерной форме другим пользователям. Хранение информационных ресурсов осуществляется с помощью базы данных РЭМ-снимков микрообъектов, базы данных проектов фотограмметрического восстановления 3-D цифровых матриц микрообъектов и базы данных исследователя, ведущего работу с биологическим материалом (п. 2.3. Глава 2, п. 3.3. Глава 3, Глава 4).
Базовым условием для построения цифровой модели микрорельефа стало определение корректных входных данных – стереопары высокого разрешения, получить которую возможно только с помощью РЭМ. Это сохраняющим тождественность масштаба и уровня контрастности на предварительной обработки сигнала.
2.2. Технология получения стереопары на растровом электронном микроскопе (с увеличением до 500х).
2.2.1. Подготовка образцов исследования Как уже было отмечено, важным условием корректного проведения количественного анализа микрообъекта является правильная подготовка образца исследования, не допускающая искажения его реальной микроструктуры.
Размеры образцов исследования определялись габаритами камеры микроскопа. Для обеспечения хорошего электрического контакта с предметным столиком и для фиксации образцов при наклоне столика, были использованы специальные токопроводящие клеи. При исследовании непроводящих ток материалов на их поверхности наносилась напылением тонкая пленка электропроводников (золото). При работе с органическими материалами, образцы были тщательно очищены, во избежание образования газообразных продуктов, затрудняющих получение требуемого вакуума и загрязняющих колонну микроскопа. Для очищения поверхности чешуи рыбы от кожного эпителия образец отмывался в 5% растворе нашатырного спирта, затем в водопроводной воде. На столик для РЭМ дополнительно приклеивалось стекло, сверху которого на специальный токопроводящий клей крепилась чешуйка.
Для образцов коловраток произведена гистологическая обработка по стандартной методике (Миронов, 1994; Сапожникова и др., 2007). Материал фиксировали в 2,5%-ном растворе глютаральдегида на 0,1 М фосфатном буфере (pH 7,4) 3 часа, затем промывали тем же буфером с добавлением глюкозы и 1%-ного раствора четырехокиси осмия на фосфатном буфере. На тефлоновые фильтры с отобранным атмосферным аэрозолем специальным напылением наносилась тонкая пленка золота.
2.2.2. Условия получения информативной РЭМ-стереопары.
Электронный микроскоп Philips SEM 505M, на котором производилось сканирование микрообъектов, позволяет исследовать до девяти предметных столиков с образцами, расположенными как показано на рис. 8. В результате экспериментальных исследований предложено использовать центральный гониометрического устройства.
электронном микроскопе Philips SEM 505М (Восемь столиков расположены по кругу, девятый – центральный).
Для получения наиболее информативной стереопары при работе на РЭМ было обеспечено выполнение следующих условий:
а) тождественность увеличения на обоих изображениях;
изображений;
в) сохранение рабочего расстояния микроскопа неизменным при съемке левого и правого стереоснимков.
В отличие от снимков, полученных с помощью аэрофотосъемки местности (Приложение 1), методика получения стереопар в РЭМ заключается в съемке микрообъекта, наклоненного под разными углами по отношению к электронному зонду. Изменение угла осуществляется механическим наклоном образца с помощью гониометрического устройства микроскопа. Полученные данным образом РЭМ - изображения имеют Рис. 9. Схема расположения детекторов вторичных электронов в растровом электронном микроскопе Philips SEM 505М.
отличия, вызванные как различной освещенностью участков образца, так и некоторыми смещениями за счет наклона образца при съемке.
Два детектора вторичных электронов микроскопа расположены один напротив другого в вертикальной плоскости, под углом 27° и 20° градусов возможность смещения съемочной системы относительно поверхности образца (рис. 9). Следовательно, технология получения стереопар включает в себя изменение угла наклона предметного столика или поворот его вокруг своей оси. С некоторыми допущениями такой вид съемки можно назвать «псевдоконвергентным»1.
При исследовании образцов в РЭМ было использовано три подхода получения стереопар. Первый подход, предложенный О.В. Глуховым (устное сообщение), включал конвергентный случай съемки с равными углами. На формирующего изображение детектора вторичных электронов, равен 15°Исследуемый образец находится в центральной позиции (предметный В конвергентном случае съемки проекции направлений оптической оси камеры на горизонтальную поверхность пересекаются ( 0).
столик № 9), что обеспечивает его возвращение в исходное положение относительно детектора, во время разворота для получения левого снимка.
Рис. 10. Схема получения правого снимка стереопары (первый подход).
После разворота на 180° в плоскости предметных столиков (при фиксированном угле наклона, равном углу наклона правого снимка), вновь фотографировали образец и получали левый снимок стереопары (рис. 11).
Рис. 11. Схема получения левого снимка стереопары (первый подход).
Второй подход является реализацией классической съемки стереопары в РЭМ (Boyde, 1973;Соколов, и др. 1995) и предполагает создание правого и левого снимков, наклоненных под некоторым углом к электронному зонду.
Третий подход включает получение правого изображения без наклона предметного столика, левый снимок стереопары получается при наклоне предметного столика на угол.
В проведенном исследовании предпочтение отдано второму подходу получения стереопар, поскольку при конвергентном случае съемки выявлено, что рассчитанные ЦФС, элементы взаимного ориентирования не адекватны параметрам стереосъемки. Так, например, при съемке с углами наклона предметного столика равными прав = 17° и лев = - 17°, разница продольных углов наклона снимков, рассчитанная ЦФС на этапе взаимного ориентирования, составила всего 20°. В этом случае определено существенное занижение высот цифровой матрицы рельефа микрообъекта. Помимо этого, при первом подходе формирования стереопары возникают сложности определения центра фотографирования микрообъекта, относительно которого производился поворот. Длина