«К.К. Васильев МЕТОДЫ ОБРАБОТКИ СИГНАЛОВ Учебное пособие Рекомендовано Учебно-методическим объединением по образованию в области, электроники, микроэлектроники и радиотехники в качестве учебного пособия для студентов, ...»

1

Министерство образования Российской Федерации

Ульяновский государственный технический университет

К.К. Васильев

МЕТОДЫ

ОБРАБОТКИ

СИГНАЛОВ

Учебное пособие

Рекомендовано Учебно-методическим объединением по образованию в области, электроники, микроэлектроники и радиотехники в качестве учебного пособия для студентов, обучающихся по специальности 200700 «Радиотехника» и направлению 550400 «Телекоммуникации»

Ульяновск 2001 2 УДК 621.37/39(075) ББК 32 я 7 В19 Рецензенты: Ульяновский филиал военного университета связи;

д-р техн. наук, профессор Кумунжиев К.В.

Утверждено редакционноиздательским советом Ульяновского государственного технического университета в качестве учебного пособия Васильев К.К.

В19 Методы обработки сигналов: Учебное пособие. – Ульяновск, 2001. – 80 с.

ISBN 5-89146-200- Рассматривается синтез и анализ байесовских алгоритмов обнаружения сигналов и оценивания их постоянных или изменяющихся параметров. Особое внимание уделено проблемам представления и рекуррентного оценивания гауссовских марковских последовательностей, наблюдаемых на фоне помех. Приводятся примеры применения результатов для решения задач обработки сигналов в радиотехнических системах.

Учебное пособие предназначено для студентов старших курсов радиотехнических специальностей, а также может быть полезно аспирантам, соискателям и слушателям ФПК.

УДК 621.37/39(075) ББК 32 я Васильев К.К., Оформление. УлГТУ, ISBN 5-89146-200-

ПРЕДИСЛОВИЕ

Учебное пособие посвящено статистическим методам обнаружения сигналов и оценивания их параметров. В основу излагаемых методов синтеза оптимальных алгоритмов обработки экспериментальных данных положен байесовский критерий качества. Особое внимание уделено задачам представления и линейной фильтрации случайных процессов с дискретным временем (случайных последовательностей), наблюдаемых на фоне помех. Это объясняется двумя главными причинами. Во-первых, обработка информации в современных радиотехнических системах осуществляется, как правило, с помощью ЭВМ, функционирующих в дискретном времени. Во-вторых, проблемы представления случайных последовательностей и статистический синтез оптимальных систем с дискретным временем недостаточно освещены в учебной литературе.

При отборе материала предпочтение отдавалось наиболее простым для понимания вариантам выводов. Приведенные промежуточные результаты дают возможность, как правило, без значительных усилий полностью восстановить решение задачи. Эти обстоятельства и весьма ограниченный объём пособия не позволили представить методы адаптации и нелинейной фильтрации, синтез инвариантных, несмещённых и асимптотически оптимальных тестов, а также целый ряд других актуальных проблем. Кроме того, изложение некоторых вопросов, например, калмановской фильтрации, может показаться специалистам излишне упрощённым.

Тем не менее, чтение курса «Методы обработки сигналов» придаёт автору уверенность, что пособие будет полезно студентам и аспирантам при изучении статистических методов и их приложений к задачам проектирования и оптимизации радиотехнических систем. Материал, приведённый здесь, может быть использован также преподавателями вузов при подготовке и проведении занятий по соответствующим дисциплинам.

1. ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ

При построении и анализе алгоритмов обработки сигналов широко используется аппарат теории вероятностей и теории случайных процессов.

В этой главе кратко приводятся некоторые математические результаты, которые необходимы при изучении статистических методов. Знакомство подготовленного читателя с этими результатами может быть полезно как перечень основных обозначений, используемых в следующих главах пособия. Если же чтение вызывает трудности, то необходимо обратиться к литературе [1-6].

Напомним, что вероятность P ( A1 A2 ! An ) произведения n случайных событий A1, A2,..., An равна произведению условных вероятностей этих событий:

P (A1 A2... An ) = P (A1 )P (A2 A1 )P (A3 A1 A2 )...P (An A1 A2... An 1 ). (1.1) Для n независимых событий условные вероятности P (Ai A1 A2... Ai 1 ) появления события Ai равны безусловным P (Ai ), i = 2, 3,..., n. Поэтому вероятность произведения n независимых событий определяется по формуле P Ai = P (Ai ).

Сумма A + B двух совместных событий может быть представлена как сумма AB + AB + AB трех несовместных. С учетом очевидных соотношений и B = AB + AB можно найти формулу для вероятности суммы двух совместных событий в виде Однако уже для суммы трех совместных событий A, B и C подобная формула будет содержать семь слагаемых. Поэтому для вычисления вероятности P (C ) суммы, C = Ai большого числа слагаемых обычно переходят к противоположному событию C = Ai :

но независимы. Тогда Приведенное выражение (1.4) часто встречается в расчетах надежности системы параллельно соединенных устройств. Действительно, система с параллельным соединением элементов работает безотказно, когда работает хотя бы один из ее элементов (устройств). При независимом функционировании каждого из элементов A1, A2,..., An с вероятностями безотказной работы P (A1 ), P (A2 ),..., P (An ) соответственно по формуле (1.4) находим вероятность безотказной работы всей системы.

Предположим теперь, что событие A может произойти одновременно с одним из несовместных событий (гипотез) H 1, H 2,..., H n, образующих эксперимента, результатом которого может быть случайное событие A.

Например, две гипотезы H 1 и H 2 можно связать с передачей сообщений «0» или «1» по каналу связи с помехами, а случайное событие A с превышением выходным напряжением приемника порогового уровня.

В подобных схемах заданы вероятности гипотез P (H i ) и условные вероятности появления события предположения H i, i = 1, 2,..., n. Безусловную вероятность события P (A) можно найти с помощью формулы полной вероятности:

Если стало известно, что в результате испытания событие A произошло, то условная вероятность гипотезы H i (апостериорная вероятность гипотезы H i ) определяется по формуле Бaйeca:

Возможность переоценки вероятностей гипотез после проведения эксперимента может быть показана на примере приема двоичных сигналов. Допустим, что вероятности передачи сигналов «0» и «1»

одинаковы: P ( H1 ) = P ( H 2 ) = 0.5, а вероятности превышения порогового уровня при передаче сигналов «0» и «1» значительно отличаются, скажем, P ( A H1 ) = 0.1, P ( A H 2 ) = 0.8. В результате наблюдения установлено превышение порогового уровня (т.е. произошло событие A ). Очевидно, предпочтение после получения такой информации следует отдать гипотезе H 2 (передача сигнала «1»). Количественно охарактеризовать это "предпочтение" позволяет формула Байеса. Действительно, расчет по P (H 2 A) = 0.89, P (H 1 A) = 0.11.

Большую роль при анализе цифровых систем обработки сигналов играет следующая схема. Пусть n раз при постоянных условиях повторяется один и тот же опыт, с которым связано случайное событие A, имеющее вероятность p. При этом предполагается, что исход каждого опыта не зависит от результатов других опытов. Тогда вероятность Pn (k ) того, что в этой последовательности n опытов событие A появится ровно k раз (безразлично в каком порядке) находится по формуле Бернулли:

где q = 1 p, C n = n! k! (n k )!. Правая часть формулы имеет вид общего члена разложения бинома Ньютона: ( p + q ) = C nk p k q n k. Поэтому совокупность чисел распределением вероятностей.

Так как числа Pn ( k ), k = 0,1,...,n, являются вероятностями попарно несовместных событий, то вероятность Pn (m1 k m 2 ) того, что число появления события A в n опытах будет заключено в пределах от m до m2, определяется с помощью суммирования:

На практике часто встречаются задачи, когда число испытаний n велико и вычисления по формуле Бернулли затруднены. Для этих случаев применяются приближенные методы расчета. При малых p и ограниченных значениях = np используется формула Пуассона:

По этой формуле для любых с помощью таблиц распределения Пуассона [2, 29] или на ЭВМ.

Если p фиксировано, а n и k стремятся к бесконечности при ограниченном отношении (k np ) npq, то может быть использована асимптотическая формула Лапласа:

Когда p не слишком близко к нулю или единице, формула (1.10) может быть достаточно точна уже при n порядка нескольких десятков. Сумма вероятностей (1.8) при этом хорошо аппроксимируется следующим выражением:

где 0 (x ) = e dt – функция Лапласа [1-4].

Следует подчеркнуть, что применение приближенных асимптотических соотношений всегда должно сопровождаться контролем величины погрешности. Для этого могут использоваться точные формулы, специальные аналитические методы [2-4] или результаты экспериментов.

Будем рассматривать множество всех случайных исходов, возможных при данном испытании. Предположим, что каждому исходу этого испытания соответствует число X. Тогда множество исходов отображается в некоторое числовое множество. Такое отображение, т.е.

эксперимента, называется случайной величиной (СВ). Примерами СВ могут быть число единиц в последовательности n двоичных символов, значение напряжения на выходе приемника в фиксированный момент времени и т.д.

Если число n возможных исходов x1, x 2,..., x n конечно или cчетно, то CB X называется дискретной. Дискретная СВ может быть описана с помощью задания всех вероятностей p i, i = 1, 2,..., n, с которыми СВ принимает значения x1, x 2,..., x n, т.е. p i = P (X = x i ), i = 1, 2,..., n. Сумма этих вероятностей равна единице. Вместо набора {pi }i =1 вероятностей свойства СВ могут быть заданы с помощью функции распределения Кроме того, F (x ) является неубывающей функцией. Для дискретных СВ эта функция имеет ступенчатый вид, причем каждая «ступенька»

величиной p i расположена в точке с абсциссой x i.

Другим важным классом является СВ, для которых функция распределения F (x ) непрерывна. Если F (x ) дифференцируема, то ее производная называется плотностью распределения вероятностей (ПРВ) непрерывной случайной величины. Поскольку можно рассматривать как предел отношения вероятности попадания случайной величины на отрезок (x; x + x ) к длине x этого отрезка при x 0. Очевидно, P (a X b ) = w(x )dx, т.е. вероятность попадания СВ на отрезок [a, b] численно равно площади под графиком ПРВ. В отличие от дискретных непрерывные СB принимают несчетное множество значений. Вероятность того, что непрерывная СВ примет любое конкретное значение, например a, равна нулю.

Важнейшими числовыми характеристиками СВ являются математическое ожидание дисперсия и среднее квадратическое отклонение x = Dx. Обобщением числовых характеристик являются начальные моменты распределения СВ и центральные моменты называются коэффициентами асимметрии и эксцесса. Ряд часто встречающихся в статистической радиотехнике распределений и соответствующих числовых характеристик СВ приведены в табл. 1.1.

В тех случаях, когда с каждым исходом эксперимента связана пара чисел X 1 ( ) и X 2 ( ), соответствующее отображение (X 1 ( ), X 2 ( )) называется двумерной СB или системой двух СВ и обозначается (X 1, X 2 ).

Например, если случайный сигнал X (t ) на выходе радиоприемного устройства наблюдается в два момента времени t1 и t 2, то упорядоченная пара возможных значений сигнала X 1 = X (t1 ) и X 2 = X (t 2 ) представляет собой двумерную CB (X 1, X 2 ).

Двумерную СB (X 1, X 2 ) можно рассматривать как случайную точку или как случайный вектор на координатной плоскости. При этом каждому конкретному исходу опыта (x1, x 2 ) ставится в соответствие точка плоскости с координатами x1 и x 2.

распределения Вейбулла Функция распределения двумерной СB (X 1, X 2 ) определяется как вероятность совместного выполнения двух неравенств т.е. как вероятность попадания (X 1, X 2 ) в квадрант плоскости с вершиной в точке (x1, x 2 ). Отметим свойства функции распределения системы двух F ( x1, x2 + x2 ) + F ( x1, x2 ). Последнее свойство позволяет найти вероятность попадания системы двух СВ в прямоугольник с вершинами в точках ( x1,x2 ), ( x1 + x1,x2 ), ( x1 + x1,x2 + x2 ), ( x1,x2 + x2 ). Вместе с тем определение вероятности попадания системы СВ в произвольную плоскую область G на основе каких-либо алгебраических операций над функцией распределения невозможно. Подобные задачи решаются с помощью плотности распределения вероятностей (ПРВ) системы двух непрерывных СВ:

Теперь вероятность попадания системы CB в произвольную плоскую область G может быть найдена по формуле Геометрически эта вероятность определяется объемом вертикального цилиндра, построенного на области G как на основании и ограниченного сверху поверхностью w = w(x1, x 2 ).

Введенная ПРВ обладает следующими основными свойствами:

распределенный равномерно внутри эллипса с ПРВ:

Таким образом что ПРВ компонентов не являются равномерными, несмотря на равномерное распределение системы СВ. Вместе с тем, если рассмотреть равномерное распределение системы не на эллипсе, а на прямоугольнике, то компоненты оказались бы распределены равномерно. Причины этих свойств СВ оказываются довольно глубокими и связаны с зависимостью или независимостью СВ.

Для того, чтобы охарактеризовать зависимость между составляющими двумерной СВ вводится понятие условного распределения. Рассмотрим два события A : X 1 < x1 и B : x 2 < X 2 < x 2 + x. Запишем выражение для условной вероятности P (A B ) = P (AB ) P (B ) в виде Условная вероятность (1.21) может рассматриваться как функция распределения СВ X 1, построенная при условии, что СВ X 2 принимает значения на интервале (x 2, x 2 + x ). Переходя в (1.21) к пределу при x 0, введем условную функцию распределения Эту функцию удается выразить через ПРВ системы СВ, если подставить (1.21) в (1.22) и вычислить с помощью (1.20):

Условная ПРВ определяется как частная производная от условной функции распределения:

Заметим, что отсюда следует соотношение которое можно назвать формулой Байеса для непрерывных СВ.

Если условный закон распределения F (x1 x 2 ) не зависит от того, какое значение принимает СВ X 2, т.е. при F (x1 x 2 ) = F (x1 ) СВ X 1 и X называют независимыми. Можно показать, что для того, чтобы СB X и X 2 были независимы, необходимо и достаточно, чтобы функция распределения (или ПРВ) системы (X 1, X 2 ) была равна произведению функций распределения (или ПРВ) составляющих:

Для системы двух случайных величин (X 1, X 2 ), помимо числовых характеристик каждой из составляющих, вводится числовая характеристика их взаимозависимости – смешанный второй центральный момент, или ковариация:

и B x1 x 2 = 0. В другом крайнем случае, когда X 2 = aX 1 + b, ковариация M {X 1 X 2 } M {X 1 } {X 2 }, можно показать, что Поскольку ковариация имеет размерность, равную произведению размерностей СВ X 1 и X 2, то для характеристики зависимости между СВ удобно использовать безразмерный коэффициент корреляции:

Нетрудно убедиться, что для независимых СВ R x1 x 2 = 0 ; если же Две СВ, для которых R x1 x 2 = 0, называются некоррелированными.

Следует отметить, что понятие некоррелированности шире понятия независимости, т.е. существуют некоррелированные, но зависимые зависимы, но некоррелированны.

Однако существует важнейший класс систем нормальных СВ, для которых понятия независимости и некоррелированности эквивалентны.

Двумерная ПРВ нормальных CВ X 1 и X 2 записывается в виде Заметим, что параметры ПРВ (1.28) имеют следующий смысл:

m1 = mx1, m2 = mx 2, 1 = x1, 2 = x 2, r = Rx1 x 2. Для некоррелированных нормальных СВ некоррелированные нормальные СВ независимы.

Можно компактно записать формулу (1.28), если ввести следующие обозначения:

При этом матрица V x составлена из вторых центральных моментов системы (X 1 X 2 ) = X и называется ковариационной матрицей случайного вектора X. С учетом введенных обозначений где V – обратная матрица; n = 2.

Все приведенные результаты могут быть перенесены на n –мерные СВ.

Если каждому возможному исходу испытания поставить в соответствие совокупность n чисел, то в результате получаем систему (X 1, X 2,..., X n ) распределения системы СВ и плотность распределения вероятностей вводятся как прямое обобщение определений этих функций для системы двух СВ. Так же, как и для системы двух СВ, могут быть установлены следующие свойства:

где x1 = (x1 x 2... x m ) ; x 2 = (x m +1 x m + 2... x n ). Для системы независимых СВ:

объединяются в вектор математического ожидания m = M X = (m1 m 2...m n ) и ковариационную матрицу C учетом этих обозначений система нормальных СB может быть задана некоррелированных нормальных СВ является одновременно и системой независимых СВ. Для таких СВ ковариации B xixj = 0 при всех i j, и поэтому матрица V x является диагональной.

Задачи анализа эффективности методов обработки сигналов часто приводят к необходимости нахождения законов распределения или числовых характеристик функций от случайных величин (СВ).

Характерными примерами таких функций могут служить логарифм Y = ln X случайной величины X, сумма Y двух СВ X 1, X 2, произведение или частное этих величин.

В общем случае задача нахождения законов распределения функций Y = (Y1 Y 2... Y n ) от случайных аргументов X = (X 1 X 2... X n ) может быть сформулирована следующим образом. По известной ПРВ w x x системы СB X и виду функционального преобразования y = f x найти ПРВ w y y системы CB Y.

Поставленная задача решается относительно просто, если преобразование y = f x взаимно однозначно и дифференцируемо. В этом случае одной точке x соответствует одна точка y = f x и наоборот: x = y. Кроме того, существует якобиан преобразования задание n скалярных функций от n аргументов каждая:

При этом якобиан преобразования вычисляется как определитель матрицы производных:

Предположим теперь, что в пространстве CB X задана некоторая n – мерная область G x. Ее отображение в пространстве CB Y обозначим через G y. Очевидно, два события X G x и Y G y эквивалентны, поскольку все точки G y являются взаимно однозначным отображением точек области G x. Тогда равны и вероятности этих событий, то есть P X G x = P Y G y. Но это означает равенство Устремим к нулю объем mes G x области G x и на основании теоремы о среднем значении интеграла [26] получим:

Поскольку предел отношения объемов областей G x и G y равен модулю якобиана преобразования I, то:

В качестве первого примера найдем ПРВ случайной величины Y, каждое значение которой получено экспоненциальным преобразованием w x (x ) = 1 2 exp (x a ) 2 2. Поскольку однозначна функция x = (1 )ln y, обратная по отношению к y = exp(x ), то можно воспользоваться формулой (1.36), записанной в виде После дифференцирования dx / dy = 1/ y, > 0, y > 0 и подстановки ПPB wx ( x = ( ln y ) / ) получим следующий результат:

Таким образом, экспоненциальное преобразование нормальной СB приводит к логарифмически-нормальному распределению.

Многие задачи анализа алгоритмов обработки сигналов связаны с нахождением ПРВ скалярной функции Y = f (X 1, X 2,..., X n ) нескольких случайных аргументов, например, Y = X i или Y = X i. Для решения подобных задач на основе формулы (1.36) необходимо обеспечить взаимную однозначность преобразования X Y. С этой целью вначале выбирается вспомогательная система СВ, например, Y = (Y X 2 X 3... X n ) T, удовлетворяющая требованию однозначности обратного преобразования X = (Y ). Затем по формуле (1.36) вычисляется ПРВ w y ( y, x 2, x 3,..., x n ) этой системы. Окончательный результат находится с помощью интегрирования основную теорему о математическом ожидании [3,11] скалярной функции Y = f (X 1, X 2,..., X n ) произвольного числа СВ:

Отсюда следует, в частности, что M X i = M {X i }.

Во многих случаях требуется найти законы распределения произведения Y = X 1 X 2, частного Y = X 1 X 2 или суммы Y = X 1 + X независимых СВ. Для решения этих задач необходимо перейти от системы СВ (X 1, X 2 ) к системе (Y, X 1 ) или (Y, X 2 ) и выполнить интегрирование по формуле (1.37). Например, ПРВ произведения Y = X 1 X 2 СВ запишется в виде или Действительно, переход от системы СВ (X 1, X 2 ) к системе СВ (Y, X 1 ) и x1 = x1, x 2 = y x1. Якобиан преобразования Несмотря на внешнюю простоту приведенных формул, их практическое применение требует определенного внимания и аккуратности при вычислениях. Найдем, например, ПРВ произведения двух независимых СВ, равномерно распределенных на отрезках [ 0,5; 0,5], т.е. wx ( x1 ) = 1, x1 [0,5; 0,5], wx ( x2 ) = 1, x2 [0,5; 0,5]. Для этого перейдем к системе СВ Y = X 1 X 2, X 1 = X 1. Совместная ПРВ этой системы запишется в виде в которой w y ( x1, y ) 0, является отображением y = x1 x2, x1 = x1, квадрата 0,5 x1 0,5, 0,5 x2 0,5.

Для нахождения ПРВ произведения Y = X 1 X 2 теперь уже нетрудно проинтегрировать w y ( x1, y ) по переменной x1. Если y (0; 0,25) Если же y [0; 0,25], то w y ( y ) = 2 ln ( 4 y ). Таким образом, ПРВ произведения двух независимых СВ с равномерными распределениями запишется в виде w y ( y ) = 2 ln 4 y, y < 0,25.

При нахождении закона распределения суммы Y = X 1 + X 2 СВ можно вначале перейти к системе (Y, X 2 ). Обратное преобразование x1 = y x 2, x 2 = x 2 однозначно, причем якобиан этого преобразования Pиc.1.1. Области значений переменных с отличными от нуля ПРВ w(x1, x 2 ) и w(x1, y ) по формуле w y ( y ) = w y ( y, x 2 )dx 2. Если слагаемые X 1 и X 2 независимы, то ПРВ их суммы представляет собой свертку ПРВ w x ( x1 ) и w x ( x 2 ) слагаемых:

Анализ этого выражения наводит на мысль, что для вычисления интеграла свертки было бы удобно использовать преобразование Фурье.

Тогда преобразование Фурье ПРВ суммы случайных величин может быть найдено как произведение преобразований Фурье ПРВ слагаемых.

Преобразование Фурье ПРВ w x (x ) называется характеристической функцией случайной величины X :

где i = 1. Обратное преобразование запишется в виде Следующие два свойства обусловливают широкое применение характеристических функций для вероятностных расчетов. Во-первых, характеристическая функция суммы независимых СВ равна произведению характеристических функций слагаемых. Во-вторых, как следует из дифференцирования (1.39) по переменной в точке = 0, начальные моменты СВ связаны с характеристической функцией следующим соотношением [3]:

Найдем с помощью характеристических функций закон распределения суммы n независимых нормальных СВ с M {X i } = mi, D Xi = i2, i = 1,2,..., n.

Вначале по формуле (1.39) определим характеристическую функцию w(x i ) = обратного преобразования Фypьe. Но сравнивая g y ( ) с g xi ( ), убеждаемся, что g y ( ) – характеристическая функция нормальной СВ с математическим ожиданием m y = mi и дисперсией D y = i. Таким образом, сумма нормальных СВ также является нормальной СВ. Заметим, что установленное свойство выделяет нормальные СВ среди остальных.

Более того, используя рассмотренный аппарат характеристических функций, можно доказать, что сумма негауссовских, одинаково распределенных независимых СВ сходится по мере роста числа слагаемых к нормальной СВ. Этот результат существенным образом развивается в известных доказательствах центральной предельной теopемы теории веpоятностей [2, 3], устанавливающей сходимость сумм СВ к нормальной СB.

Во многих радиотехнических приложениях случайные величины (X 1, X 2,..., X n ) связаны со значениями непрерывного процесса X (t ) в моменты времени t1, t 2,..., t n, то есть X 1 = X (t1 ), X 2 = X (t 2 ),..., X n = X (t n ).

В этом случае упорядоченная система непрерывных СВ X 1, X 2,..., X n (рис. 1.2) называется случайной последовательностью (CП).

Простейшее вероятностное описание СП соответствует независимым СВ X 1, X 2,..., X n, тогда совместная ПРВ w (x1, x 2,..., x n ) = w(x i ). Однако последовательность независимых СB представляет собой математическую модель довольно узкого класса реальных процессов. Действительно, с помощью СП с независимыми значениями невозможно дать описание «гладких», коррелированных помех или медленно изменяющихся параметров полезных сигналов, например, координат радиолокационных целей. Поэтому во многих задачах необходимо использовать модели СП с зависимыми значениями. В общем случае совместная ПРВ таких СП определяется по формуле Математические трудности применения этой формулы для вероятностных расчетов быстро нарастают с увеличением n. В связи с этим необходимо из всех возможных СП с зависимыми значениями выделить класс СП, имеющих относительно простое математическое описание. Очевидно, наиболее простые соотношения для ПРВ получатся, если положить Это равенство означает, что условная ПРВ и, следовательно, любые другие вероятностные характеристики СП для момента времени ti являются функциями только значения x i 1, принятого СП в предшествующий момент времени. Случайные последовательности, удовлетворяющие (1.41), называются марковскими по имени русского математика А.А.Маркова, разработавшего основы теории таких СП. Марковская последовательность называется однородной, если условные ПРВ w(x i x i 1 ), называемые ПРВ перехода, не зависят от i. Марковская последовательность называется стационарной, если она однородна и все состояния x i имеют одну и ту же безусловную ПРВ w(x ).

Примером марковской СП может быть процесс, полученный с помощью линейного преобразования последовательности 1, 2,..., i,...

независимых гауссовских СВ { i } по следующему правилу:

содержит часть предыдущего x i 1 и добавку в виде независимой СВ i.

При выборе начального значения x1, обеспечивающего стационарность и постоянство дисперсии M {x i2 }= x2, параметр равен коэффициенту корреляции между любыми двумя соседними значениями СП.

Действительно, умножая левую и правую часть (1.42) на xi 1 и находя Повторяя аналогичные операции после подстановки в уравнение (1.42) формулу для корреляционной функции СП Таким образом, СП (1.41) имеет экспоненциальную корреляционную функцию. В то же время СП (1.42) является марковской, поскольку любые вероятностные характеристики значения x i полностью определяются только предшествующим значением СП x i 1. При заданном x i 1 формула (1.42) позволяет найти все характеристики x i без учета предыстории, т.е.

значений x1, x2,..., xi 2 СП. Так, условная ПРВ может быть получена из ПРВ w( i ) = 1 2 exp ( i2 2 2 ) с учетом связи i = x i x i 1 и правил нахождения ПРВ функций СВ (п. 1.4).

Заметим, что легко записать выражение и для совместного распределения произвольного числа n членов рассмотренной марковской СП:

Поскольку вид всех ПРВ перехода (1.43) не зависит от номера члена СП, то уравнение (1.42) представляет однородную марковскую СП.

Для стационарности необходимо выбрать СВ x1 таким образом, чтобы все безусловные ПРВ w (x i ), i = 1, 2,..., n были одинаковыми. Проведенный анализ (1.42) показывает, что в стационарном случае все члены {x i } x = (1 ). Кроме того, CП {x i } гауссовская, так как получена в результате линейного преобразования (1.42) гауссовских СВ { i }. Таким образом, ПРВ всех значений стационарной последовательности (1.42) w (x i ) = 1 2 x exp ( x i 2 x ), i = 1, 2,...., n. При этом начальное значение x1 формируется как нормальная СВ с нулевым средним и дисперсией x, а последующие члены последовательности образуются в соответствии с рекуррентным соотношением (1.42).

Уравнение (1.42), которое часто называется уравнением авторегрессии или стохастическим разностным уравнением, представляет весьма узкий класс гауссовских марковских СП с экспоненциальной корреляционной функцией. Вместе с тем имеются различные возможности для существенного расширения этого класса [6-8]. Одной из них является описание СП с помощью авторегрессионных уравнений более высокого порядка:

где m порядок авторегрессии. С помощью подбора коэффициентов с разнообразными корреляционными свойствами [6]. Действительно, умножая (1.44) на xi k и находя математические ожидания, получим после деления на x2 = M {x i2 } i = 1, 2,..., n, следующее соотношение для значений корреляционной функции (КФ):

Общее решение этого разностного уравнения в стационарном случае представляется суммой экспонент [23]:

где = ln ;, = 1, 2,..., m, корни характеристического уравнения 1 1 2 2... m m = 0. Требование стационарности СП, = 1, 2,..., n, характеристического уравнения лежат вне единичного круга на комплексной плоскости.

Подставляя в (1.46) значения k = 1, 2,..., m получим известную систему уравнений Юла-Уокера [6-8]:

Решение этой системы позволяет найти коэффициенты 1, 2,..., m уравнения авторегрессии (1.45) по заданным или оцененным на основе эксперимента значениям R x (1), R x (2 ),..., R x (m ) корреляционной функции СП.

В качестве примера рассмотрим процесс авторегрессии второго порядка: x i = 1 x i 1 + 2 x i 2 + i, i = 2, 3,..., n. Для стационарности процесса 1 1 2 2 = 0 лежали вне единичного круга, т.е. чтобы параметры 1 и 2 находились в треугольной области, показанной на рис. 1.3 [6].

Значения КФ стационарной СП связаны между собой рекуррентным следует, что уравнения; A1 = ( 22 1) 1 ( 2 1 )(1 + 1 2 ); A2 = 1 A1. Дисперсия СП находится по формуле: x2 = 2 (1 1 R x (1) 2 R x (2 )). Система двух уравнений Юла-Уокера позволяет определить коэффициенты 1 и 2 уравнения авторегрессии по заданным или измеренным значениям R x (1) и R x (2 ) КФ.

-1, Рис. 1.3. Область значений коэффициентов 1 и 2 стационарной СП Вид КФ определяется областью треугольника допустимых значений коэффициентов 1 и 2, (рис. 1.3). Если 12 + 4 2 0, корни характеристического уравнения действительны и КФ представляет сумму двух затухающих экспонент. При 1 > 0, 2 > 0 (область I на рис. 1.3) корни имеют разные знаки: 1 > 0, 2 < 0. Отрицательному корню соответствует осциллирующее слагаемое A2 2 k = A2 ( 1) в области I коэффициент A1 > A2 и КФ R x (k ) не изменяет знака. Во второй области, показанной на рис. 1.3, оба корня положительны и КФ монотонно убывает. На одной границе области II ( 2 = 0) авторегрессия имеет первый порядок и R x (k ) = 1k.

На другой границе 12 + 4 2 = 0 характеристическое уравнение имеет кратный корень 1 = 2 = 2 1. В этом случае выражение для КФ A = (1 12 4 ) (1 + 12 4 ). В третьей области рис. 1.3 корни характеристического уравнения комплексные и КФ определяется по При этом графики КФ имеют вид синусоиды с экспоненциальным уменьшением амплитуды.

Для иллюстрации рассмотренных ситуаций на рис. 1.4 и рис.1. представлены зависимости КФ R x (k ) при различных значениях параметров 1 и 2 авторегрессионного уравнения. При построении зависимостей КФ на рис.1.4 коэффициенты ( 1, 2 ) подбирались из различных областей треугольнике допустимых значений (рис.1.3), но с учетом дополнительного условия R x (1) = M {x i x i 1 } = 0,9. Для всех КФ, представленных на рис.1.5, таким дополнительным условием является один и тот же интервал корреляции k 0 = 7 на уровне 0,5, т.е.

Как следует из (1.45) и рассмотренного примера, последовательности авторегрессии второго и более высоких порядков не являются марковскими. Условные распределения очередного значения xi зависят от m предшествующих значений xi 1, xi 2,..., xi m СП. Например, условная ПРВ При решении ряда задач целесообразно представить подобные СП в виде компонента векторной марковской СП. Для этого введем m мерный вектор x i = ( xi xi 1... xi m+1 ), первым компонентом которого является значение xi скалярной СП (1.45). Поскольку xi 1 = ( xi 1 xi 2... xi m ), то правая часть (1.45) определяется линейной комбинацией компонентов x i и все необходимые соотношения между элементами x i1 и xi запишутся как система линейных уравнений или в векторной форме:

где Очевидно, уравнение (1.47) определяет марковскую СП векторов x i, первые компоненты которых совпадают по вероятностным свойствам со СП (1.45). Вместе с тем при произвольных матрицах и СП i = ( 1i, 2 i,..., mi ) с ненулевыми компонентами уравнение (1.47) дает возможность представления большого класса гауссовских векторных марковских СП. Дальнейшее существенное расширение этого класса происходит, если допустить изменение во времени матричных коэффициентов (1.47) и ковариаций СП i, т.е. перейти к нестационарным СП. В этом случае стохастическое разностное уравнение (1.47) запишется в виде:

компонентов i. С помощью подобных уравнений можно описать, например, систему трех взаимосвязанных изменяющихся координат космического аппарата. В таких задачах число компонентов вектора x i часто приходится увеличивать для учета производных (скоростей изменения) v1i, v 2 i, v 3i каждой из координат. Тогда x i = (x1i x 2 i x 3i v1i v 2 i v 3i ).

При гауссовских i уравнение (1.48) определяет нестационарную гауссовскую марковскую СП с нулевым средним. Для нахождения xi = xi 1 T1 + i и найдем математические ожидания:

В результате получим рекуррентное соотношение позволяющее последовательно вычислить элементы ковариационных матриц всех членов СП (1.48). Заметим, что взаимные ковариации M x i x i 1 = i 1 V x (i 1) находятся с помощью умножения (1.48) на x i справа и вычисления математического ожидания.

2. ОЦЕНИВАНИЕ ПАРАМЕТРОВ СИГНАЛОВ

В этой и следующей главах будут рассмотрены методы статистического синтеза оптимальных алгоритмов обработки экспериментальных данных.

Предполагается, что до проведения эксперимента отсутствует определенная информация, интересующая потребителя. Такой информацией может быть, например, наличие нового объекта в зоне действия РЛС, параметры движения обнаруженного объекта, величина интенсивности отказов партии выпущенных изделий, уровни помех в каналах связи и др. Основной целью проведения эксперимента и последующей обработки наблюдений является получение необходимой информации. При этом встают две тесно связанные проблемы.

Во-первых, нужно решить, каким образом проводить наблюдения.

Например, как осуществить обзор пространства РЛС или в какой последовательности, с какими временными интервалами измерять уровни помех. Подобные задачи могут быть решены с помощью теории планирования эксперимента. В этом же пособии рассматривается только вторая проблема отыскания наилучшего способа извлечения информации при известных условиях проведения испытаний.

В настоящем разделе представлены методы оптимального оценивания постоянных, а также изменяющихся параметров сигналов, наблюдаемых на фоне помех. Вначале формируется байесовский критерий качества и приводится пример использования априорных данных для улучшения оценок постоянного параметра. Выделены и решены несколько задач оценивания, связанных с неравенством Рао-Крамера и методом максимального правдоподобия. Завершает раздел обсуждение проблем рекуррентного оценивания марковских случайных последовательностей, приводящее к алгоритмам калмановской фильтрации.

2.1. Оптимальное оценивание постоянных параметров сигналов Рассмотрим задачи, в которых потребителя интересует информация о параметре, например, об угловом положении или дальности распределение которых w( y1, y 2,..., y n ) зависит от параметра.

Вместе с тем еще до начала наблюдений могут иметься определенные априорные сведения о возможных значениях параметра. Эти сведения находят свое математическое выражение в априорном распределении w( ) величины.

Предположим, что априорное распределение значений параметра равномерное:

Равномерная ПРВ может соответствовать задачам оценки случайной фазы радиосигнала или положения цели по дальности на интервале протяженностью 2a с центром в точке 0. Если a 0 и значение = параметра точно известно до проведения опытов, т.е. w( ) = ( 0 ), то эксперимент не приносит каких-либо новых знаний. Напротив, при a можно говорить об отсутствии дополнительных априорных сведений о параметре. В таком случае полезная информация может быть извлечена только из наблюдений.

Множество реальных ситуаций лежит между двумя рассмотренными случаями, и задача оценивания состоит в нахождении способов объединения априорных данных и результатов эксперимента для получения оптимальных оценок. Следует особо подчеркнуть, что понятие оптимальности служит основой решения задач статистического синтеза, т.е. выбора наилучшего образа действий при обработке наблюдений.

При синтезе алгоритмов оценивания параметров введение понятия оптимальности должно дать возможность сравнения качества различных процедур, т.е. возможность определения, в каком смысле, скажем, оценка 1, параметра лучше или хуже оценки 2 этого же параметра.

Одним из возможных способов упорядочения оценок по их качеству является байесовский подход к задаче оценивания [13-16]. Предположим, что проведены наблюдения y = ( y1 y2... yn ), на основе которых могут быть построены оценки y параметра.

Очевидно, качество алгоритма оценивания должно быть связано с ошибка носит случайный характер, то при построении критерия качества необходимо учитывать, насколько часто в последовательности экспериментов будут появляться большие или меньшие ошибки.

В байесовской теории предполагается, что каждому значению ошибки = y можно поставить в соответствие определенное числовое значение потерь R( ) = R, y, к которым она приводит. При этом наименее желательным с точки зрения потребителя ошибкам приписываются наибольшие потери. Байесовским критерием качества оценки является среднее значение потерь:

Оптимальной считается такая оценка y, для которой средние потери минимальны.

Различным функциям потерь R ( ) в такой схеме, вообще говоря, соответствуют различные оценки. Однако существует определенный набор условий [16], при котором вид оптимальной оценки не зависит от вида R ( ). Эти условия сводятся к требованиям унимодальности и симметрии апостериорного распределения w( / y ) относительно математического ожидания и симметрии функции потерь относительно = 0.

В радиотехнических приложениях обычно требуются оценки с малой дисперсией ошибки. При этом апостериорное распределение, как правило, близко к нормальному и удовлетворяется наиболее жесткое условие унимодальности и симметрии апостериорной ПРВ. Таким образом, во многих задачах конечный результат не зависит от выбора любой из симметричных функций потерь и решающим обстоятельством оказывается возможность получения этого результата, т.е. возможность математического решения задачи минимизации (2.1). С этой целью наиболее часто используются квадратичная и простая функции потерь.

Для поиска оптимальных байесовских оценок перепишем выражение (2.1) в виде где –средние по множеству возможных значений параметра потери при заданных наблюдениях y. Анализ приведенных выражений показывает, что минимум средних потерь R будет достигнут, если минимизировать условные потери R a y в каждой точке y пространства наблюдений.

Действительно, минимизация осуществляется с помощью выбора оценки параметра y, зависящей только от y. Именно поэтому имеется возможность подобрать для каждой точки y наилучшую оценку y, минимизирующую (2.4), а значит и средние потери.

Для поиска оптимальной оценки при квадратичной функции потерь подставим (2.2) в (2.4), продифференцируем Ra y = по и приравняем производную нулю. Из условия экстремума R a y находим Следовательно, наилучшей оценкой параметра при квадратичной функции потерь является математическое ожидание, вычисленное для апостериорного распределения w y параметра. Геометрически формула (2.5) определяет координату центра тяжести апостериорной ПРВ.

Определим теперь правило нахождения оценок при простой функции потерь. Для этого подставим выражение (2.3) в формулу (2.4). Используя получим следующую величину условных потерь: R a y = w y. Потери будут минимальны, если при обработке экспериментальных данных y = ( y 1 y 2... y n ) вычислить апостериорное распределение w y выбрать оптимальную оценку в точке максимума ПРВ w y.

При симметричной унимодальной ПРВ w y, например, гауссовской, координата центра тяжести совпадает с координатой точки максимума w y и, следовательно, в этом случае совпадают и оптимальные оценки для простой и квадратичной функции потерь. Вместе с тем в большинстве практических задач нахождение точки максимума ПРВ w y осуществляется значительно проще, чем определение координаты центра тяжести. Поэтому байесовские оценки при простой функции потерь, т.е.

оценки по максимуму апостериорного распределения, широко используются в разнообразных приложениях.

Вычисление точки максимума апостериорной ПРВ обычно выполняется следующим образом. Используя формулу (1.34) применительно к рассматриваемой ПРВ, запишем следующее выражение:

Как следует из этой формулы, при определении максимума w y по переменной можно не учитывать число 1 w y. Заметим также, что выражение w y здесь уже не является ПРВ, поскольку вместо результаты эксперимента. Таким образом, функция w y является функцией одной переменной – параметра и играет основную роль при формировании апостериорной ПРВ. Поэтому введем для функции w y, называемой функцией правдоподобия, специальное обозначение:

Если априорная ПРВ w( ) постоянна на интервале возможных значений оцениваемого параметра, то апостериорная ПРВ (2.6) с точностью до постоянного множителя w( ) w y совпадает с функцией правдоподобия. Оценка по максимуму апостериорной ПРВ переходит при этом в оценку максимального правдоподобия, т.е. в оценку, максимизирующую функцию правдоподобия L( ).

Все приведенные рассуждения остаются справедливыми для важного случая оценки нескольких параметров 1, 2,..., m, которые удобно объединить в один вектор байесовские оценки y минимизируют условные средние потери R a y = R, y w y d 1 d 2... d m и, следовательно, основаны на вычислении апостериорного распределения w y. Квадратичная функция потерь приводит к оптимальным оценкам в виде математического ожидания апостериорной ПРВ. Простой функции потерь соответствуют оценки, максимизирующие где L = w y – функция правдоподобия.

Рассмотрим следующий пример, иллюстрирующий взаимосвязь между оценками по максимуму апостериорной ПРВ и максимуму правдоподобия.

Предположим, что производятся наблюдения y1, y 2,..., y k полезного параметра на фоне белого гауссовского шума { i } нулевым средним и дисперсией, т.е.

Априорное распределение будем также полагать нормальным со средним значением 0 и дисперсией 02. Требуется на основе априорной информации (2.8) и результатов y1, y 2,..., y k эксперимента дать оптимальную, в смысле максимума апостериорной ПРВ, оценку параметра Для решения поставленной задачи вначале найдем функцию правдоподобия. Распределение w y при независимых значениях шума n i = 1, 2,..., k совместная ПРВ запишется в виде:

После подстановки в это выражение измеренных значений y1, y 2,..., y k оно будет определять функцию правдоподобия L( ) = w y.

Для нахождения максимума L( ) удобно прологарифмировать (2.9), поскольку максимум любой монотонной функции от L( ) находится в той же точке, что и максимум L( ). Находя ln L( ) и дифференцируя, получим из условия экстремума оценку максимального правдоподобия в виде среднего арифметического сделанных наблюдений:

Заметим, что дисперсия ошибки оценивания по максимуму правдоподобия определяется формулой:

Для того, чтобы найти оптимальную оценку по максимуму апостериорной плотности распределения перепишем (2.6) с учетом (2.7) и (2.9) в виде:

После дифференцирования по логарифма апостериорной ПРВ w y найдем из условия экстремума следующее выражение для оптимальной оценки:

Из полученной формулы следует, что в том случае, когда дисперсия априорного распределения 02 намного больше дисперсии 2 оценки МП, полученной только на основании эксперимента, то МАВ МП.

Напротив, если априорная оценка 0 имеет малую дисперсию 02 0 выполняется условие lim P ( y 1, y 2,..., y n ) = 0.

С помощью неравенства Чебышева [1-3] можно показать, что достаточным условием состоятельности несмещенной оценки является уменьшение дисперсии ошибки до нуля при n.

3. Эффективность. Оценка Э y называется эффективной, если средний квадрат ошибки, вычисленный для Э y, не больше, чем для любой другой оценки y этого параметра:

Для несмещенной оценки средний квадрат ошибки равен дисперсии.

Поэтому эффективная несмещенная оценка определяется из условия минимума дисперсии ошибки D = M y Существует неравенство [15], с помощью которого можно определить нижнюю границу дисперсии несмещенных оценок. Это позволяет на основе сравнения действительного значения дисперсии ошибки с минимальным дать характеристику качества той или иной оценки.

Предположим, что границы области значений y, где ПРВ w y несмещенная оценка параметра, т.е.

где d y = dy 1 dy 2... dy n.

Продифференцируем обе части этого равенства по, используя предположение о независимости пределов интегрирования от.

В результате получим:

или Последнее выражение с учетом основной теоремы о математическом ожидании можно компактно переписать следующим образом:

Кроме того, из очевидного условия дифференцированием по находим M ln w y = 0. Умножая правую и левую части этого равенства на и вычитая из (2.17), получим Левая часть (2.18) представляет ковариацию Bx1 x 2 = M {X 1 X 2 } двух СВ X 1 = y и X 2 = ln w y, имеющих нулевые средние. Как подстановки выражений для X 1 и X 2 в это неравенство получим с учетом (2.18) следующее соотношение:

переписать в виде, известном как неравенство Рао-Крамера [15]:

где D = M y – дисперсия ошибки оценивания параметра.

Неотрицательная величина называется информацией, содержащейся в выборке (по Р.Фишеру). При независимых наблюдениях Так как M ln w( y i ) = 0, а дисперсия суммы независимыых СВ равна сумме дисперсий, то количество информации по Фишеру для независимых y1, y 2,..., y n находится по формуле:

и тем же распределением w( y ) количество информации I ( ) = nI 1 ( ) пропорционально числу n наблюдений. В этом случае (2.20) запишется в виде:

Правая часть неравенства Рао-Крамера определяет нижнюю границу I ( ) для дисперсии ошибки оценивания параметра при заданной ПРВ w( y 1, y 2,..., y n ) наблюдений. Если удается найти несмещенную оценку Однако далеко не всегда минимальная дисперсия ошибки, т.е. дисперсия эффективной оценки, совпадает с нижней границей I 1 ( ).

Во многих случаях M Э Рассмотрим два примера нахождения нижних границ дисперсии ошибки при оценивании параметров нормального и экспоненциального распределений. Предположим, что производятся независимые наблюдения содержащей неизвестный параметр – математическое ожидание СВ yi.

I ( ) = n I 1 ( ) = n 2, то для дисперсии любой оценки y параметра справедливо неравенство D 2 n. В рассмотренной задаче для оценки математического ожидания можно предложить среднее арифметическое наблюдений y = y i. Дисперсия этой оценки совпадает с нижней границей. Следовательно, предложенная оценка является эффективной.

Другим примером может быть оценка параметра экспоненциального распределения w( y i ) = exp ( y i ), i = 1, 2,..., n. Нижняя граница дисперсии ошибки равна 2 n, так как I 1 ( ) = M ( y i 1 ) = 1 2. Вместе с тем анализ всех возможных оценок y показывает, что нижней границы (I ( )) = 2 n достичь не удается. Минимальную дисперсию 2 (n 2 ), n > 2, но большую чем I 1 ( ), имеет эффективная распределения:

= 1 2, и существует эффективная оценка Э = 2 n совпадает с нижней границей (n I 1 ( )).

В каких же случаях эффективные оценки имеют дисперсию, совпадающую с нижней границей I 1 ( ) ? Для ответа на этот вопрос обратимся к выводу соотношения (2.19). Точное равенство в (2.19) достигается, когда СВ X 1 = y и X 2 = ln w y при каждом значении связаны линейной зависимостью Полученное выражение дает описание семейства ПРВ w y и соответствующих оценок y, обеспечивающих равенство в формулах (2.19), (2.20), т.е. эффективное оценивание с дисперсией I 1 ( ). После интегрирования (2.23) по семейство таких ПРВ может быть представлено в виде:

где A( ) = a ( ) d и B ( ) = a ( )d – дифференцируемые функции ;

C y – произвольная функция y. При этом y служит эффективной D = 1 a 2 ( ) = 1 (A' ( )). Для конкретных ПРВ запись в форме (2.24) обычно содержит функции A и B от собственных параметров соответствующих распределений, например, A( ) и B ( ) – для экспоненциального или A( ) и B ( ) – для нормального распределения.

В этом случае параметр может быть найден как функция = ( ) с помощью соотношения = B ' ( ) A' ( ) = B ' ( ) A' ( ). Например, для w( y i ) = exp( y i ), i = 1, 2,..., n, совместная ПРВ запишется в виде:

= B ' ( ) A' ( ) = 1, для которого y является оптимальной оценкой.

Таким образом, эффективные оценки y с дисперсией, в точности равной нижней границе I 1 ( ) могут быть получены только для ПРВ w y, входящих в экспоненциальное семейство (2.24). К этому семейству относятся часто встречающиеся в задачах обработки сигналов нормальное, биномиальное, пуассоновское и гамма-распределение.

Для каждого из этих распределений существует определенная условиями (2.24) форма записи и соответствующая оценка y параметра (табл.2.1).

распределения Рассмотрим, например, нормальное распределение w ( yi ) = Запишем в экспоненциальном виде совместную ПРВ:

является эффективной оценкой параметра = B ' ( ) A' ( ) = 2.

Полученные результаты позволяют определить нижнюю границу I ( ) дисперсии ошибки (2.20), (2.21) и указать эффективные оценки с дисперсией I 1 ( ) определенных параметров ПРВ из экспоненциального семейства (2.24). В общем случае основным методом поиска эффективных оценок параметров служит метод максимального правдоподобия [1,11Наилучшей считается оценка Э y, для которой функция правдоподобия L( ) = w y или ln L( ) достигает максимума, т.е.

L Э L. Если L( ) дифференцируема и максимум L( ) находится во внутренней точке области возможных значений параметра, то оценка может быть определена из уравнений dL( ) d = 0 или d ln L( ) d = 0.

Оценки (y ), (y ),..., (y ) совокупности m параметров = (... ) ПРВ w(y ) находятся с помощью решения системы уравнений правдоподобия:

( ) ( ) – функция правдоподобия. Напомним, что по где определению L( ) получается после подстановки результатов наблюдений y = ( y y... y ) в ПРВ w(y ). Метод максимального правдоподобия позволяет найти эффективные оценки параметров, если такие оценки существуют. Поэтому оценки y, представленные в табл. 2.1, могут быть получены и с помощью решения уравнений правдоподобия. Например, для нормального распределения w ( yi ) = i = 1, 2,..., n, логарифм функции правдоподобия запишется в виде:

находим эффективную оценку y = y i.

Рассмотрим более сложный пример оценки неизвестного параметра равномерного распределения с ПРВ:

Функция правдоподобия L( ) = w( y i ) находится после подстановки экспериментальных данных y1, y 2,..., y n в (2.26). Если переменное значение удовлетворяет неравенствам y1, y 2,..., y n, т.е.

max y i, то L( ) = 1 n. При < max y i функция правдоподобия L( ) = 0, поскольку в этом случае хотя бы один из сомножителей w( y i ) обращается в ноль.

Рис. 2.1. Функция правдоподобия при оценке параметра равномерного Анализ зависимости L( ), представленной на рис.2.1, показывает, что наибольшее значение функции правдоподобия находится в точке Следовательно, y = max y i – оценка максимального правдоподобия (ОМП). Заметим, что эта оценка не может быть получена с помощью решения уравнения правдоподобия, так как в точке y функция L( ) имеет разрыв, и производная dL( ) d не существует.

Определим математическое ожидание и дисперсию полученной оценки y = max y i. Для наибольшего значения X = max y i совокупности n случайных величин вначале найдем функцию распределения При равномерном законе распределения P ( y i < x ) = x, если 0 x.

y = max y i оказывается смещенной, но смещение можно устранить, если оценки характеризуется дисперсией Интересно, что дисперсия оценки параметра равномерного распределения при увеличении числа n наблюдений убывает как n 2.

Это исключение из правила (2.20), (2.21), согласно которому, для всех «гладких» ПРВ w( y i ) при независимых наблюдениях D n 1.

Примером задачи оценивания векторного параметра = ( 1 2 ) может служить нормальное распределение с ПРВ В этом случае ОМП находится из решения следующих уравнений правдоподобия:

В результате получаем совместные ОМП математического ожидания и дисперсии:

Важным свойством ОМП является инвариантность относительно взаимно однозначных преобразований h( ) параметра. Это означает, что при известных ОМП y и функции h( ) может быть легко найдена ОМП h( ) = h y. Действительно, так как существует обратная функция = (h ), то max L( ) = max L( (h )).

Принцип инвариантности позволяет в каждой конкретной задаче выбирать наиболее удобную параметризацию, а ОМП получать затем с помощью соответствующих преобразований. Пусть в условиях нормальной модели с двумя неизвестными параметрами требуется оценить параметрическую функцию представляющую собой вероятность P (Y y 0 ). В этом случае можно положить, например, h ( 1, 2 ) = (H ( 1, 2 ), 2 ) и, согласно принципу находим Метод максимального правдоподобия не всегда приводит к несмещенным оценкам. Так, при оценке (2.27) двух параметров M 2 2 = 2 n, убывающее до нуля при n. Доказано [15], что для широкого класса ПРВ w( y ) оценки максимального правдоподобия асимптотически (при n ) несмещенные и асимптотически нормальные с дисперсией ошибки, совпадающей при n с нижней границей I 1 ( ) в неравенстве Рао-Крамера (2.20). Описанные свойства обусловили широкое применение метода максимального правдоподобия в разнообразных приложениях.

Рассмотрим пример нахождения ОМП углового положения цели в условиях работы импульсной радиолокационной станции (РЛС) кругового обзора. Отраженные от цели полезные сигналы на выходе приемника РЛС представим в виде: S i = S 0 G (, i ), i = 1, 2,..., n, где S 0 – максимальное значение сигнала в момент равенства углового положения i антенны РЛС и углового положения цели. Функция G (, i ) описывает изменение уровня сигнала (рис.2.2.а) в дискретном времени при вращении антенны. Прием отраженных сигналов обычно сопровождается помехами.

Поэтому наблюдения y i = S i + n i, i = 1, 2,..., n, включают независимые M { i2 }= 2, i = 1, 2,..., n. На основе анализа наблюдений необходимо дать оценку y углового положения цели.

Рис. 2.2. Огибающая пакета отраженных сигналов (а) и ее производная (б) Для решения поставленной задачи найдем функцию правдоподобия После логарифмирования L( ) и дифференцирования по параметру получим следующее уравнение правдоподобия:

При симметричной диаграмме направленности антенны РЛС G (, i ) d i = 0 и уравнение правдоподобия принимает следующий вид:

где i = dG (, i ) d – весовые коэффициенты (рис. 2.2, б).

наблюдениями y1, y 2,..., y n при оценивании углового положения цели.

Основными из них являются следующие:

– прием и запоминание амплитуд y1, y 2,..., y n суммы сигнала и помех;

– умножение этих амплитуд на весовые коэффициенты 1, 2,..., n ;

которой весовая функция обращается в ноль;

– сравнение накопленных полусумм по величине;

– фиксация равенства полусумм и формирование оценки.

Расчет дисперсии найденной оценки углового положения цели вызывает трудности, поскольку решить уравнение (2.29) относительно y не удается. В подобных случаях вместо точного значения дисперсии часто используют нижнюю границу D, определяемую неравенством РаоКрамера (2.20). Рассмотренные свойства ОМП гарантируют, что при большом числе наблюдений y1, y 2,..., y n такой подход не приведет к значительным ошибкам. Вместе с тем расчет по формулам (2.20), (2.21) оказывается довольно простым. Учитывая независимость наблюдений, находим количество информации где q = S 02 2 – отношение сигнал/шум. Таким образом, нижняя граница дисперсии оценки D = I `1 ( ) легко вычисляется при заданной огибающей G (, i ) пакета отраженных сигналов. Заметим, что для малых объемов выборки действительные значения дисперсии оценки (2.29) могут оказаться больше, чем D. Поэтому возможность применения приближенных соотношений должна контролироваться с помощью методов статистического моделирования [30].

Несмотря на отмеченные достоинства метода максимального правдоподобия, существует ряд задач оценивания, в которых его применение сталкивается со значительными математическими или вычислительными трудностями нахождения максимума L( ). В таких случаях часто используется метод моментов [15,26], не обладающий свойствами асимптотической оптимальности, но часто приводящий к сравнительно простым вычислениям.

При неизвестных параметрах = ( 1 2... M ) распределения являются функциями :

Вместе с тем, на основе наблюдений y1, y 2,..., y n могут быть найдены выборочные начальные моменты k -го порядка которые служат состоятельными оценками моментов распределения Метод моментов заключается в приравнивании M выборочных моментов к соответствующим моментам распределения и нахождении оценок неизвестных параметров из системы уравнений:

Кроме начальных моментов, для оценок параметров могут использоваться центральные моменты распределения и выборочные центральные моменты:

Для некоторых распределений, например, нормального или экспоненциального, оценки параметров, найденные с помощью метода моментов, совпадают с соответствующими ОМП. Вместе с тем имеются многочисленные задачи, в которых метод моментов приводит к худшим по точности оценкам, чем метод максимального правдоподобия.

Характерным примером является оценка параметра равномерного распределения w( y i ) = 1, 0 y i, i = 1, 2,..., n. Для нахождения этой оценки на основе метода моментов приравняем математическое ожидание (первый начальный момент) m1 ( ) = 2 и выборочное среднее m1 = y i. В результате получаем несмещенную оценку y = y i с дисперсией M y = 2 3n. Заметим, что найденное значение в (n + 2 ) 3 раз больше дисперсии (2.27) оценки максимального правдоподобия. Приведенный результат подчеркивает целесообразность поиска эффективных оценок с помощью метода максимального правдоподобия. Однако встречаются примеры, где решение уравнений правдоподобия найти не удается, но можно получить хорошие оценки по методу моментов. Рассмотрим два таких примера.

Пусть требуется оценить параметры и гамма-распределения (табл. 1.1). Приравнивая моменты распределения m1 (, ) = и выборочным моментам, получаем следующие оценки параметров по методу моментов:

Проанализируем теперь возможности решения более сложной задачи оценки двух параметров и распределения Вейбулла (табл. 1.1).

Как следует из табл.1.1, после приравнивания моментов распределения m1 (, ) и µ 2 (, ) к выборочным m 1 и µ 2 получается система двух уравнений относительно неизвестных оценок параметров и, аналитическое решение которой не представляется возможным.

Попытаемся подобрать функциональное преобразование выборочных значений y i, приводящее к упрощению поставленной задачи оценивания.

Заметим, что двухпараметрический класс вейбулловских СВ Y может y = (x ), x = y СВ X с экспоненциальным законом распределения:

рассматривать прологарифмированные данные эксперимента, т.е. ввести z i = ln y i, i = 1, 2,..., n. Но самое главное, что моменты распределения w(z i, ) оказываются довольно простыми функциями неизвестных параметров и. Действительно, Используя таблицы интегралов [25], запишем:

C = 0,577... – постоянная Эйлера [25]. С учетом приведенных где табличных интегралов получаем следующие выражения для моментов Оценки теперь могут быть легко найдены из системы двух и µ 2 z = ln y i m 1 z – выборочные моменты. После элементарных преобразований решение системы уравнений для оценок параметров распределения Вейбулла запишется в виде:

Полученные оценки могут использоваться, например, при построении классификатора типа помех в радиолокационном приемнике, поскольку распределение Вейбулла описывает широкий класс возможных помех в виде собственного шума приемника, отражений от местных предметов, гидрометеоров и др.

2.3. Рекуррентное оценивание изменяющихся параметров сигналов В предыдущих разделах решались задачи оценивания параметра, не изменяющегося в течение наблюдений. Однако во многих случаях нельзя пренебречь изменением этого параметра. К ним относятся, например, задачи построения следящих систем в радиолокации, радионавигации [18.19] и радиосвязи [17,18]. В таких системах время наблюдения, как правило, велико, и основной целью анализа последовательности отсчётов y1, y2,..., yn является оценка каких-либо изменяющихся параметров движения объектов или параметров помех, необходимая для обеспечения надежного функционирования системы.

При этом с каждым очередным наблюдением y i связывается новое значение параметра i, т.е. наблюдения рассматриваются как функции y i = h ( i, n i ) изменяющихся информационных параметров i и помех n i.

В дальнейшем изложении в основном будет рассматриваться случай аддитивного взаимодействия y i = i + n i скалярных или векторных параметров и гауссовских некоррелированных помех.

В подобных задачах принципиальное значение имеет описание процесса изменения параметра i в дискретном времени. Правильный выбор модели СП i, i = 1, 2,..., k, сочетающий простоту математического представления и адекватность реальным физическим явлениям, зачастую представляет довольно сложную проблему и всегда требует тщательного анализа [7,20-22].

При решении ряда прикладных задач для описания последовательности i, i = 1, 2,..., k, используются линейные комбинации детерминированных функций f v (i ) [21,22]. Характерными примерами уравнений линейной регрессии (2.30) служат циклические ( f v (i ) = sin v i ) или полиномиальные ( f v (i ) = i v 1 ) модели. В этом случае основной проблемой статистического синтеза является построение оценок y i = i + n i, i = 1,,2,..., k. Формально объединяя коэффициенты (2.30) в один векторный параметр = ( 1 2... m ), приходим к уже рассмотренной задаче нахождения оптимальных байесовских оценок.

Например, для полиномиальной модели второго порядка оценке на основе наблюдений y1, y2,..., yk подлежат три коэффициента 0,v0 и a 0 или векторный параметр = ( 0 v 0 a 0 ). Структура оптимальных алгоритмов оценивания и свойства оценок коэффициентов (2.30) детально исследованы и составляют предмет линейного регрессионного анализа [21,22].

Другим способом представления изменяющихся параметров являются случайные последовательности (СП). Как уже отмечалось в п.1.5, весьма представительным классом СП, имеющим удобное математическое описание, являются марковские СП. Применение моделей векторных марковских СП во многих задачах позволяет учитывать известную информацию о детерминированных составляющих процесса изменения параметров. Например, можно значительно расширить класс моделей (2.31), если воспользоваться следующей системой разностных уравнений:

Решение этой системы совпадает с (2.31), если все случайные величины (СВ) i имеют нулевую дисперсию, а параметр (коэффициент корреляции) = 1. Объединяя изменяющиеся параметры i, v i и ai в один вектор xi = ( i vi ai ), получаем представление системы (2.32) в виде стохастического разностного уравнения (1.48):

Отличием решений этого уравнения от (2.31) является представление возможных траекторий изменения параметра i совокупностью реализаций СП (2.32), «концентрирующихся» для каждого конкретного набора параметров 0, v 0, a 0 «около» детерминированной функции (2.31).

Для иллюстрации на рис. 2.3 приведены два семейства реализаций СП a2 = M { i2 }= 2 (1 2 ) параметра ai в установившемся режиме и различным начальным условиям. На этих же рисунках пунктиром показаны решения уравнения (2.31).

Рис.2.3. Детерминированные функции (пунктир) и реализации случайных Рассмотрим теперь возможности построения рекуррентных оценок марковских СП, заданных стохастическими разностными уравнениями вида (1.48). Для этого вначале попытаемся решить наиболее простую задачу оценивания скалярной авторегрессионной последовательности информационного параметра x i и гауссовского белого шума n i. Заметим, что в частном случае x i = x i 1, x1 =, т.е. x i =, i = 1, 2,..., k, решение этой задачи должно совпадать с оценками (2.13) или (2.16) постоянного параметра.

Поставленная задача нахождения текущей оценки x k = x k ( y1, y 2,..., y k ) изменяющегося параметра x k, на основе наблюдений y1, y2,..., yk, обычно называется задачей фильтрации СП x k. В более общем случае можно рассматривать оценки x j k = x j k ( y1, y 2,..., y k ) произвольного j -го элемента x j СП. Тогда при j < k говорят об интерполяции; при j > k – об экстраполяции СП. Для всех видов задач особый интерес представляют эффективные, с точки зрения вычислений, рекуррентные оценки, которые удается представить в виде функции x k = x k x k 1, y k предыдущей оценки x k 1 и очередного наблюдения y k.

Для получения процедуры рекуррентной фильтрации предположим, что после k 1 наблюдения y1, y 2,..., y k 1 известны оценка x k 1 параметра x k и дисперсия ошибки Pk 1 = M { k21 }, k 1 = x k 1 x k 1.Будем искать оценку x k параметра x k на следующем ( k - м) шаге в виде линейной комбинации известной оценки и очередного наблюдения y k = x k + n k. Коэффициенты Ak и Bk этого уравнения выберем из условия минимума дисперсии D = M { k2 } ошибки + k 1 ( Bk 1) = 0, получаем формулу в которой отражены три составляющие ошибки оценивания на k -м шаге.

Первое слагаемое учитывает ошибку k 1 = x k 1 x k 1 на предыдущем шаге. Второе определяется величиной k изменения x k = k 1 x k 1 + k параметра, т.е. динамикой СП. Составляющая Bk n k ошибки связана с помехой n k, возникающей при наблюдении yk = xk + nk. Поскольку все слагаемые (2.34) являются независимыми СВ, то дисперсия ошибки фильтрации будет равна сумме где Vk = M { k2 }, Vk = M { k2 }. Минимальное значение дисперсии ошибки D min = Pk = PЭК (1 + Vk1 PЭК ) находится из уравнения dD dB k = 0 и достигается при Bk = Vk1 PЭК (1 + Vk1 PЭК ), где PЭК = k21 Pk 1 + Vk. Замечая, что Bk = Vk1 Pk, и учитывая Ak = k 1 (1 Bk ), получим после подстановки оптимальных значений коэффициентов Ak и Bk в формулу (2.33) следующий алгоритм фильтрации:

где x ЭК = k 1 x k 1 ; PЭК = k21 Pk 1 + Vk. В уравнении (2.35) величина x эк является экстраполированной на один шаг оценкой параметра x k (прогнозом x k ) на основе наблюдений y1, y 2,..., y k 1. Действительно, до наблюдения имеется лишь оценка x k 1 и описание x k = k 1 x k 1 + k одношагового изменения параметра. Поскольку { i } – последовательность независимых СВ, то лучшим прогнозом будет x ЭК = k 1 x k 1. Дисперсия ошибки прогноза в точности равна Pэк. Такой же вывод следует из формулы (2.36) для дисперсии ошибки оценивания, если положить Vk. В этом случае Pk = Pэк, поскольку наблюдение y k = x k + n k поражено помехой n k c Vk = M { k2 } и не приводит к уменьшению дисперсии Pэк прогноза.

С учетом приведенных рассуждений определим начальные условия для алгоритма (2.35), (2.36). До первого наблюдения y1 известно, что x подчиняется нормальному закону распределения с нулевым средним и дисперсией V x1 = M {x12 }. Следовательно, лучший прогноз x Э1 = 0, а дисперсия ошибки этого прогноза образом, коэффициент P1 = M x 1 x (2.35) определяется по формуле P1 = V x1 (1 + V11 V x1 ). Начальные условия можно получить также с помощью минимизации дисперсии B1 = V x1V1 (1 + V1 V x1 ), т.е. при B1 = P1 V1.

Анализируя вывод алгоритма фильтрации (2.35), (2.36), необходимо заметить, что представление (2.33) текущей оценки x k в виде линейной комбинации предшествующей оценки x k 1 и очередного наблюдения y k резко ограничивает класс возможных процедур. В связи с этим полученный результат (2.35) может рассматриваться как наилучшее (в смысле минимума дисперсии ошибки) правило лишь в довольно узком классе рекуррентных алгоритмов оценивания изменяющегося параметра.

Замечательным достижением Р.Калмана и Р.Бьюси [11,12] было доказательство строгой оптимальности алгоритма (2.35) в классе любых (не только рекуррентных) процедур оценивания параметра xk, заданного скалярными или векторными уравнениями авторегрессии. Поэтому рекуррентное правило оценивания (2.35), (2.36), а также его многомерные обобщения, часто называют фильтром Калмана.

Рис. 2.4. Структурная схема фильтра Калмана Анализ соотношения (2.35) и соответствующей ему структурной схемы на рис.2.4 показывает, что в фильтре Калмана реализуется идея предсказания-коррекции. Предыдущая оценка x k 1 экстраполируется на один шаг вперед и затем используется для получения оптимальной оценки y k x эк = эк + n k, включающий в себя ошибку прогноза эк = x k x эк и погрешность n k наблюдения. После умножения суммарной ошибки на коэффициент Pk Vk1, учитывающий дисперсию каждого из слагаемых, образуется сигнал коррекции. Результирующая оценка x k получается после добавления сигнала коррекции к экстраполированному значению x эк.

Для иллюстрации особенностей рекуррентного оценивания рассмотрим зависимости дисперсий ошибки Pk = M x k x k показанные на рис.2.5. При расчетах предполагалось, что изменение параметра x k описывается авторегрессионной моделью x k = x k 1 + k с постоянными параметрами k 1 = и Vk = V = (1 2 )V x, V x = 1. Mодель наблюдений y k = x k + n k включает белый гауссовский шум n k с постоянной дисперсией Vk = V = 1 q (рис. 2.5,а) или с изменяющейся на каждом шаге дисперсией Vk = 2 + ( 1) (рис.2.5, б). До начала наблюдений наилучшей оценкой является математическое ожидание x 0 = с дисперсией P0 = Pэ1 = V x = 1. После первого шага дисперсия ошибки уменьшается: P1 = Pэ1 (1 + Vk1 Pэ1 ), Pэ1 = 1. Затем вычисляется дисперсия ошибки экстраполяции Pэ 2 = 2 P1 + V для второго шага наблюдений и т.д.

Как следует из графиков рис.2.5,а, при стационарных наблюдениях по мере роста k дисперсия ошибки стремится к некоторому установившемуся значению. Если же дисперсия помехи Vk = M { k2 } изменяется и составляет для четных шагов Vk = 3, а для нечетных Vk = 1, то зависимость величины Pk от номера шага также носит колебательный характер (рис.2.5, б).

Рис. 2.5. Изменение дисперсии ошибки на первых шагах фильтрации при Поскольку установившийся режим часто является основным для фильтра Калмана, рассмотрим этот случай более подробно. При постоянных параметрах авторегрессии < 1, V x и шума наблюдений Vk = V дисперсия ошибки Pk приближается к постоянной величине P, которую можно найти из условия Pk = Pk 1 = P. Действительно, с учетом этого условия рекуррентное соотношение (2.36) преобразуется в квадратное уравнение можно записать в виде:

где q = V x V – отношение дисперсии полезного параметра к дисперсии шума.

На рис.2.6 представлено семейство зависимостей относительной дисперсии ошибки фильтрации в установившемся режиме от величины коэффициента корреляции соседних значений оцениваемого параметра.

Как видно из графиков, для получения малых ошибок необходимы либо большие отношения сигнал/шум q, либо близкие к единице коэффициенты корреляции. При 1 приведенные графики асимптотически приближаются к прямым линиям с одинаковым наклоном в логарифмическом масштабе (рис.2.6). Для этого случая уравнение (2.37) упрощается:

Возможности применения рассматриваемых методов калмановской фильтрации значительно расширяются при переходе к многомерным системам. Вместе с тем для получения основных уравнений рекуррентного оценивания векторных СП достаточно повторить преобразования, уже выполненные при выводе алгоритма (2.35). Поэтому остановимся лишь на некоторых особенностях синтеза многомерного фильтра.

Для описания m -мерной информационной СП воспользуемся векторным авторегрессионным уравнением (1.48): x k =k 1 x k 1 + k.

Оценка СП x k производится на основе анализа последовательности N - мерных наблюдений Записывая рекуррентную процедуру формирования оценки в виде x k = Ak x k 1 + Bk y k аналогичном (2.33), найдем следующее выражение для ошибки фильтрации Оптимизация оценки связана с поиском матриц Bk, для которых минимальна ковариационная матрица Vk = M k k где Г k = C k Pэк C kT + Vk N N -матрица; Pэк = k 1V (k 1)T 1 + Vk. Анализ (2.39) показывает, что наилучшим является выбор Bk = Pэк C kT Г k1.

Обозначая минимальное значение Vk через Pk, можно записать уравнение для рекуррентной оценки CП в виде:

Pэ1 = V x1.

Применение алгоритма (2.40) предполагает нахождение обратной матрицы Г k1 размером N N на каждом шаге фильтрации. В некоторых коэффициентов для которой размер обращаемой матрицы составляет m m элементов.

С помощью непосредственной подстановки нетрудно убедиться в тождественности вычислений матриц Bk и Pk по формулам (2.40) и (2.41).

Полученные результаты (2.40), (2.41) обобщают алгоритм фильтрации (2.35), (2.36) скалярной последовательности. Сравнение этих выражений показывает, что структура фильтра Калмана и наиболее существенные особенности процесса рекуррентного оценивания сохраняются и в многомерном случае. В частности, разность y k C k x эк = C k x k x эк + n k следует рассматривать как векторный сигнал ошибки, который взвешивается с учетом соотношения элементов ковариационных матриц ошибок фильтрации Pk и помехи Vk и добавляется к прогнозированному значению x эк оцениваемого m -мерного параметра xk.

В заключение рассмотрим задачу рекуррентного оценивания изменяющегося параметра k, заданного уравнениями аналогичными (2.32). При этой оценка параметра k осуществляется на основе наблюдений yk = k + nk, k = 1, 2,.... Для решения поставленной задачи введем вектор информационных параметров x k = ( k v k ) запишем модель наблюдений в виде: y k = C k x k + n k, где C k = (1 0).

Уравнения (2.42) также представим в векторной форме x k = k 1 x k 1 + k, Введенные обозначения дают возможность применить формулы (2.40) для построения алгоритма фильтрации CП x k = ( k v k ). Раскрывая векторные обозначения в (2.40), можно представить рекуррентные оценки параметров в виде:

где и P21k – элементы ковариационной матрицы ошибок реализации СП k и k, полученные с помощью вычислений по найденным формулам при = 0,999, Q = M { k2 } Vk = 0,1, приведены на рис. 2.7. По мере увеличения количества шагов оценивания k дисперсии ошибок фильтрации (2.40) убывают так же, как и в одномерном случае (рис.2.5,а), стремясь к некоторым предельным значениям.

3. ОБНАРУЖЕНИЕ СИГНАЛОВ

В этом разделе рассматривается синтез и анализ алгоритмов обнаружения сигналов. Cначала на основе критериев Байеса и НейманаПирсона решаются задачи синтеза при известных параметрах сигналов и помех. Приводятся краткие сведения о точных и приближенных методах анализа эффективности полученных процедур. Для борьбы с параметрической априорной неопределенностью предлагается использовать байесовский подход и метод модифицированного отношения правдоподобия.

3.1. Обнаружение сигналов при известных параметрах помех Рассмотрим сначала наиболее простую задачу теории обнаружения сигналов. Допустим, что некоторый объект, интересующий наблюдателя, может находиться в одном из двух состояний S 0 или S1. Такими состояниями могут быть, например, наличие или отсутствие цели в зоне действия РЛС, передача сигнала «0» или «1» по каналу связи, работоспособность или отказ устройства и др. В каждом конкретном эксперименте объект находится в состоянии S 0 или в состоянии S1 с вероятностями p 0 и p1 ( p 0 + p1 = 1) соответственно. В зависимости от состояния S0 или S1 объекта результаты y = ( y1 y 2... y n ) эксперимента имеют плотность распределения вероятностей (ПРВ) w y H w y H 1. На основе анализа наблюдений y1, y 2,..., y n необходимо определить, в каком именно состоянии находится объект.

Поскольку действительное состояние объекта наблюдателю не известно, то можно лишь выдвинуть предположение (гипотезу) H 0 о том, что объект находится в состоянии S 0 и альтернативное предположение H 1.

В этих терминах задача состоит в том, чтобы на основе наблюдении y проверить справедливость гипотезы H 0. Любое правило проверки гипотезы каждому конкретному результату эксперимента y должно поставить в соответствие определенное решение. Но это означает, что при заданном правиле решения среди всех возможных исходов y G опытов можно выделить область G 0, где принимается гипотеза H 0. Если же наблюдения y G 0, то принимается решение H 1.

Так, например, если производится только одно наблюдение y1 на отрезке [a, b], то для конкретного значения y1 должно быть принято либо решение H 0, либо H 1. Таким образом, множество G{y1 : a y1 b} всех точек отрезка (всех возможных исходов эксперимента) разбивается на две области G 0 и G1 (рис.3.1,а).

Если y1 G 0, то принимается решение о справедливости гипотезы H 0 ;

Когда производится два наблюдения y1, y2, множество всех исходов эксперимента представляется точками плоскости G (рис.3.1,б).

Поскольку каждому исходу ( y1, y 2 ) соответствует конкретное решение H или H 1, то все множество G так же, как и в одномерном случае, должно быть разделено на два подмножества G 0 и G1 (рис.3.1,б).

Очевидно, в общем случае выборки y = ( y1, y 2,..., y n ) произвольного объема n -мерная область G всех возможных исходов опытов разбивается на две подобласти G 0 и G1. Область G 0, где принимается гипотеза H 0, называют допустимой областью. Вторую область G1, отклонения гипотезы H 0, называют критической.

Таким образом, построение оптимального правила проверки гипотезы может трактоваться как нахождение наилучшего разбиения пространства G всех возможных результатов эксперимента на две области G 0 и G1 или, что в данном случае то же самое, как выбор наилучшей допустимой области.

Для того чтобы выяснить, что следует понимать под наилучшим разбиением, необходимо ввести критерий качества правила принятия решения. Поскольку состояние объекта заранее не известно, а прием сигналов затруднен помехами, то при использовании любого правила решения возможны ошибки. С этой точки зрения после принятия решения возможны четыре ситуации, схематично изображенные на рис.3.2. Две из них соответствуют правильным решениям (сплошные линии) и две – ошибочным (пунктир). Ошибка, в результате которой принимается решение H 1 при нахождении объекта в состоянии S 0, называется ошибкой первого рода. Другая ошибка – ошибкой второго рода.

В задачах обнаружения сигнала состояние S 0 и гипотеза H соответствуют отсутствию цели, и ошибка первого рода обычно называется ложной тревогой. Ошибка второго рода состоит в принятии неверного решения об отсутствии цели, когда цель присутствует, и называется пропуском цели.

Рис. 3.2. Правильные (сплошные линии) и ложные (пунктир) решения Используя формулу (1.32), нетрудно записать следующие выражения для вероятности ложной тревоги:

и вероятности пропуска цели:

где d y = dy 1 dy 2... dy n. Вместо PM чаще используется вероятность противоположного события, т.е. вероятность PD правильного обнаружения (вероятность верного решения о наличии цели). Очевидно, Для заданного размера выборки невозможно одновременно сделать сколь угодно малыми вероятности ошибок первого и второго рода. Например, чтобы уменьшить вероятность ложной тревоги PF, следует уменьшить размер критической области G1, но тогда увеличивается размер допустимой области G 0 и возрастает вероятность ошибки второго рода (3.2). Поэтому «разумный» критерий оптимальности должен быть построен на основе какого-либо компромисса между вкладом двух типов возможных ошибок в общую характеристику или общие показатели системы обнаружения.

Одним из возможных способов построения критерия оптимальности может быть байесовский подход, общая методология которого рассматривалась в предыдущем разделе применительно к задачам оценивания параметров. Точно так же основой байесовского подхода к проблемам обнаружения является введение функции потерь, которая приписывает каждой из четырех возможных ситуаций (рис.3.2) определенную плату. При этом обычно правильным решениям соответствует нулевой размер штрафа. Ошибке первого рода поставим в соответствие плату R 0, а ошибке второго рода – плату размером R1. Тогда средние потери составят величину которая и принимается как критерий качества обнаружения. При этом обнаружитель, для которого средние потери R минимальны, называется оптимальным байесовским обнаружителем.

Подставляя выражения (3.1) и (3.2) в формулу (3.4), получим следующую связь средних потерь с видом критической области:

Очевидно, потери минимальны, если интеграл достигает максимального значения.

Какие же точки пространства G возможных исходов эксперимента следует включить в область G1 для максимизации выражения (3.6)?

Простой анализ показывает, что при наблюдении y следует проверить – положительным или отрицательным окажется подынтегральное выражение (3.6). Если то такую точку y следует отнести к критической области G1.

Действительно, после добавления такой точки вместе с некоторой окрестностью к области G1 возрастает интеграл (3.6) по этой области и, следовательно, уменьшаются средние потери (3.5). Таким образом, неравенство (3.7) определяет все точки критической области G1. Но это, в свою очередь, означает, что для наблюдений, удовлетворяющих неравенству (3.7), следует принимать верной гипотезу H 1, а для остальных точек – гипотезу H 0. Переписывая неравенство (3.7), определяющее критическую область, в форме где = w y H 1 w y H 0 – отношение правдоподобия;

можно заметить, что формула (3.8) определяет алгоритм обработки входных данных y. Действительно, оптимальный обнаружитель должен формировать на основе наблюдений y отношение правдоподобия и производить сравнение этого отношения с пороговым уровнем 0.

Если 0, то выносится решение в пользу гипотезы H 1. При < принимается, что справедлива гипотеза H 0. Так же, как и при оценивании параметров, можно вместо отношения правдоподобия сравнивать с пороговым уровнем любую монотонную функцию f ( ), например, ln.

При этом достаточно изменить величину порога обнаружения и положить, что /0 = f ( 0 ).

Рассмотрим пример решения задачи поcледетекторного обнаружения радиосигнала по совокупности независимых наблюдений y1, y 2,..., y n.

При отсутствии сигнала эти наблюдения подчиняются закону распределения Релея:

Появление полезного сигнала вызывает увеличение параметра 2 в (1 + q ) раз, где q – отношение сигнал/шум. При этом Для нахождения оптимального алгоритма обнаружения составим отношение правдоподобия и будем сравнивать его с порогом 0 = p 0 R0 p1 R1, зависящим от априорных вероятностей наличия p1 и отсутствия p 0 полезного сигнала и стоимостей R1 и R0 ошибок. После логарифмирования можно записать оптимальную процедуру обнаружения в виде сравнения с пороговым значением /0 = (2 2 (1 + q ) q )ln 0 (1 + q ) суммы квадратов наблюдений, т.е.

Одним из существенных недостатков байесовского правила обнаружения сигналов является большое количество априорной информации о потерях и вероятностях состоянии объекта, которая должна быть в распоряжении наблюдателя. Этот недостаток наиболее отчетливо проявляется при анализе радиолокационных задач обнаружения цепи, когда указать априорные вероятности наличия цели в заданной области пространства и потери за счет ложной тревоги или пропуска цели оказывается весьма затруднительным. Поэтому в подобных задачах вместо байесовского критерия обычно используется критерий Неймана-Пирсона.

Согласно этому критерию выбирается такое правило обнаружения, которое обеспечивает минимальную величину вероятности пропуска сигнала (максимальную вероятность правильного обнаружения) при условии, что вероятность ложной тревоги не превышает заданной величины F0. Таким образом, оптимальное, в смысле критерия НейманаПирсона, правило обнаружения минимизирует при дополнительном ограничении Для поиска оптимальной процедуры обработки данных преобразуем задачу на условный экстремум (3.12) при условии (3.13) к задаче на безусловный экстремум. С этой целью воспользуемся методом множителей Лагранжа [27]. Введем множитель Лагранжа и запишем функцию Лагранжа После преобразований, аналогичных выводу формулы (3.5), соотношение (3.14) можно переписать в виде:

Сравнение полученного выражения с формулой (3.5) показывает, что минимум функции Лагранжа достигается, если в качестве критической области выбрать совокупность точек y, удовлетворяющих неравенству При этом множитель, являющийся пороговым значением, должен находиться из условия (3.13) равенства вероятности ложной тревоги заданной величине F0.

Из сравнения (3.15) и (3.8) можно заключить, что оптимальное, в смысле критерия Неймана-Пирсона, правило обнаружения отличается от байесовского лишь величиной порогового уровня, с которым производится сравнение отношения правдоподобия.

В качестве примера построения обнаружителя (3.15) рассмотрим задачу проверки гипотезы H 0 :

при альтернативе Такая задача возникает в тех случаях, когда появление полезного сигнала вызывает изменение среднего значения нормального шума на величину a.

При независимых отсчётах y1, y2,..., yn входного процесса отношение правдоподобия может быть записано в виде обнаружения сигнала:

причем пороговый уровень T0 выбирается из условия Поскольку сумма T нормальных случайных величин (СВ) подчиняется нормальному закону распределения, то при отсутствии сигнала можно w(T H 0 ) = 1 2 exp ( T 2n ). С учетом формул табл.1 соотношение (3.17) перепишется в форме 0 T0 n 2 = 0,5 F0. Из этого равенства по таблицам функции Лапласа 0 (x ) [1–4] можно определить величину порогового уровня T0. Так, при F0 = 10 2 получим T0 n 2 = 2,32 ; при F0 = 10 3, T0 n 2 = 3,09.

Рассмотрим методы анализа помехоустойчивости систем обнаружения сигналов, т.е. методы расчета вероятности ложной тревоги (3.1) и вероятности пропуска сигнала (3.2) (или вероятности правильного обнаружения (3.3)). Подобные расчеты являются обязательным этапом проектирования систем обнаружения, осуществляемым после синтеза оптимального алгоритма.

Как было показано в п.3.1, оптимальный по нескольким критериям качества алгоритм обнаружения сигналов состоит в сравнении с порогом отношения правдоподобия. Для независимых отсчетов y1, y 2,..., y n входного процесса такой алгоритм может быть записан в форме произведения После логарифмирования (3.18) процедура обработки приводится к виду:

вероятностей необходимо найти ПРВ w(z H 0 ) и w(z H 1 ) и вычислить интегралы (3.20).

Поскольку для расчета (3.20) при известных ПРВ w(z H 0 ) и w(z H 1 ) могут эффективно использоваться численные методы интегрирования, то, как правило, наиболее трудоемким является определение ПРВ суммы z СВ l i, i = 1, 2,..., n, полученных, вообще говоря, нелинейным преобразованием li ( y i ).

Условные законы распределения каждого слагаемого li ( y i ) находят с помощью формулы (1.36). Для рассматриваемой задачи выражение (1.36) перепишется в виде:

Заметим, что в правой части (3.21) необходимо заменить y i на функцию y i = y i (l i ), полученную в результате решения уравнения l i = l i ( y i ) относительно y i.

распределения суммы z = l i независимых СВ l i, i = 1, 2,..., n. Для этого используется либо точный подход, основанный на вычислении характеристических функций (1.39), либо приближенный, базирующийся на центральной предельной теореме теории вероятностей.

Точный расчет характеристик обнаружения осуществляется следующим образом. Вначале находятся характеристические функции слагаемых:

произведения характеристических функции слагаемых:

Наконец, с помощью обратного преобразования Фурье (1.39) вычисляются искомые ПРВ.

В качестве примера проведем расчет характеристик алгоритма обнаружения (3.11) z = yi2 > z0, синтезированного для релеевских ПРВ (3.9), (3.10).

быть найдены с помощью формулы (3.21) где = 1 2 2 (1 + q ). Характеристические функции имеет один и тот же вид находится характеристическая функция суммы z независимых СВ Интеграл в обратном преобразовании Фурье (3.24) наиболее просто вычисляется с помощью вычетов. Интегрируя последнее выражение еще раз с помощью таблиц [25], получаем следующую расчетную формулу для вероятности правильного обнаружения где Г (n ; z 0 ) – неполная гамма-функция, табулированная, например, в При отсутствии полезного сигнала изменяется лишь параметр, но все Поэтому вероятность ложной тревоги также находится по формуле (3.25), если положить, что q = 0 :

В радиолокационных задачах обнаружения полученные формулы (3.25) и (3.26) обычно используются следующим образом. По заданной вероятности ложной тревоги PF из соотношения (3.26) определяют порог обнаружения распространенные таблицы распределения 2 [29], поскольку где P (a ; b ) – табулированная функция (распределение 2 [29]). После определения z 0 2 2 формула (3.25) позволяет рассчитать характеристики обнаружения, т.е. зависимость вероятности правильного обнаружения PD от величины отношения сигнал/шум q. Такие характеристики приведены на рис.3.3 для двух значений вероятностей ложной тревоги PF = 10 2 и PF = 10 3 при n = 10. Соответствующие значения порога обнаружения z 0 2 2 = 18,5 и z 0 2 2 = 22,5 находятся по формуле (3.26).

Рис. 3.3. Характеристики обнаружения сигналов С помощью характеристик обнаружения можно по заданным значениям PD и PF определить необходимую величину порогового сигнала q, обеспечивающую требуемое качество обнаружения.

Рассмотренный метод дает возможность рассчитывать точные характеристики обнаружения сигналов. Однако во многих задачах возникают значительные, а иногда и непреодолимые, математические трудности, связанные, чаще всего, с нахождением обратного преобразования Фурье (3.24). В подобных ситуациях используют приближенный метод расчета характеристик, заключающийся в следующем. Если n велико и дисперсии M (l i M { i }) ограничены, то распределение суммы большого числа независимых СВ z = li ( y i ) согласно центральной предельной теореме приближается к нормальному [1-4,15]:

где m Z 0, Z 0 и m Z 1, Z 1 – условные математические ожидания и дисперсии z, когда справедливы гипотезы H 0 и H 1 соответственно.

Параметры (3.27) обычно могут быть вычислены достаточно просто, поскольку причем, с учетом основной теоремы (1.37) о математическом ожидании, После выполнения указанных преобразований искомые вероятности находятся по таблицам функции Лапласа. Рассматривая в качестве примера правило z = y i > z 0 обнаружения релеевского сигнала, запишем последовательно Полагая n = 10, PF = 102 и PF = 103, по таблицам функции Лапласа [5] находим z0 2 2 = 17,33 и z0 2 2 = 19,76 соответственно. Сравнивая теперь эти значения с пороговыми уровнями z0 2 2 = 18,5 и z0 2 2 = 22,5, рассчитанными с помощью точного соотношения (3.26), видим, что погрешность выше при меньшей вероятности ложной тревоги.

Для оценки применимости метода аппроксимации нормальным распределением в рассматриваемом примере на рис.3.3 нанесены пунктирные кривые, найденные с помощью приближенной формулы (3.30). Анализ приведенных зависимостей показывает, что приближенный метод приводит к значительным погрешностям при вероятности ложной тревоги PF < 103. Вместе с тем погрешность при PF = 102 во многих задачах может считаться допустимой. Кроме того, следует отметить, что приведенные погрешности соответствуют относительно малому значению n = 10, принятому в данной задаче. При обработке большего числа наблюдений погрешности за счет нормальной аппроксимации заметно уменьшаются, и при n > 30 100 точность приближенного метода, как правило, становится удовлетворительной.

К сожалению, в общем случае нельзя дать достаточно надежную аналитическую оценку погрешности, возникающей при замене действительного распределения суммы z = li ( y i ) нормальным. Поэтому при использовании приближенного метода расчета характеристик обнаружения необходимо применять те или иные приемы обеспечения достаточной степени уверенности в справедливости найденных результатов. Одним из таких приемов является метод статистического моделирования [10,31]. Суть метода заключается в формировании с помощью ЭВМ последовательности N псевдослучайных выборок для каждой выборки суммы z ( j ) = l i (y i( j ) ), j = 1, 2,..., N, и построении на основе случайных чисел {z }, j = 1, 2,..., N, гистограммы w * (z H 0 ), аппроксимирующей искомую ПРВ w(z H 0 ). Совершенно аналогично формируется гистограмма w * (z H 1 ), позволяющая дать оценку PD* вероятности правильного обнаружения PD. При этом погрешности оценивания вероятностей PF и PD зависят лишь от величин PD или PF и числа N экспериментов, т.е., в принципе, могут быть сделаны сколь угодно малыми при достаточно больших объемах вычислений на ЭВМ.

Действительно, рассмотрим оценку PD, в качестве которой используется частота PD* = k N, где k – число превышений суммой z порогового уровня z 0 в серии из N опытов. Поскольку k подчиняется биномиальному закону распределения (1.7) с параметром p = PD, то дисперсия ошибки оценивания вероятности правильного обнаружения определяется следующим образом:

Аналогично и M (PF* PF ) = PF (1 PF ) N. Итак, задавая погрешности оценивания PD или PF, можно с помощью этих формул определить необходимое число N повторений эксперимента.

Метод статистического моделирования во многих случаях требует проведения очень большого числа экспериментов и, следовательно, PF = 10 4, M (PF* PF ) PF = 0,01 получаем N = 10 8, и общее количество 108 n формируемых на ЭВМ псевдослучайных чисел, а также операций по вычислению l i (y i( j ) ) весьма велико. Для современных ЭВМ решение задач статистического моделирования часто требует десятков или сотен часов непрерывной работы. Поэтому анализ помехоустойчивости радиосистем требует в сложных случаях искусного сочетания аналитических методов и экспериментов на ЭВМ.