Винеровский фильтр - Wiener filter

В обработка сигналов, то Винеровский фильтр это фильтр используется для получения оценки желаемого или целевого случайного процесса с помощью линейного неизменяемого во времени (LTI ) фильтрация наблюдаемого зашумленного процесса в предположении известных стационарный спектры сигнала и шума, а также аддитивный шум. Фильтр Винера минимизирует среднеквадратичную ошибку между оцененным случайным процессом и желаемым процессом.

Описание

Цель фильтра Винера - вычислить статистическая оценка неизвестного сигнала с использованием связанного сигнала в качестве входа и фильтрации этого известного сигнала для получения оценки в качестве выхода. Например, известный сигнал может состоять из интересующего неизвестного сигнала, который был искажен дополнительным шум. Фильтр Винера может использоваться для фильтрации шума из искаженного сигнала, чтобы обеспечить оценку основного сигнала, представляющего интерес. Фильтр Винера основан на статистический подход, а более статистическое изложение теории дается в оценщик минимальной среднеквадратичной ошибки (MMSE) статья.

Типичные детерминированные фильтры предназначены для желаемого частотный отклик. Однако конструкция фильтра Винера использует другой подход. Предполагается, что кто-то знает спектральные свойства исходного сигнала и шума, а другой ищет линейный инвариантный во времени фильтр, выходной сигнал которого будет максимально приближен к исходному сигналу. Фильтры Винера характеризуются следующим:^[1]

1. Предположение: сигнал и (аддитивный) шум стационарно линейны. случайные процессы с известными спектральными характеристиками или известными автокорреляция и взаимная корреляция
2. Требование: фильтр должен быть физически реализуемым /причинный (от этого требования можно отказаться, что приведет к непричинному решению)
3. Критерий эффективности: минимальная среднеквадратичная ошибка (MMSE)

Этот фильтр часто используется в процессе деконволюция; для этого приложения см. Винеровская деконволюция.

Решения для фильтров Wiener

Позволять ${\displaystyle s(t)}$ быть неизвестным сигналом, который должен быть оценен из сигнала измерения ${\displaystyle x(t)}$. Проблема фильтра Винера имеет решения для трех возможных случаев: один, когда непричинный фильтр приемлем (требующий бесконечного количества как прошлых, так и будущих данных), случай, когда причинный желателен фильтр (с использованием бесконечного количества прошлых данных), а конечная импульсная характеристика (FIR) случай, когда используются только входные данные (т.е. результат или выход не передаются обратно в фильтр, как в случае IIR). Первый случай легко решить, но он не подходит для приложений реального времени. Основным достижением Винера было решение случая, в котором действует требование причинности; Норман Левинсон дал решение FIR в приложении к книге Винера.

Непричинное решение

${\displaystyle G(s)={\frac {S_{x,s}(s)}{S_{x}(s)}}e^{\alpha s},}$

куда ${\displaystyle S}$ находятся спектральные плотности. При условии, что ${\displaystyle g(t)}$ оптимально, то минимальная среднеквадратичная ошибка уравнение сводится к

${\displaystyle E(e^{2})=R_{s}(0)-\int _{-\infty }^{\infty }g(\tau )R_{x,s}(\tau +\alpha )\,d\tau ,}$

и решение ${\displaystyle g(t)}$ обратный двусторонний Преобразование Лапласа из ${\displaystyle G(s)}$.

Причинное решение

${\displaystyle G(s)={\frac {H(s)}{S_{x}^{+}(s)}},}$

куда

• ${\displaystyle H(s)}$ состоит из причинной части ${\displaystyle {\frac {S_{x,s}(s)}{S_{x}^{-}(s)}}e^{\alpha s}}$ (то есть та часть этой дроби, которая имеет положительное решение по времени при обратном преобразовании Лапласа)
• ${\displaystyle S_{x}^{+}(s)}$ причинный компонент ${\displaystyle S_{x}(s)}$ (т.е. обратное преобразование Лапласа ${\displaystyle S_{x}^{+}(s)}$ не равно нулю только для ${\displaystyle t\geq 0}$)
• ${\displaystyle S_{x}^{-}(s)}$ является антипричинным компонентом ${\displaystyle S_{x}(s)}$ (т.е. обратное преобразование Лапласа ${\displaystyle S_{x}^{-}(s)}$ не равно нулю только для ${\displaystyle t<0}$)

Эта общая формула сложна и заслуживает более подробного пояснения. Записать решение ${\displaystyle G(s)}$ в конкретном случае следует выполнить следующие действия:^[2]

1. Начнем со спектра ${\displaystyle S_{x}(s)}$ в рациональной форме и разложите его на причинную и антипричинную составляющие: ${\displaystyle S_{x}(s)=S_{x}^{+}(s)S_{x}^{-}(s)}$ куда ${\displaystyle S^{+}}$ содержит все нули и полюсы в левой полуплоскости (LHP) и ${\displaystyle S^{-}}$ содержит нули и полюсы в правой полуплоскости (RHP). Это называется Факторизация Винера – Хопфа.
2. Разделять ${\displaystyle S_{x,s}(s)e^{\alpha s}}$ к ${\displaystyle S_{x}^{-}(s)}$ и запишите результат в виде частичное расширение фракции.
3. Выбирайте только те термины в этом расширении, у которых есть полюсы в LHP. Назовите эти условия ${\displaystyle H(s)}$.
4. Разделять ${\displaystyle H(s)}$ к ${\displaystyle S_{x}^{+}(s)}$. Результатом является желаемая передаточная функция фильтра. ${\displaystyle G(s)}$.

Фильтр Винера с конечной импульсной характеристикой для дискретных серий

Блок-схема КИХ-фильтра Винера для дискретных серий. Входной сигнал ш[п] сворачивается с фильтром Винера грамм[п] и результат сравнивается с опорным сигналом s[п] для получения ошибки фильтрации е[п].

Причинная конечная импульсная характеристика (FIR) фильтр Винера, вместо использования некоторой заданной матрицы данных X и выходного вектора Y, находит оптимальные веса отводов, используя статистику входных и выходных сигналов. Он заполняет входную матрицу X оценками автокорреляции входного сигнала (T) и заполняет выходной вектор Y оценками взаимной корреляции между выходным и входным сигналами (V).

Чтобы получить коэффициенты фильтра Винера, рассмотрим сигнал ш[п] подается на фильтр порядка Винера (количество прошедших нажатий) N и с коэффициентами ${\displaystyle \{a_{0},\cdots ,a_{N}\}}$. Выход фильтра обозначен Икс[п], который задается выражением

${\displaystyle x[n]=\sum _{i=0}^{N}a_{i}w[n-i].}$

Остаточная ошибка обозначается е[п] и определяется как е[п] = Икс[п] − s[п] (см. соответствующую блок-схему). Фильтр Винера разработан таким образом, чтобы минимизировать среднеквадратичную ошибку (MMSE критерии), которые можно кратко сформулировать следующим образом:

${\displaystyle a_{i}=\arg \min E\left[e^{2}[n]\right],}$

куда ${\displaystyle E[\cdot ]}$ обозначает оператор ожидания. В общем случае коэффициенты ${\displaystyle a_{i}}$ может быть сложным и может быть получен для случая, когда ш[п] и s[п] тоже сложны. Для комплексного сигнала решаемой матрицей является Эрмитский Матрица Теплица, скорее, чем симметричный Матрица Теплица. Для простоты ниже рассматривается только случай, когда все эти величины действительны. Среднеквадратичная ошибка (MSE) может быть переписана как:

${\displaystyle {\begin{aligned}E\left[e^{2}[n]\right]&=E\left[(x[n]-s[n])^{2}\right]\\&=E\left[x^{2}[n]\right]+E\left[s^{2}[n]\right]-2E[x[n]s[n]]\\&=E\left[\left(\sum _{i=0}^{N}a_{i}w[n-i]\right)^{2}\right]+E\left[s^{2}[n]\right]-2E\left[\sum _{i=0}^{N}a_{i}w[n-i]s[n]\right]\end{aligned}}}$

Чтобы найти вектор ${\displaystyle [a_{0},\,\ldots ,\,a_{N}]}$ который минимизирует указанное выше выражение, вычислить его производную по каждому ${\displaystyle a_{i}}$

${\displaystyle {\begin{aligned}{\frac {\partial }{\partial a_{i}}}E\left[e^{2}[n]\right]&={\frac {\partial }{\partial a_{i}}}\left\{E\left[\left(\sum _{i=0}^{N}a_{i}w[n-i]\right)^{2}\right]+E\left[s^{2}[n]\right]-2E\left[\sum _{i=0}^{N}a_{i}w[n-i]s[n]\right]\right\}\\&=2E\left[\left(\sum _{j=0}^{N}a_{j}w[n-j]\right)w[n-i]\right]-2E[w[n-i]s[n]]\\&=2\left(\sum _{j=0}^{N}E[w[n-j]w[n-i]]a_{j}\right)-2E[w[n-i]s[n]]\end{aligned}}}$

При условии, что ш[п] и s[п] являются стационарными и вместе стационарными, последовательности ${\displaystyle R_{w}[m]}$ и ${\displaystyle R_{ws}[m]}$ известная соответственно как автокорреляция ш[п] и взаимная корреляция между ш[п] и s[п] можно определить следующим образом:

${\displaystyle {\begin{aligned}R_{w}[m]&=E\{w[n]w[n+m]\}\\R_{ws}[m]&=E\{w[n]s[n+m]\}\end{aligned}}}$

Следовательно, производная от MSE может быть переписана как:

${\displaystyle {\frac {\partial }{\partial a_{i}}}E\left[e^{2}[n]\right]=2\left(\sum _{j=0}^{N}R_{w}[j-i]a_{j}\right)-2R_{ws}[i]\qquad i=0,\cdots ,N.}$

Обратите внимание, что на самом деле ${\displaystyle w[n]}$автокорреляция симметрична:

$${\displaystyle R_{w}[j-i]=R_{w}[i-j]}$$

Если производная равна нулю, получим:

${\displaystyle \sum _{j=0}^{N}R_{w}[j-i]a_{j}=R_{ws}[i]\qquad i=0,\cdots ,N.}$

который можно переписать (используя указанное выше свойство симметрии) в матричной форме

${\displaystyle \underbrace {\begin{bmatrix}R_{w}[0]&R_{w}[1]&\cdots &R_{w}[N]\\R_{w}[1]&R_{w}[0]&\cdots &R_{w}[N-1]\\\vdots &\vdots &\ddots &\vdots \\R_{w}[N]&R_{w}[N-1]&\cdots &R_{w}[0]\end{bmatrix}} _{\mathbf {T} }\underbrace {\begin{bmatrix}a_{0}\\a_{1}\\\vdots \\a_{N}\end{bmatrix}} _{\mathbf {a} }=\underbrace {\begin{bmatrix}R_{ws}[0]\\R_{ws}[1]\\\vdots \\R_{ws}[N]\end{bmatrix}} _{\mathbf {v} }}$

Эти уравнения известны как Уравнения Винера – Хопфа. Матрица Т в уравнении появляется симметричный Матрица Теплица. При подходящих условиях на ${\displaystyle R}$, эти матрицы, как известно, являются положительно определенными и, следовательно, неособыми, дающими единственное решение для определения вектора коэффициентов фильтра Винера, ${\displaystyle \mathbf {a} =\mathbf {T} ^{-1}\mathbf {v} }$. Кроме того, существует эффективный алгоритм решения таких уравнений Винера – Хопфа, известный как Левинсон-Дурбин алгоритм, поэтому явное обращение Т не требуется.

В некоторых статьях функция взаимной корреляции определяется противоположным образом:

$${\displaystyle R_{sw}[m]=E\{w[n]s[n+m]\}}$$

Затем ${\displaystyle \mathbf {v} }$ матрица будет содержать ${\displaystyle R_{sw}[0]\ldots R_{sw}[N]}$; это просто разница в обозначениях.

Какие бы обозначения ни использовались, обратите внимание, что для реального ${\displaystyle w[n],s[n]}$:

$${\displaystyle R_{sw}[k]=R_{ws}[-k]}$$

Отношение к фильтру наименьших квадратов

Реализация причинного фильтра Винера очень похожа на решение наименьших квадратов оценка, за исключением области обработки сигналов. Решение методом наименьших квадратов для входной матрицы ${\displaystyle \mathbf {X} }$ и выходной вектор ${\displaystyle \mathbf {y} }$ является

${\displaystyle {\boldsymbol {\hat {\beta }}}=(\mathbf {X} ^{\mathbf {T} }\mathbf {X} )^{-1}\mathbf {X} ^{\mathbf {T} }{\boldsymbol {y}}.}$

КИХ-фильтр Винера относится к фильтр наименьших средних квадратов, но минимизация критерия ошибки последнего не полагается на взаимную корреляцию или автокорреляцию. Его решение сходится к решению фильтра Винера.

Комплексные сигналы

Для сложных сигналов вывод комплексного фильтра Винера выполняется путем минимизации ${\displaystyle E\left[|e[n]|^{2}\right]}$ =${\displaystyle E\left[e[n]e^{*}[n]\right]}$. Это включает в себя вычисление частных производных как по действительной, так и по мнимой части ${\displaystyle a_{i}}$и требует, чтобы они оба были равны нулю.

В результате получаются уравнения Винера-Хопфа:

${\displaystyle \sum _{j=0}^{N}R_{w}[j-i]a_{j}^{*}=R_{ws}[i]\qquad i=0,\cdots ,N.}$

который можно переписать в матричном виде:

${\displaystyle \underbrace {\begin{bmatrix}R_{w}[0]&R_{w}^{*}[1]&\cdots &R_{w}^{*}[N-1]&R_{w}^{*}[N]\\R_{w}[1]&R_{w}[0]&\cdots &R_{w}^{*}[N-2]&R_{w}^{*}[N-1]\\\vdots &\vdots &\ddots &\vdots &\vdots \\R_{w}[N-1]&R_{w}[N-2]&\cdots &R_{w}[0]&R_{w}^{*}[1]\\R_{w}[N]&R_{w}[N-1]&\cdots &R_{w}[1]&R_{w}[0]\end{bmatrix}} _{\mathbf {T} }\underbrace {\begin{bmatrix}a_{0}^{*}\\a_{1}^{*}\\\vdots \\a_{N-1}^{*}\\a_{N}^{*}\end{bmatrix}} _{\mathbf {a^{*}} }=\underbrace {\begin{bmatrix}R_{ws}[0]\\R_{ws}[1]\\\vdots \\R_{ws}[N-1]\\R_{ws}[N]\end{bmatrix}} _{\mathbf {v} }}$

Обратите внимание, что:

$${\displaystyle {\begin{aligned}R_{w}[-k]&=R_{w}^{*}[k]\\R_{sw}[k]&=R_{ws}^{*}[-k]\end{aligned}}}$$

Затем вектор коэффициентов Винера вычисляется как:

$${\displaystyle \mathbf {a} ={(\mathbf {T} ^{-1}\mathbf {v} )}^{*}}$$

Приложения

Фильтр Винера находит множество применений в обработке сигналов, обработке изображений, системах управления и цифровой связи. Эти приложения обычно относятся к одной из четырех основных категорий:

• Идентификация системы
• Деконволюция^[3]
• Подавление шума
• Обнаружение сигнала

Например, фильтр Винера можно использовать при обработке изображений для удаления шума с изображения. Например, используя функцию Mathematica:WienerFilter [изображение, 2] на первом изображении справа производит отфильтрованное изображение под ним.

Шумное изображение космонавта.

Шумное изображение космонавта после применения фильтра Винера.

Он обычно используется для шумоподавления звуковых сигналов, особенно речи, в качестве препроцессора перед распознавание речи.

История

Фильтр был предложен Норберт Винер в 1940-х годах и опубликовано в 1949 году.^[4] Эквивалент работы Винера в дискретном времени был независимо получен Андрей Колмогоров и опубликована в 1941 году. Поэтому теорию часто называют Винер – Колмогоров теория фильтрации (ср. Кригинг ). Фильтр Винера был первым предложенным статистически разработанным фильтром и впоследствии породил множество других, включая Фильтр Калмана.

Смотрите также

• Норберт Винер
• Эберхард Хопф
• Винеровская деконволюция
• фильтр наименьших средних квадратов
• сходство между Wiener и LMS
• линейное предсказание
• Оценщик MMSE
• Фильтр Калмана
• обобщенный фильтр Винера
• согласованный фильтр
• Теория информационного поля

Рекомендации

1. Браун, Роберт Гровер; Хван, Патрик И.С. (1996). Введение в случайные сигналы и прикладную фильтрацию Калмана (3-е изд.). Нью-Йорк: Джон Вили и сыновья. ISBN  978-0-471-12839-7.
2. Уэлч, Ллойд Р. "Теория Винера – Хопфа" (PDF).^{[мертвая ссылка ]}
3. [1]. "Д. Булфельфель, Р. М. Рангаян, Л. Дж. Хан и Р. Клойбер, 1994," Трехмерное восстановление изображений однофотонной эмиссионной компьютерной томографии ", IEEE Transactions on Nuclear Science, 41 (5): 1746-1754, октябрь 1994. ".
4. Винер, Норберт (1949). Экстраполяция, интерполяция и сглаживание стационарных временных рядов. Нью-Йорк: Вили. ISBN  978-0-262-73005-1.

• Томас Кайлат, Али Х. Сайед, и Бабак Хассиби, Линейное оценивание, Прентис-Холл, Нью-Джерси, 2000 г. ISBN  978-0-13-022464-4.
• Винер Н.: Интерполяция, экстраполяция и сглаживание стационарных временных рядов », Отчет Службы 19, Исследовательский проект DIC-6037 MIT, февраль 1942 г.
• Колмогоров А.Н. Стационарные последовательности в гильбертовом пространстве, Бюл. Московский унив. 1941 том 2 номер 6 1-40. Английский перевод в Kailath T. (ed.) Линейная оценка методом наименьших квадратов Дауден, Хатчинсон и Росс 1977

внешняя ссылка

• Mathematica WienerFilter функция