Неполнота - Overcompleteness

Неполнота это концепция от линейная алгебра который широко используется в математике, информатике, инженерии и статистике (обычно в виде переполненных кадры ). Он был представлен Р. Дж. Даффин и А. К. Шеффер в 1952 г.^[1]

Формально подмножество векторов ${\displaystyle \{\phi _{i}\}_{i\in J}}$ из Банахово пространство ${\displaystyle X}$, иногда называемый "системой", полный если каждый элемент в ${\displaystyle X}$ можно сколь угодно хорошо аппроксимировать по норме конечными линейными комбинациями элементов из ${\displaystyle \{\phi _{i}\}_{i\in J}}$.^[2] Такая полная система переполнен если удаление ${\displaystyle \phi _{j}}$ из системы приводит к системе (т.е. ${\displaystyle \{\phi _{i}\}_{i\in J\backslash \{j\}}}$), который все еще готов.

В таких областях исследований, как обработка сигналов и аппроксимация функций, избыточная полнота может помочь исследователям достичь более стабильной, надежной или более компактной декомпозиции, чем использование базиса.^[3]

Связь между неполнотой и фреймами

Переполнота обычно обсуждается как свойство переполненных кадров. Теория репера берет начало в работе Даффина и Шеффера о негармонических рядах Фурье.^[1] Фрейм определяется как набор ненулевых векторов ${\displaystyle \{\phi _{i}\}_{i\in J}}$ такой, что для произвольного ${\displaystyle f\in {\mathcal {H}}}$,

${\displaystyle A\|f\|^{2}\leq \sum _{i\in J}|\langle f,\phi _{i}\rangle |^{2}\leq B\|f\|^{2}}$

куда ${\displaystyle \langle \cdot ,\cdot \rangle }$ обозначает внутренний продукт, ${\displaystyle A}$ и ${\displaystyle B}$ положительные константы, называемые границами фрейма. Когда ${\displaystyle A}$ и ${\displaystyle B}$ можно выбрать так, чтобы ${\displaystyle A=B}$, рамка называется жесткой.^[4]

Видно, что ${\displaystyle {\mathcal {H}}=\operatorname {span} \{\phi _{i}\}}$Пример кадра можно привести следующим образом. Пусть каждый из ${\displaystyle \{\alpha _{i}\}_{i=1}^{\infty }}$ и ${\displaystyle \{\beta _{i}\}_{i=1}^{\infty }}$ быть ортонормированным базисом ${\displaystyle {\mathcal {H}}}$, тогда

${\displaystyle \{\phi _{i}\}_{i=1}^{\infty }=\{\alpha _{i}\}_{i=1}^{\infty }\cup \{\beta _{i}\}_{i=1}^{\infty }}$

это рамка ${\displaystyle {\mathcal {H}}}$ с ограничениями ${\displaystyle A=B=2}$.

Позволять ${\displaystyle S}$ быть оператором фрейма,

${\displaystyle Sf=\sum _{i\in J}\langle f,\phi _{i}\rangle \phi _{i}}$

Рамка, которая не является Основа Рисса, и в этом случае он состоит из набора функций больше, чем базис, называется переполненным. В этом случае, учитывая ${\displaystyle f\in {\mathcal {H}}}$, он может иметь различную декомпозицию в зависимости от кадра. Кадр, приведенный в приведенном выше примере, является переполненным.

Когда кадры используются для оценки функции, может потребоваться сравнить производительность разных кадров. Экономия аппроксимирующих функций разными кадрами может рассматриваться как один из способов сравнения их характеристик.^[5]

Учитывая терпимость ${\displaystyle \epsilon }$ и рама ${\displaystyle F=\{\phi _{i}\}_{i\in J}}$ в ${\displaystyle L^{2}(\mathbb {R} )}$, для любой функции ${\displaystyle f\in L^{2}(\mathbb {R} )}$, определим множество всех аппроксимирующих функций, удовлетворяющих ${\displaystyle \|f-{\hat {f}}\|<\epsilon }$

${\displaystyle N(f,\epsilon )=\{{\hat {f}}:{\hat {f}}=\sum _{i=1}^{k}\beta _{i}\phi _{i},\|f-{\hat {f}}\|<\epsilon \}}$

Тогда пусть

${\displaystyle k_{F}(f,\epsilon )=\inf\{k:{\hat {f}}\in N(f,\epsilon )\}}$

${\displaystyle k(f,\epsilon )}$ указывает на экономичность использования рамы ${\displaystyle F}$ приблизить ${\displaystyle f}$. Разные ${\displaystyle f}$ могут быть разные ${\displaystyle k}$ на основе твердости, которая должна быть аппроксимирована элементами в раме. Наихудший случай оценки функции в ${\displaystyle L^{2}(\mathbb {R} )}$ определяется как

${\displaystyle k_{F}(\epsilon )=\sup _{f\in L^{2}(\mathbb {R} )}\{k_{F}(f,\epsilon )\}}$

Для другого кадра ${\displaystyle G}$, если ${\displaystyle k_{F}(\epsilon )<k_{G}(\epsilon )}$, затем кадр ${\displaystyle F}$ лучше, чем рамка ${\displaystyle G}$ на уровне ${\displaystyle \epsilon }$. И если существует ${\displaystyle \gamma }$ что для каждого ${\displaystyle \epsilon <\gamma }$, у нас есть ${\displaystyle k_{F}(\epsilon )<k_{G}(\epsilon )}$, тогда ${\displaystyle F}$ лучше, чем ${\displaystyle G}$ в широком смысле.

Полнокомплектные кадры обычно строятся тремя способами.

1. Комбинируйте набор базисов, таких как базис вейвлетов и базис Фурье, чтобы получить переполненный кадр.
2. Увеличьте диапазон параметров в каком-либо кадре, например, в кадре Габора и вейвлет frame, чтобы кадр получился переполненным.
3. Добавьте некоторые другие функции к существующей полной основе, чтобы получить переполненный фрейм.

Пример переполненного кадра показан ниже. Собранные данные находятся в двухмерном пространстве, и в этом случае основа с двумя элементами должна быть в состоянии объяснить все данные. Однако, когда в данные включается шум, базис может быть не в состоянии выразить свойства данных. Если для выражения данных используется переполненный кадр с четырьмя элементами, соответствующими четырем осям на рисунке, каждая точка может иметь хорошее выражение в переполненном кадре.

• 

  Пример переполненного кадра

Гибкость переполненного кадра - одно из его ключевых преимуществ при использовании для выражения сигнала или аппроксимации функции. Однако из-за этой избыточности функция может иметь несколько выражений в переполненном кадре.^[6] Когда шкала конечна, разложение может быть выражено как

${\displaystyle f=Ax}$

куда ${\displaystyle f}$ функция, которую нужно аппроксимировать, ${\displaystyle A}$ матрица, содержащая все элементы в кадре, а ${\displaystyle x}$ коэффициенты при ${\displaystyle f}$ под представлением ${\displaystyle A}$. Без каких-либо других ограничений рамка выберет ${\displaystyle x}$ с минимальной нормой в ${\displaystyle L^{2}(\mathbb {R} )}$. Исходя из этого, при решении уравнения можно также учитывать некоторые другие свойства, такие как разреженность. Поэтому разные исследователи работали над решением этого уравнения, добавляя другие ограничения в целевую функцию. Например, ограничение, минимизирующее ${\displaystyle x}$норма в ${\displaystyle L^{1}(\mathbb {R} )}$ может использоваться при решении этого уравнения. Это должно быть эквивалентно Лассо регресс в статистическом сообществе. Байесовский подход также используется для устранения избыточности в переполненном кадре. Левицки и Сейновски предложили алгоритм для переполненного кадра, рассматривая его как вероятностную модель наблюдаемых данных.^[6] Недавно переполненный фрейм Габора был объединен с методом выбора байесовской переменной для достижения обоих малых коэффициентов расширения нормы в ${\displaystyle L^{2}(\mathbb {R} )}$ и разреженность элементов.^[7]

Примеры переполненных кадров

В современном анализе в области обработки сигналов и других областях техники предлагаются и используются различные переполненные кадры. Здесь представлены и обсуждаются два часто используемых кадра, кадры Габора и кадры вейвлетов.

Рамки Gabor

При обычном преобразовании Фурье функция во временной области преобразуется в частотную область. Однако преобразование показывает только частотное свойство этой функции и теряет информацию во временной области. Если функция окна ${\displaystyle g}$, которая имеет ненулевое значение только в небольшом интервале, умножается на исходную функцию перед выполнением преобразования Фурье, и информация во временной и частотной областях может оставаться в выбранном интервале. Когда последовательность перевода ${\displaystyle g}$ используется в преобразовании, информация о функции во временной области сохраняется после преобразования.

Пусть операторы

${\displaystyle T_{a}:L^{2}(R)\rightarrow L^{2}(R),(T_{a}f)(x)=f(x-a)}$

${\displaystyle E_{b}:L^{2}(R)\rightarrow L^{2}(R),(E_{b}f)(x)=e^{2\pi ibx}f(x)}$

${\displaystyle D_{c}:L^{2}(R)\rightarrow L^{2}(R),(D_{c}f)(x)={\frac {1}{\sqrt {c}}}f\left({\frac {x}{c}}\right)}$

Рама Gabor (названа в честь Деннис Габор а также называется Weyl -Гейзенберг кадр) в ${\displaystyle L^{2}(R)}$ определяется как форма ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$, куда ${\displaystyle a,b>0}$ и ${\displaystyle g\in L^{2}(R)}$ фиксированная функция.^[8] Однако не для всех ${\displaystyle a}$ и ${\displaystyle b}$ ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$образует рамку на ${\displaystyle L^{2}(R)}$. Например, когда ${\displaystyle ab>1}$, это не рамка для ${\displaystyle L^{2}(R)}$. Когда ${\displaystyle ab=1}$, ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$ может быть каркасом, и в этом случае это базис Рисса. Итак, возможная ситуация для ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$ быть переполненным кадром - это ${\displaystyle ab<1}$Семья Габор ${\displaystyle \{E_{mb/c}T_{nac}g_{c}\}_{m,n\in Z}}$ также является фреймом и имеет те же границы фрейма, что и ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}.}$

Различные виды оконных функций ${\displaystyle g}$ может использоваться в раме Gabor. Здесь показаны примеры трех оконных функций, а условие для соответствующей системы Габора, являющейся фреймом, показано ниже.

• 

  Три оконные функции, используемые при генерации фреймов Gabor.

(1) ${\displaystyle g(x)=e^{-x^{2}}}$, ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$ это рамка, когда${\displaystyle ab<0.994}$

(2) ${\displaystyle g(x)={\frac {1}{cosh(\pi x)}}}$, ${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$ это рамка, когда${\displaystyle ab<1}$

(3) ${\displaystyle g(x)=I_{[0,c)}(x)}$, куда ${\displaystyle I(x)}$ - индикаторная функция. Ситуация для${\displaystyle \{E_{mb}T_{na}g\}_{m,n\in Z}}$ быть рамкой стоит следующим образом.

1) ${\displaystyle a>c}$ или же ${\displaystyle a>1}$а не фрейм

2) ${\displaystyle c>1}$ и ${\displaystyle a=1}$а не фрейм

3) ${\displaystyle a\leq c\leq 1}$, это рамка

4) ${\displaystyle a<1}$ и является иррациональным, и ${\displaystyle c\in (1,2)}$, это рамка

5) ${\displaystyle a={\frac {p}{q}}<1}$, ${\displaystyle p}$ и ${\displaystyle q}$ относительно простые числа, ${\displaystyle 2-{\frac {1}{q}}<c<2}$а не фрейм

6) ${\displaystyle {\frac {3}{4}}<a<1}$ и ${\displaystyle c=L-1+L(1-a)}$, куда ${\displaystyle L\geq 3}$ и быть натуральным числом, а не рамкой

7) ${\displaystyle a<1}$, ${\displaystyle c>1}$, ${\displaystyle |c-[c]-{\frac {1}{2}}|<{\frac {1}{2}}-a}$, куда ${\displaystyle [c]}$ это наибольшее целое число, не превышающее ${\displaystyle c}$, это рамка.

Вышеупомянутое обсуждение является кратким изложением главы 8 в.^[8]

Кадры вейвлета

Набор вейвлетов обычно относится к набору функций, основанных на ${\displaystyle \psi }$

${\displaystyle \{2^{\frac {j}{2}}\psi (2^{j}x-k)\}_{j,k\in Z}}$

Это составляет ортонормированную основу для ${\displaystyle L^{2}(R)}$. Однако когда ${\displaystyle j,k}$ может принимать значения в${\displaystyle R}$, набор представляет собой переполненный кадр и называется недецимацией вейвлет-основы. В общем случае кадр ававлета определяется как кадр для ${\displaystyle L^{2}(R)}$ формы

${\displaystyle \{a^{\frac {j}{2}}\psi (a^{j}x-kb)\}_{j,k\in Z}}$

куда ${\displaystyle a>1}$, ${\displaystyle b>0}$, и ${\displaystyle \psi \in L^{2}(R)}$Верхнюю и нижнюю границы этого кадра можно вычислить следующим образом. ${\displaystyle {\hat {\psi }}(\gamma )}$ - преобразование Фурье для ${\displaystyle \psi \in L^{1}(R)}$

${\displaystyle {\hat {\psi }}(\gamma )=\int _{R}\psi (x)e^{-2\pi ix\gamma }dx}$

Когда ${\displaystyle a,b}$ фиксированы, определить

${\displaystyle G_{0}(\gamma )=\sum _{j\in Z}|{\hat {\psi }}(a^{j}\gamma )|^{2}}$

${\displaystyle G_{1}(\gamma )=\sum _{k\neq 0}\sum _{j\in Z}|{\hat {\psi }}(a^{j}\gamma ){\hat {\psi }}(a^{j}\gamma +{\frac {k}{b}})|}$

потом

${\displaystyle B={\frac {1}{b}}\sup _{|\gamma |\in [1,a]}(G_{0}(\gamma )+G_{1}(\gamma ))<\infty }$

${\displaystyle A={\frac {1}{b}}\inf _{|\gamma |\in [1,a]}(G_{0}(\gamma )-G_{1}(\gamma ))>0}$

Кроме того, когда

${\displaystyle \sum _{j\in Z}|{\hat {\psi }}(2^{j}\gamma )|^{2}=A}$

${\displaystyle \sum _{j=0}^{\infty }{\hat {\psi }}(2^{j}\gamma ){\overline {{\hat {\psi }}(2^{j}(\gamma +q))}}=0}$, для всех нечетных целых чисел ${\displaystyle q}$

сгенерированный кадр ${\displaystyle \{\psi _{j,k}\}_{j,k\in Z}}$ это плотный каркас.

Обсуждение в этом разделе основано на главе 11 в.^[8]

Приложения

Переполненные кадры Габора и кадры вейвлета использовались в различных областях исследований, включая обнаружение сигналов, представление изображений, распознавание объектов и т. Д. подавление шума, теория выборки, теория операторов, гармонический анализ, нелинейное разреженное приближение, псевдодифференциальные операторы, беспроводная связь, геофизика, квантовые вычисления и банки фильтров.^[3][8]

Рекомендации

1. Р. Дж. Даффин, А. К. Шеффер, Класс негармонических рядов Фурье, Труды Американского математического общества, т. 72, нет. 2, стр. 341–366, 1952. [Online]. Имеется в наличии: https://www.jstor.org/stable/1990760
2. К. Хайль, Учебник по основам теории: расширенное издание. Бостон, Массачусетс: Birkhauser, 2010.
3. Р. Балан, П. Казацца, К. Хайль, З. Ландау, Плотность, неполнота и локализация фреймов. I. Теория, Журнал анализа и приложений Фурье, вып. 12, вып. 2, 2006.
4. К. Грочениг, Основы частотно-временного анализа. Бостон, Массачусетс: Birkhauser, 2000.
5. [1], STA218, Примечание класса интеллектуального анализа данных в Университете Дьюка
6. М. С. Левицки и Т. Дж. Сейновски, Изучение сверхполных представлений, Нейронные вычисления, т. 12, вып. 2, стр. 337 {365, 2000.
7. П. Вулф, С. Годсилл и В. Нг, Выбор байесовских переменных и регуляризация для частотно-временной оценки поверхности, J. R. Statist. Soc. В, т. 66, нет. 3, 2004.
8. О. Кристенсен, Введение в фреймы и базисы Рисса. Бостон, Массачусетс: Birkhauser, 2003.