Теорема Шеннона – Хартли. - Shannon–Hartley theorem

В теория информации, то Теорема Шеннона – Хартли. сообщает максимальную скорость, с которой информация может быть передана по каналу связи указанного пропускная способность в присутствии шум. Это приложение теорема кодирования с шумом к архетипическому случаю непрерывное время аналог канал связи при условии Гауссов шум. Теорема устанавливает Шеннон пропускная способность канала для такого канала связи ограничение на максимальное количество безошибочных Информация за единицу времени, которая может быть передана с указанным пропускная способность при наличии шумовых помех, предполагая, что мощность сигнала ограничена, и что процесс гауссовского шума характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клод Шеннон и Ральф Хартли.

Формулировка теоремы

Теорема Шеннона – Хартли утверждает, что пропускная способность канала ${ displaystyle C}$ , что означает теоретически наиболее точную верхнюю границу скорость передачи информации данных, которые могут быть переданы с произвольно низкой частота ошибок с использованием средней мощности принятого сигнала ${ displaystyle S}$ через аналоговый канал связи при условии аддитивный белый гауссов шум (AWGN) мощности ${ displaystyle N}$ :

${ displaystyle C = B log _ {2} left (1 + { frac {S} {N}} right)}$

где

${ displaystyle C}$ это пропускная способность канала в бит в секунду, теоретическая верхняя граница чистая скорость передачи данных (скорость передачи информации, иногда обозначается ${ displaystyle I}$ ) без учета кодов исправления ошибок;
${ displaystyle B}$ это пропускная способность канала в герц (полоса пропускания пропускная способность в случае полосового сигнала);
${ displaystyle S}$ - средняя мощность принятого сигнала по полосе пропускания (в случае передачи полосы пропускания с модуляцией несущей, часто обозначаемой C ), измеряется в ваттах (или вольтах в квадрате);
${ displaystyle N}$ - средняя мощность шума и помех по полосе пропускания, измеренная в ваттах (или в вольтах в квадрате); и
${ Displaystyle S / N}$ это сигнал-шум (SNR) или отношение несущая / шум (CNR) сигнала связи к шуму и помехам на приемнике (выражается как линейное отношение мощностей, а не как логарифмическое децибелы ).

Историческое развитие

В конце 1920-х гг. Гарри Найквист и Ральф Хартли разработал несколько фундаментальных идей, связанных с передачей информации, особенно в контексте телеграф как система связи. В то время эти концепции по отдельности были мощным прорывом, но не были частью всеобъемлющей теории. В 1940-х годах Клод Шеннон разработал концепцию пропускной способности канала, частично основанную на идеях Найквиста и Хартли, а затем сформулировал полную теорию информации и ее передачи.

Курс Найквиста

В 1927 году Найквист определил, что количество независимых импульсов, которые могут быть пропущены через телеграфный канал за единицу времени, ограничено вдвое большим пропускная способность канала. В символической записи

{ displaystyle f_ {p} leq 2B}

где ${ displaystyle f_ {p}}$ - частота импульсов (в импульсах в секунду) и ${ displaystyle B}$ - полоса пропускания (в герцах). Количество ${ displaystyle 2B}$ позже стали называть Курс Найквиста, и передача с предельной частотой следования импульсов ${ displaystyle 2B}$ импульсов в секунду как сигнализация по ставке Найквиста. Найквист опубликовал свои результаты в 1928 году в рамках своей статьи «Некоторые вопросы теории передачи телеграфа».

Закон Хартли

В 1928 году Хартли сформулировал способ количественной оценки информации и ее линейная скорость (также известен как скорость передачи данных р бит в секунду).^[1] Этот метод, позже известный как закон Хартли, стал важным предшественником более изощренного представления Шеннона о пропускной способности канала.

Хартли утверждал, что максимальное количество различимых уровней импульсов, которые могут быть надежно переданы и приняты по каналу связи, ограничено динамическим диапазоном амплитуды сигнала и точностью, с которой приемник может различать уровни амплитуды. В частности, если амплитуда передаваемого сигнала ограничена диапазоном [-А ... +А] вольт, а точность приемника составляет ± ΔV вольт, то максимальное количество отдельных импульсов M дан кем-то

{ Displaystyle M = 1 + {A over Delta V}}

.

Принимая информацию на импульс в битах / импульсах как основание-2-логарифм количества различных сообщений M что можно отправить, Хартли^[2] построил меру линейной скорости р так как:

{ displaystyle R = f_ {p} log _ {2} (M),}

где ${ displaystyle f_ {p}}$ - частота следования импульсов, также известная как скорость передачи символов, в символах в секунду или бод.

Затем Хартли объединил приведенную выше количественную оценку с наблюдением Найквиста о том, что количество независимых импульсов, которые могут быть пропущены через канал с полосой пропускания ${ displaystyle B}$ герц был ${ displaystyle 2B}$ импульсов в секунду, чтобы получить количественную оценку достижимой скорости линии.

Закон Хартли иногда называют просто пропорциональностью между аналоговая полоса пропускания, ${ displaystyle B}$ , в Герцах и то, что сегодня называется цифровая полоса пропускания, ${ displaystyle R}$ , в бит / с.^[3]В других случаях он указывается в более количественной форме как достижимая линейная скорость ${ displaystyle R}$ бит в секунду:^[4]

{ Displaystyle R Leq 2B log _ {2} (M).}

Хартли не понял, как именно число M должны зависеть от статистики шума канала или от того, как можно сделать надежную связь, даже если отдельные символьные импульсы не могут быть надежно различимы для M уровни; со статистикой гауссова шума разработчики системы должны были выбрать очень консервативное значение ${ displaystyle M}$ для достижения низкого уровня ошибок.

Идея безошибочной пропускной способности ждала Клода Шеннона, который основывался на наблюдениях Хартли о логарифмической мере информации и наблюдениях Найквиста о влиянии ограничений пропускной способности.

Результат оценки Хартли можно рассматривать как способность безошибочного M-арный канал ${ displaystyle 2B}$ символов в секунду. Некоторые авторы называют это емкостью. Но такой канал без ошибок является идеализацией, и если M выбрано достаточно малым, чтобы сделать канал с шумами почти безошибочным, результат обязательно будет меньше, чем пропускная способность Шеннона канала с полосой пропускания. ${ displaystyle B}$ , который является результатом Хартли – Шеннона, полученным позже.

Теорема кодирования зашумленного канала и пропускная способность

Клод Шеннон развитие теория информации во время Второй мировой войны явилась следующим большим шагом в понимании того, какой объем информации можно надежно передавать через шумные каналы. Основываясь на фундаменте Хартли, Шеннон теорема кодирования канала с шумом (1948) описывает максимально возможную эффективность методы исправления ошибок в сравнении с уровнями шумовых помех и искажения данных.^[5]^[6] Доказательство теоремы показывает, что случайно построенный код с исправлением ошибок по существу не хуже наилучшего возможного кода; Теорема доказывается с помощью статистики таких случайных кодов.

Теорема Шеннона показывает, как вычислить пропускная способность канала из статистического описания канала, и устанавливает, что при наличии шумного канала с пропускной способностью C и информацией, передаваемой со скоростью линии ${ displaystyle R}$ , то если

{ Displaystyle R

существует метод кодирования, который позволяет сделать вероятность ошибки на приемнике сколь угодно малой. Это означает, что теоретически можно передавать информацию почти без ошибок почти до предела ${ displaystyle C}$ бит в секунду.

Обратное тоже важно. Если

{ displaystyle R> C}

вероятность ошибки на приемнике неограниченно возрастает с увеличением скорости. Таким образом, никакая полезная информация не может передаваться за пределы пропускной способности канала. Теорема не рассматривает редкую ситуацию, в которой скорость и емкость равны.

Теорема Шеннона – Хартли устанавливает, какова пропускная способность канала для конечной полосы пропускания. непрерывное время канал подвержен гауссовскому шуму. Он связывает результат Хартли с теоремой Шеннона о пропускной способности канала в форме, эквивалентной указанию M в формуле Хартли для линейной скорости с точки зрения отношения сигнал / шум, но надежность достигается за счет кодирования с исправлением ошибок, а не за счет надежно различимых уровней импульсов.

Если бы существовала такая вещь, как аналоговый канал без шума, можно было бы передавать по нему неограниченное количество безошибочных данных за единицу времени (Примечание: аналоговый канал с бесконечной полосой пропускания не может передавать неограниченное количество безошибочных данных. , без бесконечной мощности сигнала). Однако реальные каналы подвержены ограничениям, налагаемым как конечной шириной полосы, так и ненулевым шумом.

Полоса пропускания и шум влияют на скорость, с которой информация может передаваться по аналоговому каналу. Сами по себе ограничения полосы пропускания не накладывают ограничения на максимальную скорость передачи информации, потому что сигнал все еще может принимать неопределенно большое количество разных уровней напряжения на каждом символьном импульсе, причем каждому немного разному уровню присваивается другое значение или битовая последовательность. . Однако, принимая во внимание ограничения как шума, так и полосы пропускания, существует ограничение на количество информации, которое может быть передано с помощью сигнала ограниченной мощности, даже когда используются сложные методы многоуровневого кодирования.

В канале, рассматриваемом теоремой Шеннона – Хартли, шум и сигнал суммируются. То есть приемник измеряет сигнал, который равен сумме сигнала, кодирующего желаемую информацию, и непрерывной случайной величины, представляющей шум. Это добавление создает неопределенность относительно значения исходного сигнала. Если приемник имеет некоторую информацию о случайном процессе, который генерирует шум, в принципе можно восстановить информацию в исходном сигнале, рассматривая все возможные состояния шумового процесса. В случае теоремы Шеннона – Хартли предполагается, что шум генерируется гауссовским процессом с известной дисперсией. Поскольку дисперсия гауссовского процесса эквивалентна его мощности, принято называть эту дисперсию мощностью шума.

Такой канал называется каналом аддитивного белого гауссова шума, поскольку к сигналу добавляется гауссовский шум; «белый» означает равное количество шума на всех частотах в полосе пропускания канала. Такой шум может возникать как из-за случайных источников энергии, так и из-за ошибок кодирования и измерения на отправителе и получателе соответственно. Поскольку суммы независимых гауссовских случайных величин сами являются гауссовыми случайными величинами, это удобно упрощает анализ, если предположить, что такие источники ошибок также являются гауссовыми и независимыми.

Следствия теоремы

Сравнение способности Шеннона с законом Хартли

Сравнивая пропускную способность канала со скоростью передачи информации по закону Хартли, мы можем найти эффективное количество различимых уровней M:^[7]

{ displaystyle 2B log _ {2} (M) = B log _ {2} left (1 + { frac {S} {N}} right)}

{ displaystyle M = { sqrt {1 + { frac {S} {N}}}}.}

Квадратный корень эффективно преобразует коэффициент мощности обратно в коэффициент напряжения, поэтому количество уровней приблизительно пропорционально отношению сигнала Амплитуда RMS стандартному отклонению шума.

Это сходство по форме между способностями Шеннона и законом Хартли не следует интерпретировать как означающее, что ${ displaystyle M}$ Уровни пульса можно отправлять буквально без путаницы. Для обеспечения избыточного кодирования и исправления ошибок необходимы дополнительные уровни, но чистая скорость передачи данных, к которой можно приблизиться с помощью кодирования, эквивалентна его использованию. ${ displaystyle M}$ в законе Хартли.

Случай частотно-зависимого (цветного шума)

В простой версии выше сигнал и шум полностью некоррелированы, и в этом случае ${ Displaystyle S + N}$ - общая мощность принятого сигнала и шума вместе. Обобщение приведенного выше уравнения для случая, когда аддитивный шум не белый (или ${ Displaystyle S / N}$ не постоянна с частотой по всей полосе пропускания) получается путем обработки канала как множества параллельных узких независимых гауссовых каналов:

{ Displaystyle C = int _ {0} ^ {B} log _ {2} left (1 + { frac {S (f)} {N (f)}} right) df}

где

${ displaystyle C}$ это пропускная способность канала в битах в секунду;
${ displaystyle B}$ - ширина полосы канала в Гц;
${ Displaystyle S (е)}$ это сигнал спектр мощности
${ Displaystyle N (е)}$ спектр мощности шума
${ displaystyle f}$ частота в Гц.

Примечание: теорема применима только к гауссовскому стационарный процесс шум. Способ введения частотно-зависимого шума с помощью этой формулы не может описать все шумовые процессы в непрерывном времени. Например, рассмотрим шумовой процесс, состоящий из добавления случайной волны с амплитудой 1 или -1 в любой момент времени и канала, который добавляет такую волну к исходному сигналу. Частотные составляющие такой волны сильно зависят. Хотя такой шум может иметь большую мощность, довольно легко передать непрерывный сигнал с гораздо меньшей мощностью, чем это потребовалось бы, если бы основной шум был суммой независимых шумов в каждой полосе частот.

Приближения

AWGN указана пропускная способность канала с режимом ограничения мощности и режимом ограничения полосы пропускания. Вот,

{ displaystyle { frac {S} {N_ {0}}} = 1}

; B и C можно пропорционально масштабировать для других значений.

Для больших или малых и постоянных отношений сигнал / шум формула емкости может быть приближена:

Случай с ограниченной пропускной способностью

Когда SNR велик ( $S / N >> 1$ ) логарифм аппроксимируется выражением

{ displaystyle log _ {2} left (1 + { frac {S} {N}} right) приблизительно log _ {2} { frac {S} {N}} = { frac { ln 10} { ln 2}} cdot log _ {10} { frac {S} {N}} приблизительно 3,32 cdot log _ {10} { frac {S} {N}}}

,

в этом случае емкость является логарифмической по мощности и приблизительно линейной по ширине полосы (не совсем линейной, поскольку $N$ увеличивается с увеличением ширины полосы пропускания, что дает логарифмический эффект). Это называется режим с ограниченной пропускной способностью.

{ Displaystyle C приблизительно 0,332 CDOT B CDOT mathrm {SNR (в дБ)}}

где

{ displaystyle mathrm {SNR (in dB)} = 10 log _ {10} {S over N}.}

Корпус с ограничением мощности

Аналогично, когда отношение сигнал / шум невелико (если S / N << 1), применяя приближение к логарифму:

{ displaystyle log _ {2} left (1 + { frac {S} {N}} right) = { frac {1} { ln 2}} cdot ln left (1+ { frac {S} {N}} right) приблизительно { frac {1} { ln 2}} cdot { frac {S} {N}} приблизительно 1,44 cdot {S over N}}

;

тогда емкость линейна по мощности. Это называется режим с ограничением мощности.

{ displaystyle C приблизительно 1,44 cdot B cdot {S over N}.}

В этом приближении низкого отношения сигнал / шум пропускная способность не зависит от ширины полосы, если шум белый, от спектральная плотность ${ displaystyle N_ {0}}$ ватт на герц, в этом случае общая мощность шума равна ${ Displaystyle N = B cdot N_ {0}}$ .

{ displaystyle C приблизительно 1,44 cdot {S over N_ {0}}}

Примеры

При SNR 0 дБ (мощность сигнала = мощность шума) пропускная способность в бит / с равна ширине полосы в герцах.
Если SNR составляет 20 дБ, а доступная полоса пропускания составляет 4 кГц, что подходит для телефонной связи, то C = 4000 log.₂(1 + 100) = 4000 журнал₂ (101) = 26,63 кбит / с. Обратите внимание, что значение S / N = 100 эквивалентно соотношению сигнал / шум 20 дБ.
Если требуется передавать со скоростью 50 кбит / с, и используется полоса пропускания 10 кГц, то минимальное требуемое отношение сигнал / шум определяется как 50000 = 10000 log.₂(1 + S / N), поэтому C / B = 5, тогда S / N = 2⁵ - 1 = 31, что соответствует SNR 14,91 дБ (10 x log₁₀(31)).
Какова пропускная способность канала для сигнала с полосой пропускания 1 МГц, принятого с отношением сигнал / шум -30 дБ? Это означает, что сигнал сильно зашумлен. −30 дБ означает отношение сигнал / шум = 10⁻³. Это приводит к максимальной скорости информации 10⁶ журнал₂ (1 + 10⁻³) = 1443 бит / с. Эти значения типичны для принятых сигналов измерения дальности GPS, где навигационное сообщение отправляется со скоростью 50 бит / с (ниже пропускной способности канала для данного S / N), и чья полоса пропускания расширяется примерно до 1 МГц с помощью псевдо- умножение шума перед передачей.
Как указано выше, пропускная способность канала пропорциональна ширине полосы канала и логарифму отношения сигнал / шум. Это означает, что пропускная способность канала может быть увеличена линейно либо путем увеличения полосы пропускания канала при фиксированном требовании SNR, либо, при фиксированной полосе пропускания, путем использования модуляции высшего порядка которым для работы требуется очень высокий SNR. По мере увеличения частоты модуляции спектральная эффективность улучшается, но за счет требования SNR. Таким образом, существует экспоненциальный рост требований к SNR, если принять 16QAM или 64QAM (см.: Квадратурная амплитудная модуляция ); однако спектральная эффективность улучшается.

Смотрите также

Заметки

^ Р. В. Л. Хартли (июль 1928 г.). «Передача информации» (PDF). Технический журнал Bell System.
^ Д. А. Белл (1962). Теория информации; и его инженерные приложения (3-е изд.). Нью-Йорк: Питман.
^ Ану А. Гохале (2004). Введение в телекоммуникации (2-е изд.). Томсон Делмар Обучение. ISBN 1-4018-5648-9.
^ Джон Данлоп и Д. Джеффри Смит (1998). Телекоммуникационная инженерия. CRC Press. ISBN 0-7487-4044-9.
^ К. Э. Шеннон (1998) [1949]. Математическая теория коммуникации. Урбана, Иллинойс: Университет Иллинойс Press.
^ К. Э. Шеннон (Январь 1949 г.). «Общение при наличии шума» (PDF). Труды Института Радиоинженеров.. 37 (1): 10–21. Архивировано из оригинал (PDF) на 08.02.2010.
^ Джон Робинсон Пирс (1980). Введение в теорию информации: символы, сигналы и шум. Courier Dover Publications. ISBN 0-486-24061-4. Название информации: теория в автора: пирс.

использованная литература

Герберт Тауб, Дональд Л. Шиллинг (1986). Принципы коммуникационных систем. Макгроу-Хилл.
Джон М. Возенкрафт и Ирвин Марк Джейкобс (1965). Принципы коммуникационной инженерии. Нью-Йорк: Джон Вили и сыновья.

внешние ссылки

Он-лайн учебник: теория информации, логические выводы и алгоритмы обучения, от Дэвид Маккей - дает занимательное и подробное введение в теорию Шеннона, включая два доказательства теоремы кодирования зашумленного канала. В этом тексте также обсуждаются современные методы теории кодирования, такие как коды с низкой плотностью проверки четности, и Турбо коды.
Статья MIT News о Шеннон Лимите

[1] Р. В. Л. Хартли (июль 1928 г.). «Передача информации» (PDF). Технический журнал Bell System.

[2] Д. А. Белл (1962). Теория информации; и его инженерные приложения (3-е изд.). Нью-Йорк: Питман.

[3] Ану А. Гохале (2004). Введение в телекоммуникации (2-е изд.). Томсон Делмар Обучение. ISBN 1-4018-5648-9.

[4] Джон Данлоп и Д. Джеффри Смит (1998). Телекоммуникационная инженерия. CRC Press. ISBN 0-7487-4044-9.

[5] К. Э. Шеннон (1998) [1949]. Математическая теория коммуникации. Урбана, Иллинойс: Университет Иллинойс Press.

[6] К. Э. Шеннон (Январь 1949 г.). «Общение при наличии шума» (PDF). Труды Института Радиоинженеров.. 37 (1): 10–21. Архивировано из оригинал (PDF) на 08.02.2010.

[7] Джон Робинсон Пирс (1980). Введение в теорию информации: символы, сигналы и шум. Courier Dover Publications. ISBN 0-486-24061-4. Название информации: теория в автора: пирс.

[1]

[2]

[3]

[4]

[5]

[6]

[7]