Теория Практикум Контроль знаний Об авторе  



Модуль 4

4.Энтропия и количество информации квантованного по уровню и времени непрерывного сигнала

4.1 Квантование непрерывного сигнала

Квантованием непрерывного сигнала по уровню называется представление величины сигнала в виде конечного числа разрешенных уровней, отстоящих друг от друга на конечный интервал. Если истинное мгновенное значение уровня сигнала находится внутри этого интервала, то вместо его передается ближайший разрешенный уровень. Если количество уровней квантования равно , то передаваемый при этом сигнал будет содержать не более  различных значений.

Для того, чтобы обеспечить четкое разграничение принадлежности данного множества истинных мгновенных значений сигнала определенному уровню,  вся  область  возможных значений сигнала  делится на интервалы,

называемые шагами квантования. Оптимальным в смысле точности воспроизведения квантованного сигнала будет расположение уровня квантования в середине шага квантования.

Очевидно,  при квантовании сигнала возникает ошибка в передаваемых значениях, обусловленная заменой истинного значения сигнала разрешенным уровнем. Таким  образом, можно считать, что квантованный сигнал  есть сумма истинного сигнала  и ошибки  (рисунок 1).

Вероятность появления уровня  определяется вероятностью нахождения  сигнала  в интервале от   до . Согласно рисунку 1, ошибка  может изменяться в пределах от = до =

 

Так как значение  известно, то вероятность появления того или иного значения ошибки  определяется вероятностью появления соответствующего значения сигнала  в момент . Для равномерного шага квантования дисперсия ошибки будет равна:

где – шаг квантования,  – функция плотности вероятности сигнала .

При равновероятном законе распределения случайного сигнала в диапазоне от 0 до  дисперсия при равномерном шаге квантования:

Среднеквадратическое отклонение погрешности:

,

где ,  – число уровней квантования.

Для нормального, экспоненциального и треугольного законов распределения функции плотности вероятности дисперсия ошибки квантования определяется из выражения:

Выражение показывает, что значение дисперсии зависит как от вида функции плотности вероятности , так и от характера изменения шага квантования. Кроме того, из выражения  следует, что для уменьшения дисперсии ошибки квантования целесообразно менее вероятные значения сигнала квантовать с большим шагом, а более вероятные значения – с меньшим шагом.

4.2 Дискретизация непрерывного сигнала

В дискретизированном сигнале, т.е. квантованном по времени каждое значение строго привязано к определенному моменту времени. Промежуток времени между соседними моментами дискретизации называется шагом дискретизации. При значительно малом шаге дискретизации увеличивается время передачи информации и усложняется аппаратурная реализация. При большом шаге теряется информация. Выбор оптимального шага дискретизации основывается на теореме отсчетов Котельникова, которая гласит: если функция  не содержит частот  герц, то она полностью определяется последовательностью своих значений в моменты времени, отстоящие друг от друга на . Смысл теоремы заключается в том, что функция не может существенно изменить свое значение за время меньше,  чем половина периода наивысшей частоты .

Для аналитического задания функции  с помощью ее значений в моменты отсчета используется вспомогательная функция вида:

Свойства этой функции позволяют непрерывный сигнал  представить в виде дискретизированного:

,

– отсчетные точки.

Теорема Котельникова предназначена для сигналов с ограниченным спектром, а реальные сигналы всегда ограничены во времени и имеют бесконечный спектр. Однако, с достаточной для практики точностью можно ограничить спектр частотой . В этом случае для полного задания сигнала  длительностью  общее число отсчетов  можно определить из выражения:

При      , при этом дискретизированный сигнал примет вид :

В дискретизированном сигнале отсутствуют промежуточные значения, поэтому после его приема производят обратную операцию, то есть восстановление. Для восстановления непрерывного сигнала из дискретизированного также применяется теорема Котельникова и аппроксимация степенными полиномами.

Теорема Котельникова: если функция  обладает спектром с граничной частотой , дискретизирована циклически с периодом  , то она может быть восстановлена по этой совокупности ее мгновенных значений без погрешности, то есть:

,

где – мгновенное значение сигнала, взятое с интервалом .

При восстановлении сигнала степенными полиномами используется линейная аппроксимация, из которой следует выделить:

ступенчатую аппроксимацию;

кусочно-линейную аппроксимацию;

параболическую аппроксимацию.

4.3 Энтропия и количество информации

Вероятность появления в момент  уровня квантованного сигнала, соответствующего значению символа , есть вероятность события, состоящего в том, что функция  находится внутри  шага квантования (рисунок 1). Эта вероятность равна

Так как шаг квантования мал по сравнению с максимальным значением сигнала , интегрирование можно заменить определением площади прямоугольника, представленного на рисунке 2, т.е. .

Тогда  . Количество информации  .

Если число уровней квантования велико, операцию суммирования можно заменить интегрированием, т.е.

.

В таком случае дифференциальная энтропия будет равна:

Полную энтропию можно найти из выражения:

Для нормального закона распределения:

;

;

Для взаимосвязанных сигналов X и Y:

 т.к. , то ,

где  – коэффициент корреляции.

Предположим, что некоторое количество информации передано с использованием  символов. При этом количество полученной информации будет равно

,

где – энтропия источника информации.

Эту же информацию можно получить, используя меньшее количество символов, но при максимальном значении энтропии, т.е.

Приравняв эти выражения, получим

 

,

где  –коэффициент, показывающий во сколько раз энтропия данного вида сигнала меньше энтропии, которую могут обеспечить те же символы при оптимальном распределении.

Величина  – избыточность.

 

Теория | Практикум | Контроль знаний | Об авторе