Теория Практикум Контроль знаний Об авторе  



Модуль 3

3 Энтропия и количество информации взаимосвязанных объектов

В практических задачах передачи сигнала часто приходится сталкиваться с взаимосвязанными объектами. При этом взаимосвязь может определяться различными факторами, такими как: источник коррелированного сигнала. В этом случае вырабатываемый источником дискретный сигнал содержит взаимосвязанные символы. Эта взаимосвязь характеризуется условной вероятностью , т.е. вероятностью того, что после появления символа   будет следовать символ (см. рисунок).

Если дискретный сигнал получен из непрерывного квантованием по времени, то взаимосвязь символов обуславливается наличием корреляции.

3.1 Энтропия и количество информации

Рассмотрим источник квантованных сообщений с  символами , имеющих вероятность появления . В этом случае появление символа  в некоторой степени предопределяется появлением символа . Эта взаимосвязь задается условной вероятностью . Неопределенность, имеющая место для всех символов по отношению к символу будет характеризоваться энтропией:

(1)

Так как символы  имеют вероятности , то общая энтропия может быть определена как математическое ожидание энтропии, т.е.  или с учетом выражения (1):

(2)

Пример:

Сигнал формируется в виде двоичного кода с вероятностью появления символов1 и 0 соответственно P1=0,6 и P0=0,4. Появление любого из символов взаимосвязано условными вероятностями:

, т.е. вероятность того, что после 0 будет 0;

, т.е. вероятность того, что после 0 будет 1;

, т.е. вероятность того, что после 1 будет 1;

, т.е. вероятность того, что после 1 будет 0.

Определить условную энтропию, когда после 1 будет 0.

дв.ед.

3.1.1 Расчет количества информации, содержащейся в источнике коррелированных сигналов

Пусть в некоторый момент времени принят один из  возможных символ . Тогда количество информации будет равно энтропии источника для данного отсчета времени, а появление символа в следующий момент отсчета будет предопределено в некоторой степени появлением , т.е. энтропия изменится и будет определяться выражением (1). Поскольку появление предыдущих символов  обусловлено его вероятностью , то энтропия в последующий момент отсчета определяется по всем возможным значениям символов , что и приводит к выражению (2).

Прием сигнала  снижает неопределенность в этот момент отсчета и доставляет количество информации, равное энтропии  согласно выражения (2). В то же время принятый символ  предопределяет энтропию на следующем шаге и т.д. Хотя энтропии  источника для различных моментов отсчета будут различными, их осредненные значения по всем возможным символам будут одинаковыми и равны , отсюда следует, что в каждый момент отсчета будет доставляться одно и то же количество информации, равное  , а за  отсчетов:

 или используя (2)

(3)

3.1.2 Расчет количества информации для двух параллельно работающих взаимосвязанных источников

 

 

 

 

 

 

 

 

В данном случае появление символа  на выходе первого источника предопределяет с вероятностью  появление символа  на выходе второго приемника.

Энтропия и количество информации

Пусть источник 1 вырабатывает в моменты времени символы , а источник 2 – символы . Вероятность появления на выходе любой пары значений  и  будет определяться вероятностью совместного появления этого события, т.е. . Общее число всевозможных комбинаций будет , причем каждой комбинации будет соответствовать своя вероятность появления. Следовательно, взаимосвязанную систему можно заменить одним источником с  возможных значений сигнала  и c  вероятностей . Тогда источник будет вырабатывать сигналы , с вероятностями , где  есть событие одновременного появления пары значений  и  . Так как справедливо тождество: ,

(4)

то повторное суммирование по другим индексам даст , откуда

Таким образом, совместная энтропия двух параллельно работающих источников будет равна:

(5)

Количество информации будет определяться из выражения:

(6)

Найдем выражение для суммарной энтропии, т.е. . Известно, что энтропия , а . Подставляя в эти формулы выражения (4), получим:

(7)

(8)

Складывая (7) и (8), будем иметь:

(9)

Найдем зависимости между энтропиями ,,,.

Так как условная вероятность

(10)

То условная энтропия согласно (2) запишется в виде

(11)

Вычитая из (5) выражение (7), имеем:

(12)

Подставляя в эту формулу значение из выражения (10), получим

(13)

С учетом выражения (11), окончательно имеем:

(14)

Аналогично можно получить:

(15)

Свойство совместной энтропии:

;          ;         

3.2 Прохождение сигнала через канал связи с шумами

В этом случае принятое значение  может не соответствовать переданному . Остающаяся неопределенность будет измеряться энтропией . Таким образом, прием сигнала в данный момент отсчета сопровождается уменьшением энтропии на величину . Следовательно, такое же количество информации и будет получено. Тогда за  отсчетов:

дв. ед. – это фундаментальная формула в теории информации, которая гласит:

Количество информации есть мера уменьшения неопределенности случайной величины  за счет знания конкретных значений (исходов) случайной величины .

 

Теория | Практикум | Контроль знаний | Об авторе