Теория Практикум Контроль знаний Об авторе  



Модуль 1

1 Основные понятия информации и информационной теории измерения

ТО ИИТ рассматривает способы и средства получения, передачи, обработки и целенаправленного использования информации для более полного, объективного и точного анализа качества измерений:

Понятие информации – это сообщения, сведения, знания, которые могут характеризоваться различными аспектами: объемом, новизной, содержательностью, важностью, полезностью, ценностью и т. д. Поэтому информация это сложное многомерное свойство;

Измерительная информация – количественные сведения о свойстве объекта, получаемые опытным путем с помощью измерительных средств. Она может быть представлена в виде числа, кода, диаграммы и т. д.;

Количество измерительной информации – численная мера степени уменьшения неопределенности количественной оценки свойства объекта, получаемой из возможного разнообразия его значений путем измерения;

Математические меры информации –логарифмическая и вероятностная меры.

1.1 Меры информации

1.1.1 Логарифмическая мера

При измерении величина может принимать  значений. Чем больше , тем труднее определить ее истинное (действительное) значение. Следовательно, исходная неопределенность возрастает с увеличением . Исходная неопределенность до измерения определяется логарифмической функцией от , то есть:

Неопределенность после измерения уменьшается и определяется из выражения:

,

где  – число возможных значений величины после измерения, характеризующее её погрешность.

В таком случае количество информации, полученной в результате измерения, определится из выражения:

Единицы неопределенности определяются выбором основания логарифма. При  – двоичная единица информации или бит, при  – десятичная или дит, при  – натуральная или нит. В связи с тем, что мы будем использовать двоичную единицу информации, то при дальнейших расчетах основание логарифма будем опускать.

Достоинством логарифмической меры является удобство при описании (обработки) сложных опытов, так как она удовлетворяет требованию аддитивности.

Задача:

Измеряются одновременно две независящие друг от друга величины. При этом  и  – число возможных значений первой величины, соответственно, до и после измерения.  и  – число возможных значений второй величины до и после измерения.

Пусть  и  – исходная неопределенность знания о значениях первой и второй величины. Необходимо, чтобы выполнялось требование , чему удовлетворяет логарифмическая функция. Действительно, каждое из  возможных значений первой величины, может появляться одновременно с любым из значений  второй величины.

Число возможных сочетаний значений двух величин, равно . Тогда исходная неопределенность опыта определяется как:

Тогда информация о значении двух величин будет равна сумме значений информаций, получаемых в результате измерений каждой из величин в отдельности:

В общем виде для сложного опыта, состоящего из m простых опытов, информация о значении двух измеряемых величин будет иметь вид:

 ;

 ;

При  – исходная неопределенность знания отсутствует и .

Чем больше , тем труднее сделать правильный выбор, и, следовательно, больше неопределенность. Информация, получаемая в измерении, тем больше, чем больше уменьшается число возможных исходов, то есть чем больше .

Эта мера неопределенности была предложена Хартли и характеризуется по объёму.

1.1.2 Вероятностная мера

Пусть по каналу связи передается сообщение о событии, априорная вероятность которого . После приема сообщения апостериорная вероятность примет значение . Прирост информации составляет:

Для идеального канала связи количество информации , так как .

Данное выражение всегда положительно, так как логарифм числа меньше единицы отрицателен.

Пусть в сообщении, состоящем из  символов, встречаются  символов, соответствующих событию , а  символов – событию , причем . Прием одного символа события  дает информацию .

Аналогично, .

Полная информация:

Разделив на  , получим среднее значение на один символ, то есть:

,

где  – априорная вероятность появления события , то есть .  - , то есть . Тогда .

Исходя из вышеизложенного, количество информации будет определяться, как:

В общем случае это выражение можно представить в виде:

Это выражение для энтропии, которую в дальнейшем будем обозначать «», то есть .

Таким образом, энтропия – это степень неопределенности знания о какой-то измеряемой величине или изучаемом объекте.

Как следует из выражения , энтропия – это количество информации необходимой для устранения степени неопределенности.

1.2 Свойства энтропии как математической меры неопределенности

– Энтропия является непрерывной положительной функцией аргументов . Малому приращению  соответствует малое приращение .  – всегда положительна, либо  если одно из ;

– При заданном числе возможных исходов N энтропия принимает максимальное значение, когда все они равновероятны, то есть для любого  существует вероятность. Тогда

;

– Значение  не зависит от порядка аргументов , так как , не зависит от порядка слагаемых;

– Энтропия опыта не зависит от способа выбора одного из возможных исходов; сумма энтропий последовательных выборов, приводящих к элементарному исходу, равна энтропии опыта, состоящего в прямом выборе одного из возможных элементарных исходов;

– Энтропия сложного опыта, состоящего из m независимых опытов, равна сумме их энтропий, то есть ;

Задача:

Шахматная фигура на доске является системой с 64 равновозможными состояниями, вероятность каждого из которых равна . Энтропия такой системы: бит.

Найти энтропию и количество информации для сообщений:

фигура стоит на одной из горизонтальных линий. Так как каждая клетка находится на горизонтальных линиях, то новой информации нет;

– фигура стоит на черном поле,   бит. Такое сообщение принесло информацию  бит;

– фигура стоит на одной из угловых клеток,  бит.  бит;

 

– фигура находится на клетке . , так как положение фигуры достоверно,  бит.

 

Теория | Практикум | Контроль знаний | Об авторе