Теория Практикум Контроль знаний Об авторе  



Модуль 2

2 Информационное описание измерения

Вероятностная теория информации является дальнейшим развитием теории вероятностей, применительно к процессам получения и передачи информации  и  в частности, к процессу измерения. Согласно К.Шеннону, количество информации определяется как разность энтропий измеряемой величины до и после её измерения. Эти оценки неопределенности в виде энтропии могут быть вычислены на основании вероятностного описания ситуаций до и после измерения.

2.1 Исходная энтропия подлежащей измерению непрерывной величины

Непрерывная аналоговая величина в заданном диапазоне  имеет бесконечно большое множество значений. Если каждому из них приписать исходную вероятность, то можно найти значение энтропии. Но бесконечно большое число слагаемых  дало бы бесконечность.

Поэтому более правильно поставить задачу так: определить H знания о значении непрерывной величины, подлежащей измерению, с погрешностью . При этом диапазон можно разбить на участков . Если известна плотность вероятности значений величины  , то вероятность того, что в результате измерения получится  значение, приближенно равна .(Рисунок 1)

 

Рисунок 1

Тогда H можно найти подставляя  в формулу энтропии, то есть: .

Переходя к интегралу, получаем:

Слагаемое  – называется дифференциальной энтропией, которая зависит только от плотности вероятности значений измеряемой величины.

2.1.1 Дифференциальная и полная энтропия для нормального закона распределения

Вычислим дифференциальную и полную энтропии для  двух часто встречающихся законов распределения значений непрерывных величин: равномерного и нормального. Допустим, что все значения величины равновероятны в диапазоне .(Рисунок 2)

 

Рисунок 2

Тогда дифференциальная энтропия:

Полная энтропия при заданной погрешности , равна:

Для нормального закона распределения значений непрерывной величины, учитывая, что : ,

где  – среднее квадратическое отклонение значений измеряемой величины .

Полная энтропия при нормальном законе распределения, с учетом погрешности, равна:

2.2 Остаточная энтропия значений величины после измерения

Исходная неопределенность знания о значении измеряемой величины не может быть снижена до нуля в результате измерения, так как имеется погрешность. При этом область неопределенности сужается от  до интервала , расположенного симметрично относительно полученного результата .

Количество информации в результате измерения определяется из выражения:

,

где и – текущие значения измеряемой величины и результата.

2.2.1 Остаточная энтропия для дискретного сигнала

Для дискретного сигнала остаточная энтропия оценивается по общей формуле, в которую поставляются апостериорные вероятности отдельных значений . Если результат измерения даёт , то остаточная энтропия определяется из выражения:

.

Для применения этой формулы необходимы результаты измерений. Если их нет, то энтропию можно определить ожидаемым значением по формуле:

,

где  - совместная вероятность наступления двух событий, заключающихся в том, что результат измерения даёт  значение, а в действительности имеем  значение.

Если измеряемая величина непрерывная, то остаточную энтропию можно определить с заданной погрешностью . Обозначим и  – текущие значения, соответственно для измеряемой величины и результата измерения. Пусть  – плотность априорной вероятности получения результата , а  – совместного появления и . Считая погрешность различения значений величины и результата измерения одинаковыми и равными , то:

;

.

Подставляя эти значения в  и переходя к интегралу, получим:

2.2.2 Полная остаточная энтропия

В формуле

первый двойной интеграл отражает дифференциальную энтропию, т.е. , а второй равен единице, получаем формулу для полной остаточной энтропии:

.

2.2.3 Дифференциальная остаточная энтропия для равномерного закона

Дифференциальная остаточная энтропия для равномерного закона распределения плотности вероятности имеет вид:

.

2.2.4 Дифференциальная остаточная энтропия для случая

Дифференциальная остаточная энтропия для случая, когда измеряемая величина  и общая погрешность измерения  распределены по нормальному закону распределения плотности вероятности, имеет вид:

.

Результат измерения определяется суммой истинных значений измеряемой величины и погрешности, т.е.:

.

Поэтому закон распределения  определяется композицией законов и  и описывается выражением:

,

т.е. тоже является нормальным.

Таким образом, дифференциальную остаточную энтропию можно определить из выражения:

2.3 Энтропийный интервал неопределённости

Как следует из вышеприведенного материала в понятиях теории информации смысл измерения состоит в сужении интервала неопределенности   до измерения до - после измерения, т.е. в раза.

Соотношения  и  справедливы при любом законе распределения погрешности, если только интервал неопределенности d будет найден через энтропию. Поэтому В. И. Рабинович и М. П. Цапенко  предложили называть число  числом эквивалентных делений, различимых в диапазоне  при данном законе  распределения погрешности, а  – эквивалентным в энтропийном смысле делением. Нам же представляется более удобным именовать величину  числом различимых градаций измеряемой величины, а  – энтропийнным интервалом неопределенности результата измерения.

Основное достоинство информационного подхода к математическому описанию случайных погрешностей состоит в том, что размер энтропийного интервала неопределенности может быть вычислен строго математически для любого закона распределения погрешности как величина, стоящая под знаком логарифма в выражении для энтропии, устраняя тем самым исторически сложившийся произвол, неизбежный при волевом назначении различных значений доверительной вероятности.

Покажем это на конкретном примере, заимствованном из работы К. Шеннона. Так, например, для нормально распределенной погрешности

;

Отсюда энтропия погрешности

Учитывая, что  и по определению дисперсии , получаем , т.е. интервал неопределенности  результата измерения, найденный через энтропию в соответствии с теорией информации, однозначно (без каких-либо предположений о выборе уровня доверительной вероятности равен , а число различимых градаций результата измерения при равномерном распределении вероятности различных значений измеряемой величины

.

Подобным же образом энтропийный интервал неопределенности результата измерения может быть однозначно найден для любого выраженного аналитически закона распределения погрешности. Например, при распределении погрешности    по    треугольному    закону    Симпсона  и .

Таким образом, то различие в интервалах неопределенности при равномерном распределении погрешности и при неограниченных распределениях погрешности, которое исторически пытались преодолеть назначением соответствующих значений доверительной вероятности, математически строю и наглядно описывается при использовании в теории погрешностей информационного подхода.

2.4 Энтропийное значение случайной погрешности

При практическом использовании изложенного информационного подхода для оценки точности результатов измерений привычнее оперировать не со значениями энтропийного интервала неопределенности результата измерения , а с половиной этого интервала, присвоив ей наименование энтропийного значения погрешности .

Формальным определением энтропийного значения случайной величины являются соотношения ,

отсюда и .

Соотношение между энтропийным  и средним квадратическим  значениями погрешности различно для разных законов распределения, и его удобно характеризовать значением энтропийного коэффициента  данного закона распределения.

Так, для равномерного распределения  и, следовательно, . Для нормального распределения, как было показано выше,  и .

Для треугольного распределения Симпсона. для распределения Лапласа. для арксинусоидального распределения  и т. д.

Энтропийный интервал неопределенности охватывает лишь ту часть распределения, в которой сосредоточена основная часть возможных значений случайной погрешности, в то время как некоторая их доля остается за границами этого интервала. Поэтому для любого распределения может быть указано такое значение доверительной вероятности при котором энтропийное и доверительное значения погрешности совпадают.

Задача:

Амперметр, класс точности которого равен 1, имеет шкалу от 1 до 5А. Допустимая погрешность .

Найти энтропию показания этого прибора при условии, что любое показание в диапазоне равновероятно.

Решение:

Зона допуска измеряемого сигнала составляет . Энтропия показания этого прибора:

 бит

Задача:

Амперметр с верхним пределом измерения 100А имеет цену деления . Рабочая часть шкалы начинается с 20 А. Практически отсчет показаний такого прибора можно производить с точностью до 1А.

Найти информационную способность прибора.

Решение:

Определяем число возможных комбинаций . Определяем информационную способность прибора:

 бит

 

 

Теория | Практикум | Контроль знаний | Об авторе