Мера информации. Подходы к определению меры количества информации

     • при S_p→0 пользователь не воспринимает, не понимает поступающую информацию;

     • при S_p→¥ пользователь все знает, и поступающая информация ему не нужна.

     

     Рис. Зависимость количества семантической  информации, воспринимаемой потребителем, от его тезауруса.

     Максимальное  количество семантической информации I_c потребитель приобретает при согласовании ее смыслового содержания S со своим тезаурусом S_p (S_p = S_{p opt}), когда поступающая информация понятна пользователю и несет ему ранее не известные (отсутствующие в его тезаурусе) сведения. Следовательно, количество семантической информации в сообщении, количество новых знаний, получаемых пользователем, является величиной относительной. Одно и то же сообщение может иметь смысловое содержание для компетентного пользователя и быть бессмысленным для пользователя некомпетентного. Относительной мерой количества семантической информации может служить коэффициент содержательности С, который определяется как отношение количества семантической информации к ее объему: [3]

     Прагматическая  мера информации. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цепи. Эта мера также величина относительная, обусловленная особенностями использования этой информации в той или иной системе. Обычно ценность информации измеряется в тех же единицах, что и целевая функция управления системой.

     Для наглядности  и сопоставления введённые меры информации представим в таблице

                                               [3]                       

 

     2. Подходы к определению меры количества информации.

     В информатике, как правило, измерению  подвергается информация, представленная дискретным сигналом (Сигнал называется дискретным, если он может принимать лишь конечное число значений [5]). При этом различают следующие подходы:

1. структурный. Измеряет количество информации простым подсчетом  информационных элементов, составляющих сообщение. Применяется для оценки возможностей запоминающих устройств, объемов передаваемых сообщений, инструментов кодирования без учета статистических характеристик их эксплуатации. [6.1]
2. статистический. Учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Применяется при оценке значимости получаемой информации. [6.1]
3. семантический. Учитывает целесообразность и полезность информации. Применяется при оценке эффективности получаемой информации и ее соответствия реальности. [6.1]

     Но  для того, чтобы рассматривать  подходы к определении меры количества информации познакомимся по- подробней с двумя основным теоремами в теории информации: Хартли и Шеннона.

     Формула Хартли [7] определяет количество информации, содержащееся в сообщении длины n.

     Имеется алфавит А, из букв которого составляется сообщение:

     | A | = m

     Количество  возможных вариантов разных сообщений:

     N = mⁿ

     Где: N - возможное количество различных  сообщений, шт; m - количество букв в  алфавите, шт; n - количество букв в сообщении, шт.

     Пример: Алфавит состоит и 2-х букв B и X, длина сообщения 3 буквы - таким образом m=2, n=3. При выбранных нами алфавите и длине сообщения можно составить N=m^n=2^3=8 разных сообщений "BBB", "BBX", "BXB", "BXX", "XBB", "XBX", "XXB", "XXX" - других вариантов нет.

     Формула Хартли определяется:

     I = log ₂N = nlog ₂m

     Где: I - количество информации, бит.

     При равновероятности символов p=1/m, m=1/p формула  Хартли переходит в собственную  информацию.

     Формула Хартли была предложена Ральфом Хартли в 1928 году как один из научных подходов к оценке сообщений. Допустим, нам требуется что-либо найти или определить в той или иной системе. Есть такой способ поиска как «деление пополам». Например, кто-то загадывает число от 1 до 100, а другой должен отгадать его, получая лишь ответы «да» или «нет». Задается вопрос: число меньше? Ответ и «да» и «нет» сократит область поиска вдвое. Далее по той же схеме диапазон снова делится пополам. В конечном итоге, загаданное число будет найдено.

     Посчитаем сколько вопросов надо задать, чтобы  найти задуманное число. Допустим загаданное число 27. Начали:

     Больше 50? Нет

     Больше 25? Да

     Больше 38? Нет

     Меньше 32? Да

     Меньше 29? Да

     Больше 27? Нет

     Это число 26? Нет

     Если число не 26 и не больше 27, то это явно 27.Чтобы угадать методом «деления пополам» число от 1 до 100 нам потребовалось 7 вопросов.

     Кто-то может задаться вопросом: а почему именно так надо задавать вопросы? Ведь, например, можно просто спрашивать: это число 1? Это число 2? И т.д. Но тогда вам потребуется намного  больше вопросов (возможность того, что вы телепат, и угадаете с первого раза не рассматривается). «Деление пополам» самый короткий рациональный способ найти число. Объем информации заложенный в ответ «да» или «нет» равен одному биту. Действительно, ведь бит может быть в состоянии 1 или 0. Итак, для угадывания числа от 1 до 100 нам потребовалось семь бит (семь ответов «да» - «нет»).

     N = 2^k

     Такой формулой можно представить, сколько  вопросов (бит информации) потребуется, чтобы определить одно из возможных  значений. N – это количество значений, а k – количество бит. Например, в  нашем примере 100 меньше чем 27, однако больше, чем 26. Да, нам могло потребоваться  и всего 6 вопросов, если бы загаданное число было бы 28.

     Формула Хартли: k = log₂N.

     Количество  информации (k), необходимой  для определения  конкретного элемента, есть логарифм по основанию 2 общего количества элементов (N). [7]

     Теорема Шеннона.

     Наиболее  известным и широко применяемым  на практике является вероятностный подход к измерению информации. На основе этого подхода разработан обширный раздел количественной теории информации, называемый также по имени его основоположника, как "теория информации Шеннона". Главной отличительной особенностью вероятностного подхода от комбинаторного является тот факт, что он основан на вероятностных допущениях относительно пребывания какой-либо системы в различных состояниях. При этом общее число элементов (микросостояний, событий) системы не учитывается. За количество информации здесь принимается снятая неопределенность выбора из множества возможностей, имеющих, в общем случае, различную вероятность. [8]

     В середине XX века (1948 г.) была создана теория информации, с появлением которой введенная Больцманом функция ( ) пережила второе рождение. Американский инженер-связист Клод Шеннон предложил ввести меру количества информации с помощью статистической формулы энтропии.

     Заметим, что понятие "информация" обычно трактуется как "сведения", а передача информации осуществляется с помощью  связи. Связь между количеством  информации и энтропией послужила  ключом к решению ряда научных  проблем.

     Приведем  ряд примеров. При бросании монеты выпадает орел или решка, это определенная информация о результатах бросания. При бросании кости получаем информацию о выпадении определенного количества очков (например, трех). В каком случае мы получаем больше информации?

     Вероятность W выпадения герба равна 1/2, вероятность  выпадения трех очков - W=1/6. Реализация менее вероятного события дает больше информации: чем больше неопределенность до получения сообщения о событии (бросание монеты, кости), тем большее  количество информации поступает при  получении сообщения. Информация I связана  с числом равновероятных возможностей P - для монеты P=2, для кости P=6. При  бросании двух костей получаем вдвое  больше информации, чем при бросании одной кости: информация независимых  сообщений аддитивна, а числа  равновероятных возможностей перемножаются. Значит, если имеются два набора равновероятных событий P₁ и P₂ , то полное число событий

     P=P₁*P₂, (2)

     а количество информации I складывается, т. е.

     I(P)=I(P₁*P₂)=I(P₁)+ I(P₂).(3)

     Известно, что правилам (2) и (3) подчиняются  логарифмические функции, т. е. зависимость  количества информации I от числа равновероятных событий должна иметь вид 

     I=A*log(P)

     где постоянная А и основание логарифма  могут быть выбраны по соглашению. В теории информации условились полагать А=1, а основание логарифма двум, т. е.

     I=log₂(P). (4)

     При бросании монеты получается информация (Р=2), которую примем за единицу информации I=1:

     log₂(2)=1 бит

     Бит - двоичная единица информации (binary digits), она оперирует двумя возможностями: да или нет, числа в двоичной системе  записываются последовательностью  нулей и единиц.

     В общем виде формула (4) принимает  вид:

      . (5)

     Величина (5) названа Шенноном информационной энтропией. (9)

     В процессе последующих исследований К. Шеннон доказал теорему: "Существует единственная функция Н, удовлетворяющая трем перечисленным выше свойствам. При этом Н имеет вид:

      , ...............................................................

     где К – некоторая положительная постоянная

     Такой подход к количественному выражению  информации далеко не универсален, т. к. принятые единицы не учитывают таких  важных свойств информации, как ее ценность и смысл. Абстрагирование  от конкретных свойств информации (смысл, ценность ее) о реальных объектах, как  в дальнейшем выяснилось, позволило  выявить общие закономерности информации. Предложенные Шенноном для измерения  количества информации единицы (биты) пригодны для оценки любых сообщений (рождение сына, результаты спортивного  матча и т. д.). В дальнейшем делались попытки найти такие меры количества информации, которые учитывали бы ее ценность и смысл. Однако тут же терялась универсальность: для разных процессов различны критерии ценности и смысла. Кроме того, определения  смысла и ценности информации субъективны, а предложенная Шенноном мера информации объективна. Например, запах несет  огромное количество информации для  животного, но неуловим для человека. Ухо человека не воспринимает ультразвуковые сигналы, но они несут много сведений для дельфина и т. д. Поэтому предложенная Шенноном мера информации пригодна для  исследования всех видов информационных процессов, независимо от "вкусов" потребителя информации. [8]