Мера информации. Подходы к определению меры количества информации

МИНИСТЕРСТВО  ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ 
 
 
 

МОСКОВСКИЙ  ГОСУДАРСТВЕННЫЙ  УНИВЕРСИТЕТ 

ПРИБОРОСТРОЕНИЯ И ИНФОРМАТИКИ (МГУПИ) 
 
 
 
 
 

РЕФЕРАТ

По дисциплине «Информатика» 

Тема: Мера информации. Подходы к определению меры количества информации. 

Выполнил: студент 1-го курса очной формы обучения, направление 230100 

Малыгина  Кристина Владимировна 
 
 
 

      Проверил: 

Ст. преп. каф. ИТ-4                                   Кукин М.А. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Москва ,  2011г.

 

      План  

                                                                 Стр.

             Введение.       2 

     1.Мера  информации      4 

     2.  Подходы к определению меры  количества 

          информации.       9 

     2.1 Структурный подход к измерению 

                информации      14 

     2.2 Статистический подход к измерению

                информации      16 

     2.3 Семантический подход к измерению

                информации      19

            Заключение       23

                Список  литературы     25

           
 

 

      Введение

     Для развития челoвеческого oбщества неoбходимы материальные, инструментальные, энергетические и другие ресурсы, в том числе и информационные. Настоящее время характеризуется небывалым ростом объема информационных потоков. Это относится практически к любой сфере деятельности человека. Наибольший рост объема информации наблюдается в промышленности, торговле, финансово-банковской и образовательной сферах. Что же такое информация? Инфoрматика раccматривает информацию как связанные между собой сведения, изменяющие наши представления o явлении или объекте oкружающего мира. С этой тoчки зрения информацию можно рассматривать как совoкупность знаний о фактических данных и зависимостях между ними.

     В процессе обработки информация может  менять структуру и форму. Признаком  структуры являются элементы информации и их взаимосвязь. Формы представления  информации могут быть различны. Основными  из них являются: символьная (основана на использовании различных символов), текстовая (текст — это символы, расположенные в определенном порядке), графическая (различные виды изображений), звуковая. [1с,33]

     В повседневной практике такие понятия, как информация и данные, часто  рассматриваются как синонимы. На самом деле между ними имеются  различия. Данными называется информация, представленная в удобном для  обработки виде. Данные могут быть представлены в виде текста, графики, аудио-визуального ряда. Представление  данных называется языком информатики, представляющим собой совокупность символов, соглашений и правил, используемых для общения, отображения, передачи информации в электронном виде. [1 с.7]

     Одной из важнейших характеристик информации является ее адекватность. Адекватность информации — это уровень соответствия образа, создаваемого с помощью информации, реальному объекту, процессу, явлению. От степени адекватности информации зависит правильность принятия решения. [2]

     Адекватность  информации может выражаться в трех формах: синтаксической, семантической  и прагматической.

     Синтаксическая  адекватность отображает формально-структурные характеристики информации, не затрагивая ее смыслового содержания. На синтаксическом уровне учитываются тип носителя и способ представления информации, скорость ее передачи и обработки, размеры кодов представления информации, надежность и Точность преобразования этих кодов и т. д. Информацию, рассматриваемую с таких позиций, обычно называют данными. [2]

     Семантическая адекватность определяет степень соответствия образа объекта самому объекту. Здесь учитывается смысловое содержание информации. На этом уровне анализируются сведения, отражаемые информацией, рассматриваются смысловые связи. Таким образом, семантическая адекватность проявляется при наличии единства информации и пользователя. Эта форма служит для формирования понятий и представлений, выявления смысла, содержания информации и ее обобщения. [2]

     Прагматическая  адекватность отражает соответствие информации цели управления, реализуемой на ее основе. Прагматические свойства информации проявляются при наличии единства информации, пользователя и цели управления. На этом уровне анализируются потребительские свойства информации, связанные с практическим использованием информации, с соответствием ее целевой функции деятельности системы. [2]

     Мы  разобрались с термином информация и мера информации. А как «измерить» информацию?

 

     1. Мера информация

     Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы. Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события). Мера, как было сказано выше, - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна сумме мер). Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации). [8]

     Мы не  будем проводить четкие математические границы между понятиями "количество информации" и "мера количества информации", но необходимо понимать важные вопросы: о количестве информации или о мере информации в конкретной последовательности событий идет речь, о детерминированной или стохастической информации идет речь? какова мера измерения количества информации и насколько она адекватна?

     Количественные  характеристики информации.

      [8]

     Синтаксическая  мера информации оперирует с обезличенной информацией, не выражающей смыслового

       отношения к объекту. На этом  уровне объем данных в сообщении  измеряется количеством символов  в этом сообщении. В современных  ЭВМ минимальной единицей измерения  данных является бит — один  двоичный разряд. Широко используются  также более крупные единицы  измерения: байт, равный 8 битам; килобайт, равный 1024 байтам; мегабайт, равный 1024 килобайтам, и т. д. [8]

     Объём данных (V_Д) понимается в техническом смысле этого слова как информационный объём сообщения или как объём памяти, необходимый для хранения сообщения без каких-либо изменений. [8]

      Информационный объём сообщения измеряется в битах и равен количеству двоичных цифр (“0” и “1”), которыми закодировано сообщение.

     В компьютерной практике слово “бит”  используется также как единица  измерения объёма памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (“включено” и “выключено”) и в неё может быть записана одна двоичная цифра (0 или 1). Понятно, что бит — слишком маленькая единица измерения информации, поэтому пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, то есть в одном байте можно хранить 256 = 2⁸ различных чисел. Для измерения ещё бóльших объёмов информации используются такие величины:           [4]

     Пример  Важно иметь представление, сколько информации может вместить килобайт, мегабайт или гигабайт. При двоичном кодировании текста каждая буква, знак препинания, пробел занимают 1 байт. На странице книги среднего формата примерно 50 строк, в каждой строке около 60 символов, таким образом, полностью заполненная страница имеет объём 50 x 60 = 3000 байт ≈3 Килобайта. Вся книга среднего формата занимает ≈ 0,5 Мегабайт. Один номер четырёхстраничной газеты — 150 Килобайт. Если человек говорит по 8 часов в день без перерыва, то за 70 лет он наговорит около 10 Гигабайт информации. Один чёрно-белый кадр (при 32 градациях яркости каждой точки) содержит примерно 300 Кб информации, цветной кадр содержит уже около 1 Мб информации. Телевизионный фильм продолжительностью 1,5 часа с частотой 25 кадров в секунду — 135 Гб. [3]

     Количество  информации I на синтаксическом уровне определяется через понятие энтропии системы.

     Пусть до получения информации потребитель  имеет некоторые предварительные (априорные) сведения о системе α. Мерой его неосведомленности  о системе является функция H(α), которая  в то же время служит и мерой  неопределенности состояния системы.

     После получения некоторого сообщения  β получатель приобрел некоторую  дополнительную информацию I_β(α), уменьшившую его априорную неосведомленность так, что неопределенность состояния системы после получения сообщения β стала H_β(α).

     Тогда количество информации I_β(α) ξ системе, полученной в сообщении β, определится как

     I_β(α)=H(α)-H_β(α).

     т.е. количество информации измеряется изменением (уменьшением) неопределенности состояния  системы. Если конечная неопределенность H_β(α) обратится в нуль, то первоначальное неполное знание заменится полным знанием и количество информации I_β(α)=H(α). Иными словами, энтропия системы Н(а) может рассматриваться как мера недостающей информации. [3]

     Семантическая мера информации используется для измерения смыслового содержания информации. Наибольшее распространение здесь получила тезаурусная мера, связывающая семантические свойства информации со способностью пользователя принимать поступившее сообщение. Тезаурус — это совокупность сведений, которыми располагает пользователь или система. Максимальное количество семантической информации потребитель получает при согласовании ее смыслового содержания со своим тезаурусом, когда поступающая информация понятна пользователю и несет ему ранее не известные сведения. С семантической мерой количества информации связан коэффициент содержательности, определяемый как отношение количества семантической информации к общему объему данных. [3]

     В зависимости от соотношений между  смысловым содержанием информации S и тезаурусом пользователя S_p изменяется количество семантической информации I_c, воспринимаемой пользователем и включаемой им в дальнейшем в свой тезаурус. Характер такой зависимости показан на рис. Рассмотрим два предельных случая, когда количество семантической информации I_c равно 0: