Мера информации. Подходы к определению меры количества информации

     -Истинность информации 

     Эта мера оценивает информацию с позиций  ее соответствия отображаемому источнику  информации, т.е. реальному миру.

     Пусть r(mess) – функция, оценивающая истинность сообщения mess как соответствие его реальному положению вещей: 0 ≤ r(mess) ≤ 1, причем при r(mess) = 1 сообщение истинно, а при r(mess) = 0 сообщение ложно.

     Например, r (данное пособие посвящено информатике) = 1, r(данное пособие имеет объем 5 страниц) = 0.

     Оценить истинность сложного сообщения  можно, разбив его на простые. Например, сообщение mess: (данное пособие посвящено информатике и имеет объем 5 страниц») можно представить как два простых сообщения mess1 и mess2:

     mess1 – (данное пособие посвящено информатике),

     mess2 -  (данное пособие имеет объем 5 страниц).

     Тогда можно предложить рассчитывать истинность сложного сообщения как среднее  арифметическое значение истинностей  сообщений, его составляющих (что  называют - «истинно лишь наполовину»). В таком случае имеем:

     r(mess) = Ѕ (r(mess1) + r(mess2)) = Ѕ (1 + 0) = 0,5

     Эти три направления имеют свои определенные области применения. Структурное используется для оценки возможностей технических средств различных систем переработки информации, независимо от конкретных условий их применения. Статистические оценки применяются при рассмотрении вопросов передачи данных, определении пропускной способности каналов связи. Семантические используются при решении задач построения систем передачи информации разработки кодирующих устройств и при оценке эффективности различных устройств.

     Отличный  от взглядов Хартли, Шеннона, Винера и  Бриллюэна подход к определению  понятия - количество информации -, был  предложен в 1965 году академиком А.Н. Колмогоровым, который он назвал алгоритмическим. Исходя из того, что - по существу наиболее содержательным является представление  о количестве информации - в чем-либо - (Х) и - о чем-либо - (Y) -, А.Н. Колмогоров для оценки информации в одном  конечном объекте относительно другого  конечного объекта предложил  использовать теорию алгоритмов. За количество информации при этом, принимается  значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.

     Как отмечает А. Н. Колмогоров, - информация по своей природе не специально вероятностное  понятие -. В подтверждение этого  тезиса А. Н. Колмогоров развивает новый  подход к определению количественной меры информации, отталкиваясь от теории алгоритмов.

     Особенность алгоритмического подхода в теории информации заключается в том, что  используемая в нем количественная мера информации предполагает наличие  двух множеств. Можно говорить лишь о количестве информации, содержащейся в одном множестве относительно другого. Информация выступает, следовательно, в форме отношения между множествами. Количество ее определяется как минимальная  длина программы, однозначно преобразующая  одно множество в другое.

     На  первый взгляд между алгоритмической  и энтропийной трактовками информации нет ничего общего. Однако можно  провести между ними определенную параллель.

     В самом деле, выбор одной альтернативы из некоторого множества возможных  предполагает, что в нашем распоряжении имеется алгоритм, который переводит  исходное множество альтернатив  в множество, содержащее одну альтернативу. Именно по такой схеме осуществляется работа оптимизационных программ. Исходным множеством альтернатив в этом случае является так называемое допустимое множество (область оптимизации). Задача заключается в том, чтобы из допустимого  множества выбрать множество  оптимальных решений в смысле того или иного критерия.[10]

     Заключение.

     Как было отмечено, информация может пониматься и интерпретироваться в различных  проблемах, предметных областях по-разному. Вследствие этого, имеются различные  подходы к определению измерения  информации и различные способы  введения меры количества информации. [11]

     Цель  данной темы - сформировать понимание:.

• как найти вероятность события;
• как найти количество информации в сообщении, что произошло одно из неравновероятных событий;
• как найти количество информации в сообщении, когда возможные события имеют различные вероятности реализации.

     Научиться находить количество информации, используя  разные подходы. Какие меры информации применяются.

     Для этого нужно знать и уметь  применять две основные теории измерения  информации: формулы Хартли и Шеннона

     Р. Хартли . процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.

     Для задач другого рода (научиться находить количество информации, используя разные подходы) американский учёный Клод Шеннон предложил . другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.

Легко заметить, что если вероятности  p₁, ..., p_N равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.  

     Помимо  рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.

      Список Литературы:

1. Информатика. Базовый курс. Семакина И., Залоговой Л., Русакова С.
2. Викиучебник ru.wikibooks.org/wiki
3. Сайт Информация-Институт математики и компьютерных наук ДВГУ. Курс «Математика и информатика» Лекция» Информация, количественные и качественные характеристики». http://imcs.dvgu.ru
4. Разработка института дистанционного образования Российского университета дружбы народов. 2006г Тема 2. «Измерение информации»2.2 «Единицы измерения информации». http://www.ido.rudn.ru
5. Википедия http://ru.wikipedia.org/wiki
6. 1.Сайт Калининградского государственного технического университета. Информатика. Измерение информации. http://www.klgtu.ru/students/literature/inf_asu/290.html

2.Сайт Калининградского государственного технического университета. Информатика. Структурный подход и измерению информации. http://www.klgtu.ru/students/literature/inf_asu/300.html

3.Сайт Калининградского государственного технического университета. Информатика. Статистический подход и измерению информации. http://www.klgtu.ru/students/literature/inf_asu/350.html

4.Сайт Калининградского государственного технического университета. Информатика. Семантический подход и измерению информации. http://www.klgtu.ru/students/literature/inf_asu/360.html

7. Википедия. Формула Хартли. http://ru.wikipedia.org/wiki
8. Материалы из диссертации: Вяткин В.Б. Математические моделиинформационной оценки признаков рудных объектов. Тема: Вероятностный подход к количественному определению информации. http://vbvvbv.narod.ru/problemnegentropy/probability/index.h
9. Электронный учебник. Мера информации по Шеннону. http://de.ifmo.ru/bk_netra/page.php?tutindex=13&index=25&layer...
10. А.Н. Колмогоров. Три подхода к определению понятия Количество информации. http://www.kirsoft.com.ru/freedom/KSNews_388.htm
11. Интернет-Университет Информационных Технологий http://www.intuit.ru/department/expert/intsys/6/intsys_6.html