Содержание:

Введение

     Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно  и подробно человеком изучены  те или иные явления, тем подчас проще найти ответ на поставленный вопрос. Так, например, знание законов физики позволяет создавать сложные приборы, а для того, чтобы перевести текст на иностранный язык, нужно знать грамматические правила и помнить много слов.  
     Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. В информатике используются различные подходы к измерению информации. Задача данного реферата – осветить основные подходы к измерению информации. 
Глава1. Объемный способ измерения информации

     Технический способ измерения количества информации (или, точнее, информационного объема сообщения) основан на подсчета количества символов, из которых образовано сообщение. При этом не учитывается смысловое содержание сообщения. Например, многократное повторение одного и того же текста не несет новой информации, однако в результате занимает больший объем памяти, требует большего времени для передачи и т.п. Поэтому этот способ удобен в технических расчетах

     За 1 бит в этом случае принимается один двоичный символ в сообщении.

     Информационный обьем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в битах, байтах или производных величинах . 

  Таб. 1 пример объемного измерения

Таб.2 Единицы измерения  информации в вычислительной технике

 Глава2. Алфавитный подход

     Алфавитный  подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита. С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, а определяется минимально необходимым количеством символов для ее кодирования. Алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение. Смысл сообщения учитывается на этапе выбора алфавита кодирования либо не учитывается вообще.

     Алфавитный  подход является объективным способом измерения информации в отличие  от субъективного, содержательного, подхода.

     При алфавитном подходе к измерению  информации количество информации зависит от т объёма текста и от мощности, а не от содержания.

     Мощность  алфавита — полное число символов алфавита (N). Каждый символ несёт i бит  информации; число i можно определить из уравнения: 2ⁱ = N.

     Количество  информации, содержащееся в символьном сообщении, равно К х i, где К – число символов в тексте сообщения а i – информационный вес символа, который находится из уравнения 2¹ = N, где N – мощность используемого алфавита.

     Применение  алфавитного подхода удобно при  использовании технических средств работы с информацией.

Глава3. Вероятностный подход к измерению информации

     Формулу для вычисления количества информации, учитывающую неодинаковую вероятность событий, предложил К. Шеннон в 1948 году. Количественная зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: x=log₂ (1/p). Качественную связь между вероятностью события и количеством информации в сообщении об этом событии можно выразить следующим образом - чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

     Рассмотрим  некоторую ситуацию. В коробке  имеется 50 шаров. Из них 40 белых и 10 черных. Очевидно, вероятность того, что  при вытаскивании "не глядя" попадется  белый шар больше, чем вероятность попадания черного. Можно сделать заключение о вероятности события, которые интуитивно понятны. Проведем количественную оценку вероятности для каждой ситуации. Обозначим p_ч - вероятность попадания при вытаскивании черного шара, р_б - вероятность попадания белого шара. Тогда: р_ч=10/50=0,2; р_б40/50=0,8. Заметим, что вероятность попадания белого шара в 4 раза больше, чем черного. Делаем вывод: если N - это общее число возможных исходов какого-то процесса (вытаскивание шара), и из них интересующее нас событие (вытаскивание белого шара) может произойти K раз, то вероятность этого события равна K/N. Вероятность выражается в долях единицы. Вероятность достоверного события равна 1 (из 50 белых шаров вытащен белый шар). Вероятность невозможного события равна нулю (из 50 белых шаров вытащен черный шар).

     Количественная  зависимость между вероятностью события р и количеством информации в сообщении о нем x выражается формулой: . В задаче о шарах количество информации в сообщении о попадании белого шара и черного шара получится: .

     Рассмотрим  некоторый алфавит из m символов: и вероятность выбора из этого алфавита какой-то i-й буквы для описания (кодирования) некоторого состояния объекта. Каждый такой выбор уменьшит степень неопределенности в сведениях об объекте и, следовательно, увеличит количество информации о нем. Для определения среднего значения количества информации, приходящейся в данном случае на один символ алфавита, применяется формула . В случае равновероятных выборов p=1/m. Подставляя это значение в исходное равенство, мы получим

     Рассмотрим следующий  пример. Пусть при бросании несимметричной четырехгранной пирамидки вероятности выпадения граней будут следующими: p₁=1/2, p₂=1/4, p₃=1/8, p₄=1/8, тогда количество информации, получаемое после броска, можно рассчитать по формуле:

     Для симметричной четырехгранной пирамидки количество информации будет: H=log₂4=2(бит).

     Заметим, что для  симметричной пирамидки количество информации оказалось больше, чем  для несимметричной пирамидки. Максимальное значение количества информации достигается  для равновероятных событий.

Таб.3 Частотный словарь русского языка

Глава 4. Теория разнообразия Р. Эшби

     Рассмотрим пример Р. Эшби. Заключенного должна навестить жена Сторож знает, что она хочет сообщить мужу, пойман ли его сообщник. Ей не разрешено делать никаких сообщений. Но сторож подозревает, что они договорились о каком-то условном знаке. Вот она просит послать мужу чашечку кофе. Как сторож может добиться, чтобы сообщение не было передано? Он рассуждает так: может быть, она условилась передать ему сладкий чай или несладкий кофе, тогда я могу помешать им, добавив в кофе сахару и сказав об этом заключенному. Может быть, она условилась послать или не послать ему ложку, тогда я могу изъять ложку и сказать ему, что передача ложек воспрещена. Она может послать ему не кофе, а чай, но все знают, что в это время выдается только кофе. И сторож, стремясь пресечь всякую возможность связи, сводит все возможности к одной – только кофе, только с сахаром, только без ложки. Если все возможности сведены к одной, связь прерывается, и посылаемый напиток лишен возможности передать информацию.

     Р. Эшби осуществил переход от толкования информации как «снятой» неопределенности к «снятой» неразличимости. Он считал, что информация есть там, где имеется (дано или выявляется) разнообразие, неоднородность. В данном случае единицей измерения информации может быть элементарное различие, т.е. различие между двумя объектами в каком-либо одном фиксированном свойстве. Чем больше в некотором объекте отличных (в строго определенном смысле) друг от друга элементов, тем больше этот объект содержит информации. Информация есть там, где имеется различие хотя бы между двумя элементами. Информации нет, если элементы неразличимы.

     В середине 50-х годов, используя материал статистической теории информации, Р. Эшби изложил концепцию разнообразия, согласно которой под разнообразием следует подразумевать характеристику элементов множества, заключающуюся в их несовпадении. Так, множество, в котором все элементы одинаковы (допустим, это последовательность а, а, а, и т.д.), по мнению Эшби, не имеет «никакого» разнообразия, ибо все его элементы одного типа. Если разнообразие его измерить логарифмически, то получим логарифм единицы (единица означает однотипность элементов множества) – нуль. Множество с таким разнообразием соответствует единичной вероятности выбора элемента, т.е. какой элемент множества не был бы выбран, он будет одного и того же типа. Суть концепции разнообразия, по Эшби, заключается в утверждении, что теория информации изучает процессы «передачи разнообразия» по каналам связи, причем «информация не может передаваться в большем количестве, чем это позволяет количество разнообразия».

     Исходя из идей основоположника  кибернетики Н. Винера и результатов, полученных К. Шенноном, Эшби открыл закон, названный законом необходимого разнообразия, который так же, как закон Шеннона для процессов связи, может быть общим для процессов управления. Суть этого закона состоит в следующем. Для управления состоянием кибернетической системы нужен регулятор, ограничивающий разнообразие возмущений, которые могут разрушить систему. При этом регулятор допускает такое их разнообразие, которое необходимо и полезно для системы.

     При допустимом разнообразии состояний кибернетической системы  Р_c и разнообразии возмущений Р_в количество разнообразия регулятора Р_р=Р_в/Р_c. Эта формула является одной из количественных форм выражения закона необходимого разнообразия. В логарифмической форме этот закон имеет вид

     log P_p = log Р_в/Р_c или log P_p = log Р_в – log Р_c.