Введение в информатику. Понятие информации

где p_i - вероятность появления в сообщении i-го символа алфавита. 

     Удобнее в качестве меры количества информации пользоваться не значением h_{i ,} а средним значением количества информации, приходящейся на один символ алфавита

H = S p_i h_i = - S p_i log₂ p_i

Значение  Н достигает максимума при  равновероятных событиях, то есть при  равенстве всех p_i

p_i = 1 / N.

В этом случае формула Шеннона превращается в формулу Хартли.

      Интересный  факт.

      На  памятнике немецкому ученому  Л. Больцману высечена формула, выведенная в 1877 году и связывающая вероятность  состояния физической системы и  величину энтропии этой системы. Энтропия (греч. en - в, внутрь; trope - превращение, буквально смысловой перевод: то, что внутри, неопределенно) - физическая величина, характеризующая тепловое состояние тела или системы, мера внутренней неупорядоченности системы. Так вот, формула для энтропии Больцмана совпадает с формулой, предложенной Шенноном для среднего количества информации, приходящейся на один символ в сообщении. Совпадение это произвело столь сильное впечатление, что Шеннон назвал количество информации негэнтропией. С тех пор слово “энтропия” стало чуть ли не антонимом слова “информация”.

     Чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее  сообщение полностью или частично снимает эту неопределенность. Следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после поступления сообщения. Таким образом, за меру количества информации принимается та же энтропия, но с обратным знаком. Уменьшая неопределенность, мы получаем информацию, в этом весь смысл научного познания.