Способы измерения информации

В своих комментариях относительно алгоритмического подхода А.Н. Колмогоров писал, что  он "основан на применении теории алгоритмов для определения понятия энтропии, или сложности, конечного объекта и понятия информации в одном конечном объекте о другом". В соответствии с этим, переходя к рассмотрению алгоритмического подхода с позиций количественного определения негэнтропии отражения, предварительно отметим следующее. – В рассматриваемой нами ситуации (рис. 1) каждый из объектов может быть закодирован с помощью двоичного языка, символами которого являются "0" и "1". Кодируя каждый элемент символом "1", мы получим для отражаемого и отражающего объектов соответствующий код длины и .     

Также очевидно, что алгоритм получения  одного объекта из другого в рассматриваемой  ситуации сводится к добавлению или  обнулению (ликвидации) определенного  числа единиц в соответствующем  коде. То есть длина "программы" получения  одного объекта из другого равна двоичных единиц и соответственно относительная сложность каждого из объектов имеет вид:

............................................... (24)

Подставляя  выражения (23) и (24) в формулу (22), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:

............................... (25)     

Алгоритмическая информация (25) наиболее близка к определению  негэнтропии отражения системных объектов в сравнении с ранее рассмотренными информационными мерами и даже, на принципиальном уровне суждений (в рамках изложенного материала), может быть принята за ее количественную характеристику. Но, этим ее положительные свойства в негэнтропийном отношении ограничиваются, так как она не применима к открытым системным объектам. Дело в том, что, когда отражаемый объект является открытым, мы опять будем иметь отрицательные значения (при ), негативизм которых, помимо отмеченного выше, может быть дополнен тем, что, как нетрудно видеть, возможны ситуации, когда аддитивная негэнтропия отражения совокупности отражающих объектов будет равна нулю. То есть, например, проведя наблюдения и выявив совокупность объектов, имеющих непосредственную взаимосвязь с отражаемым (исследуемым) объектом, в итоге мы будем иметь, что общее количество информации, полученное нами в процессе исследований равно нулю, а это уже нонсенс. Таким образом, мы видим, что алгоритмический подход, также как комбинаторный и вероятностный, не позволяет получить расчетную формулу для негэнтропии отражения системных объектов . 

Глава 6. Другие подходы к  измерению информации      

Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой – теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками Семиотика исследует знаки как особый вид носителей информации. При этом знаком является условное изображение элемента сообщения, словом – совокупность знаков, имеющих смысловое значение, языком – словарь и правила пользования им. Таким образом, рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых структур.      

В качестве знаковых систем используются естественные и искусственные языки, в том числе информационные и  языки программирования, различные  системы сигнализации, логические, математические и химические символы. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Примером могут быть живые организмы, машины с определенными свойствами.     

Рассматривая  знаковые системы, выделяют три основных аспекта их изучения: синтактику, семантику  и прагматику.     

Синтактика  изучает синтаксис знаковых структур, т.е. способы сочетаний знаков, правила  образования этих сочетаний и  их преобразований безотносительно  к их значениям. Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам.     

Семантика изучает знаковые системы как  средства выражения смысла, определенного  содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка.     

Прагматика  рассматривает соотношение между  знаковыми системами и их пользователями, или приемниками-интерпретаторами сообщений. Иными словами, к прагматике относится изучение практической полезности знаков, слов и, следовательно, сообщений, т.е. потребительской стороны языка.     

Основная  идея семантической концепции информации заключается в возможности измерения  содержания (предметного значения) суждений. Но содержание всегда связано  с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму, т.е. семантические свойства информации выразить через синтаксические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности, с которым мы уже знакомы.     

Сразу же заметим, что методы точного количественного  определения смыслового содержания информации в настоящее время  еще не разработаны, поэтому мы ограничимся только кратким описанием подходов к решению этой проблемы.     

Первую  попытку построения теории семантической  информации предприняли Р. Карнап и И.Бар-Хиллел. Они положили начало применению идей и методов символической логики и логической семантики к анализу информационного содержания языка науки. Р. Карнап и И. Бар-Хиллел предложили определять величину семантической информации посредством так называемой логической вероятности, которая представляет собой степень подтверждения той или иной гипотезы. При этом количество семантической информации, содержащейся в сообщении, возрастает по мере уменьшения степени подтверждения априорной гипотезы. Если вся гипотеза построена на эмпирических данных, полностью подтверждаемых сообщением, то такое сообщение не приносит получателю никаких новых сведений. Логическая вероятность гипотезы при этом равна единице, а семантическая информация оказывается равной нулю. Гипотеза здесь полностью вытекает из данных опыта. И наоборот, по мере уменьшения степени подтверждения гипотезы, или запаса знаний, количество семантической информации, доставляемой сообщением, возрастает. Чем больше логическая вероятность высказывания, тем меньше должна быть мера его содержания, т.е. чем больше описаний состояния «разрешает» то или иное высказывание, тем меньше должна быть его семантическая информативность и, наоборот, чем больше описаний состояния им исключается, тем больше должна быть его информативность. Таким образом, семантико-информационное содержание высказывания определяется не тем, что содержит данное высказывание, а тем, что оно исключает.     

Концепция Карнапа – Бар-Хиллела, получившая впоследствии развитие в трудах Кемени, является только началом исследований в области измерения содержания передаваемой информации. Эта концепция  позволяет, например, выявить связь гипотезы с начальным достоверным значением, в частности, сделать заключение о степени подтверждения гипотезы.     

Финский ученый Я. Хинтикка распространил основные идеи семантической теории информации Карнапа и Бар-Хиллела на логику высказываний. Для многих ситуаций (наблюдения, измерения, подтверждения гипотезы, научного предсказания, объяснения) он предложил метод определения уменьшения неопределенности, которое, например, претерпевает гипотеза g после получения того или иного эмпирического факта h или вообще изменения информационного содержания высказывания g при получении высказывания h.     

Однако, несмотря на определенные достижения, концепция Карнапа – Бар-Хиллела  оказалась малопригодной для  анализа содержания естественного  языка. Эта теория, основанная на вероятностной логике, неприменима к анализу основного массива научного знания – достоверного знания. С точки зрения указанной теории, например, высказывание «На Луне есть нефть» содержит информацию, а высказывание «На Земле есть нефть» лишено информации, поскольку это достоверное знание. Такая ситуация представлялась довольно парадоксальной!      

Подчеркнем  еще раз в связи с этим, что  семантическая теория информации еще  молода и делает лишь первые шаги. Некоторые  исследователи, например, советский ученый Е.К. Войшвилло, становятся на путь синтеза статистического (Шеннон) и логико-семантического (Карнап, Бар-Хиллел) подходов к информации.     

Об  одной очень интересной модели семантической  информации мы расскажем ниже, а  сейчас рассмотрим прагматические концепции информации.     

Изучение  отношений между знаками и  их потребителями с точки зрения использования получаемой информации и влияния знаков на поведение  систем составляет основу прагматической теории информации. Для всех подходов здесь характерно стремление связать понятие прагматической информации с целью, целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации.     

Исходя  из этих соображений, А.А. Харкевич предложил связать меру ценности информации с изменением вероятности достижения цели при получении этой информации.