Модель непрерывного и дискретного каналов связи

Определение 1. Множество используемых в тексте символов называетсяалфавитом. 

Определение 2.  Полное количество символов алфавита  называетсямощностью  
алфавита. 

Чем меньше знаков в используемом алфавите, тем  длиннее сообщение. Так, например, в  алфавите азбуки Морзе всего три  знака (точка, тире, пауза), поэтому для  кодирования каждой русской или  латинской буквы нужно использовать несколько знаков, и текст, закодированный по Морзе, будет намного длиннее, чем при обычной записи.

В вычислительной технике наименьшей единицей измерения  информации является 1 бит (binary digit). Один бит соответствует одному знаку двоичного алфавита, т.е. 0 или 1.

Таким образом, 1бит = 0 или 1.

Единицы измерения информации

Для удобства помимо бита применяются более крупные  единицы измерения информации.

1байт = 8 бит

Байт - это восьмиразрядный двоичный код, с помощью которого можно представить  один символ. При вводе в ЭВМ  символа с клавиатуры машине передается 1 байт информации.

1Кб (килобайт) = 1024 байт

1Мб (мегабайт) = 1024 Кб

1Гб (гигабайт) = 1024 Мб

1Тб(терабайт)=1024 Гб.

Для того чтобы подсчитать количество информации в сообщении необходимо умножить количество информации, которое несет 1 символ, на количество символов. 

Определение 3. Информационный объем сообщения (информационная емкость сообщения) - количество информации в сообщении, измеренное в битах, байтах или производных единицах (Кбайтах, Мбайтах и т.д.).

Пример 1. Какое  количество информации содержится в слове «информатика» (каждый символ кодировать 1 байтом).

Решение. В слове «информатика»  11 символов, поэтому количество информации определяется как 11* 1байт = 11 байт.

Пример 2. Объем информационного сообщения 12 288 битов (учитывая, что 1 байт = 8 битов), можно выразить как:

1) 1536 Кбайт; 2) 1,5 Мбайт; 3) 1,5 Кбайт; 4) 1,2 Кбайт.

Решение. Так как в в 1 байте - 8 бит, то 12 288 бит = 12 288/8=1536 байт. 1536/1024 =

1,5Кбайт.

Правильный  ответ 3) 1,5 Кбайт

В примере 1 считалось, что количество информации, которое несет один символ, равно 1 байту. Но на самом деле это зависит  от мощности алфавита.

Информационная  емкость одного символа обычно обозначается через I, мощность алфавита - N. Эти величины связаны между собой следующей  формулой: 2I=N, т.е. информационная емкость 1 символа  I=log2N.

Пример 3.  Измерить информационную емкость 1 символа русского алфавита (букву ё не yчитывать).

Решение. Если не учитывать ё, то в русском  алфавите 32 буквы. Соответственно, I=log2 32=5 бит, т.е. каждый символ в русском алфавите несет 5 бит информации.

Пример 4. Мощность некоторого алфавита равна 64 символам. Каким будет объем  информации в тексте, состоящем из 100 символов

Решение. Найдем информационную емкость 1 символа, используя формулу 2I=N.  
2I=64, I= log2 64=6 (бит). Объем информации в тексте будет равен 100*6 бит = 600 бит.