Система счисления

Возможны различные варианты двоичного кодирования, однако, не все  они будут пригодны для практического  использования - важно, чтобы закодированное сообщение могло быть однозначно декодировано, т.е. чтобы в последовательности 0 и 1, которая представляет собой многобуквенное кодированное сообщение, всегда можно было бы различить обозначения отдельных букв.

Рассмотрим пример построения двоичного кода для символов русского алфавита:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Неравномерный код с разделителями

Для того что бы было проще  декодировать сообщения был придуман код с разделителями.

Проще всего достичь однозначного декодирования, если коды будут разграничены разделителем - некоторой постоянной комбинацией двоичных знаков. Условимся, что разделителем отдельных кодов букв будет последовательность 00 (признак конца знака), а разделителем слов - 000 (признак конца слова - пробел). Довольно очевидными оказываются следующие правила построения кодов:

— код признака конца  знака может быть включен в  код буквы, поскольку не существует отдельно (т.е. кода всех букв будут  заканчиваться 00);

— коды букв не должны содержать  двух и более нулей подряд в

середине (иначе они будут  восприниматься как конец знака);

— код буквы (кроме пробела) всегда должен начинаться с 1;

— разделителю слов (000) всегда предшествует признак конца знака;

при этом реализуется последовательность 00000 (т.е. если в конце кода встречается комбинация ...000 или ...0000, они не воспринимаются как разделитель слов); следовательно, коды букв могут оканчиваться на 0 или 00 (до признака конца знака).

Длительность передачи каждого  отдельного кода 4 очевидно, может быть найдена: t_i = k_i • τ, где k_i - количество элементарных сигналов (бит) в коде символа L.

 

Алфавитное неравномерное  двоичное кодирование. Префиксный код

 

Рассмотрев один из вариантов  двоичного неравномерного кодирования, попробуем найти ответы на следующие  вопросы: возможно ли такое кодирование  без использования разделителя  знаков? Существует ли наиболее оптимальный  способ неравномерного двоичного кодирования?

Суть первой проблемы состоит  в нахождении такого варианта кодирования  сообщения, при котором последующее  выделение из него каждого отдельного знака (т.е. декодирование) оказывается  однозначным без специальных  указателей разделения знаков. Наиболее простыми и употребимыми кодами такого типа являются так называемые префиксные коды, которые удовлетворяют следующему условию (условию Фано):

ииииииииииии

Неравномерный код может  быть однозначно декодирован, если никакой  из кодов не совпадает с началом  какого-либо иного более длинного кода.

Например, если имеется код  ПО, то уже не могут использоваться коды 1, 11, 1101, 110101 и пр. Если условие  Фано выполняется, то при прочтении (расшифровке) закодированного сообщения путем сопоставления со списком кодов всегда можно точно указать, где заканчивается один код и начинается другой.

 

Пример: Пусть имеется  следующая таблица префиксных кодов:

 

 

Требуется декодировать сообщение: 00100010000111010101110000110. Декодирование производится циклическим повторением следующих  действий:

1. отрезать от текущего  сообщения крайний левый символ, присоединить к рабочему кодовому  слову;

2. сравнить рабочее кодовое  слово с кодовой таблицей; если  совпадения нет, перейти к (1);

3. декодировать рабочее  кодовое слово, очистить его;

4. проверить, имеются ли  еще знаки в сообщении; если  «да», перейти к (1).

Применение данного алгоритма  дает:

 

 

Доведя процедуру до конца, получим сообщение: «мама мыла раму».

 

Код Хаффмана

Способ оптимального префиксного  двоичного кодирования был предложен  Д.Хаффманом. Построение кодов Хаффмана мы рассмотрим на следующем примере: пусть имеется первичный алфавит А, состоящий из шести знаков a₁…а₆ с вероятностями появления в сообщении, соответственно, 0,3; 0,2; 0,2; 0,15; 0,1; 0,05. Создадим новый вспомогательный алфавит А_b объединив два знака с наименьшими вероятностями (а₅ и а₆) и заменив их одним знаком (например, а⁽¹⁾); вероятность нового знака будет равна сумме вероятностей тех, что в него вошли, т.е. 0,15; остальные знаки исходного алфавита включим в новый без изменений; общее число знаков в новом алфавите, очевидно, будет на 1 меньше, чем в исходном. Аналогичным образом продолжим создавать новые алфавиты, пока в последнем не останется два знака; ясно, что число таких

шагов будет равно N - 2, где N - число знаков исходного алфавита (в нашем случае N = 6, следовательно, необходимо построить 4 вспомогательных  алфавита). В промежуточных алфавитах  каждый раз будем переупорядочивать  знаки по убыванию вероятностей. Всю  процедуру построения представим в  виде таблицы:

 

 

Теперь в обратном направлении  поведем процедуру кодирования. Двум знакам последнего алфавита присвоим коды 0 и 1 (которому какой - роли не играет; условимся, что верхний знак будет  иметь код 0, а нижний - 1). В нашем  примере знак а₁⁽⁴⁾ алфавита А⁽⁴⁾, имеющий вероятность 0,6 , получит код 0, а а₂⁽⁴⁾ с вероятностью 0,4 - код 1. В алфавите A⁽³⁾ знак а₁⁽³⁾ с вероятностью 0,4 сохранит свой код (1); коды знаков a₂⁽³⁾ и a₃⁽³⁾, объединенных знаком a₁⁽⁴⁾ с вероятностью 0,6 , будут уже двузначным: их первой цифрой станет код связанного с ними знака (т.е. 0), а вторая цифра -как условились - у верхнего 0, у нижнего - 1; таким образом, а₂⁽³⁾ будет иметь код 00,  a a₃⁽³⁾ - код 01.  Полностью процедура кодирования

представлена в следующей таблице:

 

 

Из самой процедуры  построения кодов легко видеть, что  они удовлетворяют условию Фано и, следовательно, не требуют разделителя. Средняя длина кода при этом оказывается: К⁽²⁾ = 0,3-2+0,2-2+0,2-2+0,15-3+0,1-4+0,05-4 = 2,45

Для сравнения можно найти  I₁^{A)-она оказывается равной 2,409. что соответствует избыточности кода Q = 0,0169, т.е. менее 2%.

Код Хаффмана важен в теоретическом  отношении, поскольку он является самым  экономичным из всех возможных, т.е. ни для какого метода алфавитного  кодирования длина кода не может  оказаться меньше, чем код Хаффмана. Можно заключить, что существует метод построения оптимального неравномерного алфавитного кода. Метод Хаффмана и его модификация - метод адаптивного  кодирования (динамическое кодирование  Хаффмана) - нашли применение в программах-архиваторах, программах резервного копирования  файлов и дисков, в системах сжатия информации в модемах и факсах.

 

Равномерное алфавитное двоичное кодирование. Байтовый код

 

В этом случае двоичный код  первичного алфавита строится цепочками  равной длины, т.е. со всеми знаками  связано одинаковое количество информации равное 1₀. Передавать признак конца знака не требуется, поэтому для определения длины кодовой цепочки можно воспользоваться формулой: К⁽²⁾ > log₂N. Приемное устройство просто отсчитывает оговоренное заранее количество элементарных сигналов и интерпретирует цепочку (устанавливает, какому знаку она соответствует). Правда, при этом недопустимы сбои, например, пропуск (непрочтение) одного элементарного сигнала приведет к сдвигу всей кодовой последовательности и неправильной ее интерпретации; решается проблема путем синхронизации передачи или иными способами. С другой стороны, применение равномерного кода оказывается одним из средств контроля правильности передачи, поскольку факт поступления лишнего элементарного сигнала или, наоборот, поступление неполного кода сразу интерпретируется как ошибка.

Пример: