Непрерывные и дискретные канала предачи информации

     Пропускную  способность канала можно изменять, меняя ширину спектра сигнала  – f_c его мощность – P_c. Но увеличение ширины спектра увеличивает мощность помехи – P_n, поэтому соотношение между полосой пропускания канала и уровнем помех выбирается компромиссным путем.

     Если  распределение f(x) источника непрерывных сообщений отличается от нормального, то скорость передачи информации – С будет меньше. Используя, функциональный преобразователь, можно получать сигнал с нормальным законом распределения.

     Обычно  p_c/p_п >>1, при этом пропускная способность непрерывного канала равна С_п = F_кD_к. Связь между емкостью и пропускной способностью канала связи имеет вид V_к = T_к F_к D_к = T_к С_п.

2. Теорема Шеннона

     Теорема Шеннона для непрерывного канала с шумом. Если энтропия источника непрерывных сообщений сколь угодно близка к пропускной способности канала, то существует метод передачи, при котором все сообщения источника будут переданы со сколь угодно высокой верностью воспроизведения.

     Пример. По непрерывному каналу связи, имеющим полосу пропускания F_k = 1 кГц, передается полезный сигнал X(t), представляющий собой нормальный случайный процесс с нулевым математическим ожиданием и дисперсией = 4 мВ. В канале действует независимый от сигнала гауссов шум F(t) с нулевым математическим ожиданием и дисперсией = 1 мВ.

     Определить:

     – дифференциальную энтропию входного сигнала;

     – дифференциальную энтропию выходного сигнала;

     – условную дифференциальную энтропию;

     – количество информации в одном непрерывном отсчете процесса Y(t) относительно отсчета X(t);

     – скорость передачи информации по непрерывному каналу с дискретным временем;

     – пропускную способность непрерывного канала связи;

     – определить емкость канала связи, если время его работы T = 10 м;

     – определить количество информации, которое может быть передано за 10 минут работы канала;

     – показать, что информационная емкость  непрерывного канала без памяти с  аддитивным гауссовым шумом при  ограничении на пиковую мощность не больше информационной емкости такого же канала при той же величине ограничения  на среднюю мощность. 

Решение:

     Дифференциальная  энтропия входного сигнала:

     

= 3,05 бит/отсчет.

     Дифференциальная  энтропия выходного сигнала:

     

=3,21 бит/отсчет.

     Условная  дифференциальная энтропия:

     

= 2,05 бит/отсчет.

     Количество  информации в одном непрерывном  отсчете процесса Y(t) относительно отсчета X(t) определяется по формуле:

I (X, Y) = h(x) – h (x/y) = h(y) –  h (y/x) = 3,21–2,05 = 1,16 бит/отсчет.

     Скорость  передачи информации по непрерывному каналу с дискретным временем определяется по формуле:

     

=

     = 2×10³× [3,21–2,05] = 2320 бит/с

     Пропускная  способность непрерывного канала с  помехами определяется по формуле:

     =2322 бит/с.

     Докажем, что информационная емкость непрерывного канала без памяти с аддитивным гауссовым  шумом при ограничении на пиковую  мощность не больше информационной емкости  такого же канала при той же величине ограничения на среднюю мощность.

     Математическое  ожидание для симметричного равномерного распределения:

     

     Средний квадрат для симметричного равномерного распределения:

     

     Дисперсия для симметричного равномерного распределения:

     

     При этом, для равномерно-распределенного  процесса .

     Дифференциальная  энтропия сигнала с равномерным  распределением:

.

     Разность  дифференциальных энтропий нормального  и равномерно распределенного процесса не зависит от величины дисперсии:

     

= 0,3 бит/отсч.

     Таким образом, пропускная способность и  емкость канала связи для процесса с нормальным распределением выше, чем для равномерного.

     Определим емкость (объем) канала связи:

     V_k = T_kC_k = 10×60×2322 = 1,3932 Мбит.

     Определим количество информации, которое может  быть передано за 10 минут работы канала

     

10×60×2322=1,3932 Мбит.

 

4. Задачи

 

     1. В канал связи передаются сообщения,  составленные из алфавита x_1, x₂ и x₃ с вероятностями p(x₁)=0,2; p(x₂₎=0,3 и p(x₃)=0,5.

     Канальная матрица имеет вид: 

     

 при этом  . 

     Вычислить:

1. Энтропию источника информации H(X) и приемника H(Y).

     2. Общую и условную энтропию  H (Y/X).

     3. Потери информации в канале  при передаче к символов (к = 100).

4. Количество принятой информации при передаче к символов.

     5. Скорость передачи информации, если  время передачи одного символа t = 0,01 мс.

     2. По каналу связи передаются  символы алфавита x₁, x₂, x₃ и x₄ с вероятностями . Определить количество информации принятой при передаче 300 символов, если влияние помех описывается канальной матрицей:

     

.

     3. Определить потери информации  в канале связи при передаче  равновероятных символов алфавита, если канальная матрица имеет  вид:

.

     Определить  скорость передачи информации, если время  передачи одного символа t = 0,001 сек.

     4. Определить потери информации при передаче 1000 символов алфавита источника x₁, x₂ и x₃ с вероятностями p =0,2; p =0,1 и p( )=0,7, если влияние помех в канале описывается канальной матрицей:

     

.

     5. Определить количество принятой  информации при передаче 600 символов, если вероятности появления символов  на выходе источника X равны: а влияние помех при передаче описывается канальной матрицей:

.

     6. В канал связи передаются сообщения,  состоящие из символов алфавита  , при этом вероятности появления символов алфавита: равны:

     

     Канал связи описан следующей канальной  матрицей:

. 

     Определить  скорость передачи информации, если время  передачи одного символа  мс.

     7. По каналу связи передаются сигналы x₁, x₂ и x₃ с вероятностями p =0,2; p =0,1 и p( )=0,7. Влияние помех в канале описывается канальной матрицей:

     

.

     Определить  общую условную энтропию и долю потерь информации, которая приходится на сигнал x₁ (частную условную энтропию).

     8. По каналу связи передаются  символы алфавита x₁, x₂, x₃ и x₄ с вероятностями . 

     Помехи  в канале заданы канальной матрицей:

     

.

     Определить  пропускную способность канала связи, если время передачи одного символа t = 0,01 сек.

     Определить  количество принятой информации при  передаче 500 символов, если вероятности  появления символов на входе приемника  Y равны: , а влияние помех при передаче описывается канальной матрицей:

. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Заключение

      Мы  рассмотрели непрерывные каналы по входу и выходу с непрерывным  временем и простую модель непрерывного канала. У нас получилось, что информационная емкость непрерывного канала с аддитивным белым гауссовским шумом при ограничениях на среднюю мощность и на полосу частот и не зависит от выбора системы ортонормированных функций, устанавливающих вид возможных сигналов на входе канала.

    При передаче дискретных данных по узкополосному  каналу тональной частоты, используемому  в телефонии, наиболее подходящими  оказываются способы аналоговой модуляции, при которых несущая  синусоида модулируется исходной последовательностью  двоичных цифр. Эта операция осуществляется специальными устройствами - модемами.

    Для низкоскоростной передачи данных применяется  изменение частоты несущей синусоиды. Более высокоскоростные модемы работают на комбинированных способах квадратурной амплитудной модуляции (QAM), для которой  характерны 4 уровня амплитуды несущей  синусоиды и 8 уровней фазы. Не все  из возможных 32 сочетаний метода QAM используются для передачи данных, запрещенные сочетания позволяют  распознавать искаженные данные на физическом уровне.

    Наиболее  популярным импульсным кодом является манчестерский код, в котором  информацию несет направление перепада сигнала в середине каждого такта. Манчестерский код применяется  в технологиях Ethernet и Token Ring.

    Для улучшения свойств потенциального кода NRZ используются методы логического  кодирования, исключающие длинные  последовательности нулей. Эти методы основаны:

- на введении избыточных бит в исходные данные (коды типа 4В/5В);

- скрэмблировании исходных данных (коды типа 2В 1Q).

    Улучшенные  потенциальные коды обладают более  узким спектром, чем импульсные, поэтому они находят применение в высокоскоростных технологиях, таких  как FDDI, Fast Ethernet, Gigabit Ethernet.