Пропускная способность канала связи. Пропускная способность систем передачи информации

В любой системе связи через канал передается информация. Скорость передачи информации была определена в § 2.9. Эта скорость зависит не только от самого канала, но и от свойств подаваемого на его вход сигнала и поэтому не может характеризовать канал как средство передачи информации. Попытаемся найти способ оценки способности канала передавать информацию. Рассмотрим вначале дискретный канал, через который передаются в единицу времени символов из алфавита объемом При передаче каждого символа в среднем по каналу проходит следующее количество информации [см. (2.135) и (2.140)]:

где случайные символы на входе и выходе канала. Из четырех фигурирующих здесь энтропий -собственная информация передаваемого символа - определяется источником дискретного сигнала и не зависит от свойств канала. Остальные три энтропии в общем случае зависят как от источника сигнала, так и от канала.

Представим себе, что на вход канала можно подавать символы от разных источников, характеризуемых различными распределениями вероятностей (но, конечно, при тех же значениях . Для каждого такого источника количество информации, переданной по каналу, принимает свое значение. Максимальное количество переданной информации, взятое по всевозможным

источникам входного сигнала, характеризует сам канал и называется пропускной способностью канала. В расчете на один символ

где максимизация производится по всем многомерным распределениям вероятностей Можно также определить пропускную способность С канала в расчете на единицу времени (секунду):

Последнее равенство следует из аддитивности энтропии. В дальнейшем везде, где это особо не оговорено, будем под пропускной способностью понимать пропускную способность в расчете на секунду.

В качестве примера вычислим пропускную способность симметричного канала без памяти, для которого переходные вероятности заданы формулой (3.36). Согласно (3.52) и (3.53)

Величина в данном случае легко вычисляется, поскольку условная переходная вероятность принимает только два значения: , если еслн Первое из этих значений возникает с вероятностью а второе с вероятностью К тому же, поскольку рассматривается канал без памяти, результаты приема отдельных символов независимы друг от друга. Поэтому

Следовательно, не зависит от распределения вероятности В, а определяется только переходными вероятностями канала. Это свойство сохраняется для всех моделей канала с аддитивным шумом.

Подставив (3.56) в (3.55), получим

Поскольку в правой части только член зависит от распределения вероятностей то максимизировать необходимо его. Максимальное значение согласно (2.123) равно и реализуется оно тогда, когда все принятые символы равновероятны и независимы друг от друга. Легко убедиться, что это условие удовлетворяется, еслн входные символы равновероятны и независимы, поскольку

При этом и

Отсюда пропускная способность в расчете на секунду

Для двоичного симметричного канала пропускная способность в двоичных единицах в секунду

Зависимость от согласно (3.59) показана на рис. 3.9.

При пропускная способность двоичного канала поскольку при такой вероятности ошибки последовательность выходных двоичных символов можно получить, совсем не передавая сигналы по каналу, а выбирая их наугад (например, по результатам бросания монеты), т. е. при последовательности на выходе и входе канала независимы. Случай называют обрывом канала. То, что пропускная способность при в двоичном канале такая же, как при (канал без шумов), объясняется тем, что при достаточно все выходные символы инвертировать (т. е. заменить 0 на 1 и 1 на 0), чтобы правильно восстановить входной сигнал.

Рис. 3.9. Зависимость пропускной способности двоичного симметричного канала без памяти от вероятности ошибочного приема символа

Пропускная способность непрерывного канала вычисляется аналогично. Пусть, например, канал имеет ограниченную полосу пропускания шириной Тогда сигналы на входе и выходе канала по теореме Котельникова определяются своими отсчетами, взятыми через интервал и поэтому информация, проходящая по каналу за некоторое время равна сумме количеств информации, переданных за каждый такой отсчет. Пропускная способность канала на один такой отсчет

Здесь случайные величины - сечения процессов на входе и выходе канала и максимум берется по всем допустимым входным сигналам, т. е. по всем распределениям .

Пропускная способность С определяется как сумма значений Сотсч» взятая по всем отсчетам за секунду. При этом, разумеется, дифференциальные энтропии в (3.60) должны вычисляться с учетом вероятностных связей между отсчетами.

Вычислим, например, пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом, имеющим полосу пропускания шириной если средняя мощность сигнала (дисперсия не превышает заданной величины Мощность (дисперсию) шума в полосе обозначим Отсчеты входного и выходного сигналов, а также шума связаны равенством

н так как имеет нормальное распределение с нулевым математическим ожиданием, то и условная плотность вероятности при фиксированном и будет также нормальной - с математическим ожиданием и и дисперсией Найдем пропускную способность на один отсчет:

Согласно (2.152) дифференциальная энтропия нормального распределения не зависит от математического ожидания и равна Поэтому для нахождения нужно найти такую плотность распределения при которой максимизируется Из (3.61), учитывая, что независимые случайные величины, имеем

Таким образом, дисперсия фиксирована, так как заданы. Согласно (2.153), при фиксированной дисперсии максимальная дифференциальная энтропия обеспечивается нормальным распределением. Из (3.61) видно, что при нормальном одномерном распределении распределение будет также нормальным и, следовательно,

Переходя к пропускной способности С в расчете на секунду, заметим, что информация, переданная за несколько отсчетов, максимальна в том случае, когда отсчеты сигналов независимы. Этого можно достичь, если сигнал выбрать так, чтобы его спектральная плотность была равномерной в полосе Как было показано в отсчеты, разделенные интервалами, кратными взаимно некоррелированны, а для гауссовских величин некоррелированность означает независимость.

Поэтому пропускную способность С (за секунду) можно найти, сложив пропускные способности (3.63) для независимых отсчетов:

Она реализуется, если гауссовский процесс с равномерной спектральной плотностью в полосе частот (квазибелый шум).

Из формулы (3.64) видно, что если бы мощность сигнала не была ограничена, то пропускная способность была бы бесконечной. Пропускная способность равна нулю, если отношение сигнал/шум в канале равно нулю. С ростом этого отношения пропускная способность увеличивается неограниченно, однако медленно, вследствие логарифмической зависимости.

Соотношение (3.64) часто называют формулой Шеннона. Эта формула имеет важное значение в теории информации, так как определяет зависимость пропускной способности рассматриваемого непрерывного канала от таких его технических характеристик, как ширина полосы пропускания и отношение сигна/шум. Формула Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и наоборот. Однако поскольку С зависит от линейно, а от по логарифмическому закону, компенсировать возможное сокращение полосы пропускания увеличением мощности сигнала, как правило, нецелесообразно. Более эффективным является обратный обмен мощности сигнала на полосу пропускания.

5.1. Скорость передачи информации в дискретной системе связи

В дискретной системе связи при отсутствии помех информация на выходе канала связи (канала ПИ) полностью совпадает с информацией на его входе, поэтому скорость передачи информации численно равна производи­тельности источника сообщений:

При наличии помех часть информации источника теряется и скорость пере­дачи информации оказывается меньшей, чем производительность источ­ника. Одновременно в сообщение на выходе канала добавляется информация о помехах (рис.12).

Поэтому при наличии помех необходимо учитывать на выходе канала не всю информацию, даваемую источником, а только взаимную информа­цию:

бит/с. (5.2)

На основании формулы (5.1) имеем

где H  (x )  производительность источника;

H  (x / y )  ненадёжность “ канала(потери) в единицу времени;

H  (y )  энтропия выходного сообщения в единицу времени;

H  (y / x ) =H ’(n ) –энтропия помех (шума) в единицу времени.

Пропускной способностью канала связи (канала передачи информации) C называется максимально возможная скорость передачи информации по каналу

. (5.4)

Для достижения максимума учитываются все возможные источники на выходе и все возможные способы кодирования.

Таким образом, пропу­скная способность канала связи равна максимальной производительности источника на входе канала, полностью согласованного с характеристиками этого канала, за вычетом потерь информации в канале из-за помех.

В канале без помех C = max H  (x ) , так как H  (x / y )=0 . При использовании равномерного кода с основанием k , состоящего из n элементов длительностью  э , в канале без помех

,

при k =2
бит/c. (5.5)

Для эффективного использования пропускной способности канала необходимо его согласование с источником информации на входе. Такое согласование возможно как для каналов связи без помех, так и для каналов с помехами на основании двух теорем, доказанных К.Шенноном.

1-ая теорема (для канала связи без помех):

Если источник сообщений имеет энтропию H (бит на символ), а канал связи – пропу­скную способность C (бит в секунду), то можно закодировать сообще­ния таким образом, чтобы передавать информацию по каналу со средней скоростью, сколь угодно близкой к величине C , но не превзойти её.

К.Шеннон предложил и метод такого кодирования, который получил название статистического или оптимального кодирования. В дальнейшем идея такого кодирования была развита в работах Фано и Хаффмена и в настоящее время широко используется на практике для “cжатия сообщений”.

5.2. Пропускная способность однородного симметричного канала связи

В однородном канале связи условные(переходные) вероятности p (y 1 / x 1 ) не зависят от времени. Граф состояний и переходов однородного двоичного канала связи приведен на рис. 13.

На этом рисунке x 1 и x 2 – сигналы на входе канала связи, y 1 и y 2 – сиг­налы на выходе. Если передавался сигнал x 1 и принят сигнал y 1 , это озна­чает, что первый сигнал (индекс 1) не исказился. Если передавался первый сигнал (x 1), а принят второй сигнал (y 2), это означает, что произошло иска­жение первого сигнала. Вероятности переходов указаны на рис. 13. Если канал симметричный, то вероятности переходов попарно равны.

Обозначим: p (y 2 / x 1 )= p (y 1 / x 2 )= p э – вероятности искажения элемента сигнала, p (y 1 / x 1 )= p (y 2 / x 2 )=1- p э – вероятности правильного приёма элемента сигнала.

В соответствии с формулами (5.1) и (5.3)

.

Если сигналы x 1 и x 2 имеют одинаковую длительность  э , то
. Тогда пропускная способность канала будет равна

. (5.7)

В этой формуле maxH (y )= logk . Для двоичного канала (k= 2) maxH (y )= 1 и формула (5.4) примет вид

. (5.8)

Остаётся определить условную энтропию H (y / x ) . Для двоичного источника имеем

Подставив это значение условной энтропии в (5.8), получим оконча­тельно

. (5.9)

Для канала связи с k >2

бит/c.

На рис. 14 построен график зависимости пропускной способности двоичного канала от вероятности ошибки.

Для канала связи с k >2 пропускная способность определяется почти аналогичной формулой:

В заключении рассмотрим один пример. Пусть имеется двоичный источник с производительностью
бит/c.

Если вероятность искажения p э = 0,01, то из этого следует, что из 1000 элементов сигнала, переданных за одну секунду, в среднем 990 элементов будут приняты без искажений и только 10 элементов будут искажены. Казалось бы, пропускная способность в этом случае будет составлять 990 бит в секунду. Однако вычисление по формуле (5.9) даёт нам величину, значительно меньшую (C = 919 бит/с). В чём здесь дело? А дело в том, что мы получили бы C = 990 бит/с, если бы точно знали, какие именно элементы сообщения искажены. Незнание этого факта (а это практически знать невозможно) приводит к тому, что 10 искажённых элементов настолько сильно снижают ценность принимаемого сообщения, что пропускная способность резко уменьшается.

Другой пример. Если p э = 0,5, то из 1000 переданных элементов 500 не будут искажены. Однако теперь уже пропускная способность будет составлять не 500 бит/с, как можно было бы предполагать, а формула (5.9) даст нам величину C = 0. Действительно при p э = 0,5 сигнал по каналу связи фактически уже не проходит и канал связи просто эквивалентен генератору шума.

При p э  1 пропускная способность приближается к максимальной величине. Однако в этом случае сигналы на выходе системы связи необходимо инвертировать.

На рис. 1 приняты следующие обозначения: X, Y, Z, W – сигналы, сообщения; f – помеха; ЛС – линия связи; ИИ, ПИ – источник и приемник информации; П – преобразователи (кодирование, модуляция, декодирование, демодуляция).

Существуют различные типы каналов, которые можно классифицировать по различным признакам:

1.По типу линий связи: проводные; кабельные; оптико-волоконные;

линии электропередачи; радиоканалы и т.д.

2. По характеру сигналов: непрерывные; дискретные; дискретно-непрерывные (сигналы на входе системы дискретные, а на выходе непрерывные, и наоборот).

3. По помехозащищенности: каналы без помех; с помехами.

Каналы связи характеризуются:

1. Емкость канала определяется как произведениевремени использования канала T к, ширины спектра частот, пропускаемых каналом F к и динамического диапазона D к . , который характеризует способность канала передавать различные уровни сигналов

V к = T к F к D к. (1)

Условие согласования сигнала с каналом:

V c £ V k ; T c £ T k ; F c £ F k ; V c £ V k ; D c £ D k .

2.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени.

3.

4. Избыточность – обеспечивает достоверность передаваемой информации (R = 0¸1).

Одной из задач теории информации является определение зависимости скорости передачи информации и пропускной способности канала связи от параметров канала и характеристик сигналов и помех.

Канал связи образно можно сравнивать с дорогами. Узкие дороги – малая пропускная способность, но дешево. Широкие дороги – хорошая пропускная способность, но дорого. Пропускная способность определяется самым «узким» местом.

Скорость передачи данных в значительной мере зависит от передающей среды в каналах связи, в качестве которых используются различные типы линий связи.

Проводные:

1. Проводные – витая пара (что частично подавляет электромагнитное излучение других источников). Скорость передачи до 1 Мбит/с. Используется в телефонных сетях и для передачи данных.

2. Коаксиальный кабель. Скорость передачи 10–100 Мбит/с – используется в локальных сетях, кабельном телевидении и т.д.

3. Оптико-волоконная. Скорость передачи 1 Гбит/с.

В средах 1–3 затухание в дБ линейно зависит от расстояния, т.е. мощность падает по экспоненте. Поэтому через определенное расстояние необходимо ставить регенераторы (усилители).

Радиолинии:

1.Радиоканал. Скорость передачи 100–400 Кбит/с. Использует радиочастоты до 1000 МГц. До 30 МГц за счет отражения от ионосферы возможно распространение электромагнитных волн за пределы прямой видимости. Но этот диапазон сильно зашумлен (например, любительской радиосвязью). От 30 до 1000 МГц – ионосфера прозрачна и необходима прямая видимость. Антенны устанавливаются на высоте (иногда устанавливаются регенераторы). Используются в радио и телевидении.

2.Микроволновые линии. Скорости передачи до 1 Гбит/с. Используют радиочастоты выше 1000 МГц. При этом необходима прямая видимость и остронаправленные параболические антенны. Расстояние между регенераторами 10–200 км. Используются для телефонной связи, телевидения и передачи данных.

3. Спутниковая связь . Используются микроволновые частоты, а спутник служит регенератором (причем для многих станций). Характеристики те же, что у микроволновых линий.

2. Пропускная способность дискретного канала связи

Дискретный канал представляет собой совокупность средств, предназначенных для передачи дискретных сигналов .

Пропускная способность канала связи – наибольшая теоретически достижимая скорость передачи информации при условии, что погрешность не превосходит заданной величины.Скорость передачи информации – среднее количество информации, передаваемое в единицу времени. Определим выражения для расчета скорости передачи информации и пропускной способности дискретного канала связи.

При передаче каждого символа в среднем по каналу связи проходит количество информации, определяемое по формуле

I (Y, X) = I (X, Y) = H(X) – H (X/Y) = H(Y) – H (Y/X) , (2)

где: I (Y, X) – взаимная информация, т.е.количество информации, содержащееся в Y относительно X ; H(X) – энтропия источника сообщений; H (X/Y) – условная энтропия, определяющая потерю информации на один символ, связанную с наличием помех и искажений.

При передаче сообщения X T длительности T, состоящего из n элементарных символов, среднее количество передаваемой информации с учетом симметрии взаимного количества информации равно:

I(Y T , X T) = H(X T) – H(X T /Y T) = H(Y T) – H(Y T /X T) = n . (4)

Скорость передачи информации зависит от статистических свойств источника, метода кодирования и свойств канала.

Пропускная способность дискретного канала связи

Максимально-возможное значение, т.е. максимум функционала ищется на всем множестве функций распределения вероятности p(x) .

Пропускная способность зависит от технических характеристик канала (быстродействия аппаратуры, вида модуляции, уровня помех и искажений и т.д.). Единицами измерения пропускной способности канала являются: , , , .

2.1 Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т.е. среднее количество информации в принятом символе относительно переданного равно

I (X, Y) = H(X) = H(Y); H (X/Y) = 0.

Если Х Т – количество символов за время T , то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ – средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

Т.к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

Первая теорема Шеннона для канала:Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т.е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p 1 = 0,1; p 2 = 0,2 и p 3 = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2 ) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

[бит/с].

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2t.

Средняя скорость передачи сигнала

V =1/2 t = 500 .

Скорость передачи информации

C = vH = 500 × 1,16 = 580 [бит/с].

2.2 Дискретный канал связи с помехами

Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

Рассмотрим канал связи, представленный на рис. 5-1. На его передающий конец подается сигнал x(t) , который поступает на вход приемника в искаженном шумом n(t) виде y(t) [Л. 47, 53]. Введем понятие пропускной способности канала связи. Пропускная способность канала связи определяется как максимальная величина относительной информации выходного сигнала относительно входного:

где I(x, y) - относительная информация, задаваемая формулой (7-8), причем все сигналы рассматриваются как эквивалентные дискретные (рис. 7-1), так что

Иногда величина называется скоростью передачи информации по каналу связи. Эта величина равна количеству относительной информации, передаваемой в единицу времени. За единицу времени при дискретном канале связи удобно считать время передачи одного символа. В этом случае в формулах для скорости передачи информации понимают энтропии и количества информации на один символ. Для непрерывных каналов связи используются две единицы измерения или обычная единица (к примеру, секунда), или интервал времени между отсчетами , в этом последнем случае в формулах понимаются дифференциальные энтропии на один отсчет (или степень свободы). Нередко в руководствах специально не указывается, какая конкретно из двух единиц применяется. В связи с этим часто используют другую формулу для средней скорости передачи информации

где N=2f c t 0 . Если отсчеты независимы, то V=I 1 (х, y) . Очевидно, что с помощью величины V пропускная способность канала связи может быть определена по формуле

Для энтропии шума можно написать:

Н(n)=2f c t 0 H 1 (n),

Энтропия шума на один отсчет для нормального шума.

Аналогичные формулы можно записать для нормальных сигналов х и y .

Формулу (7-10) для единицы отсчета можно записать в виде

Смысл этого определения требуется разъяснить. Отметим, что максимум здесь взят по множеству распределений вероятности входных сигналов при неизменном шуме, которое предполагается заданным. В частном случае это множество распределений может состоять из одного нормального, как это часто и считается.

Если пропускная способность одного канала связи больше, чем другого (С 1 >С 2) при остальных одинаковых условиях, то физически это означает, что в первом случае совместная плотность распределения вероятности входного и выходного сигналов больше, чем во втором, так как с помощью формулы (7-11) нетрудно убедиться, что пропускная способность определяется в основном величиной совместной плотности распределения вероятности. Если относительная информация (или энтропия) выходного сигнала относительно входного больше, то канал обладает большей пропускной способностью. Ясно, что если шумы возрастают, то пропускная способность падает.

Если вероятностная связь выходного и входного сигналов пропадает, то

р(х,y)=р(х)р(y)

и в формуле (7-11) логарифм и, следовательно, пропускная способность становятся равными нулю.

Другой случай, когда

р(х,y)=р(х|y)р(у)

стремится к нулю, требует детального рассмотрения, так как log р(х,y) стремится к - ∞. Если р(y)→ 0, то

Рассуждения можно продолжить следующим образом. Так как вероятность появления выходного сигнала стремится к нулю, то можно положить, что вероятность появления сигнала х не зависит от y , т. е.

p(х|y)=р(х)

В этом случае пропускная способность равна нулю, что согласуется с физической интерпретацией, т. е. если на выходе канала связи не появляется никакого сигнала [ни полезного x(t) , ни шумов n(t) ], это означает, что в канале есть "пробка" (разрыв). Во всех остальных случаях пропускная способность отлична от нуля.

Естественно определить пропускную способность канала связи так, чтобы она не зависела от входного сигнала. Для этого введена операция максимизации, которая в соответствии с экстремальными свойствами энтропии чаще всего определяет входной сигнал с нормальным законом распределения. Покажем, что если x(t) и n(t) независимы и y(t)=x(t)+n(t) , то

I(х,y)=Н(y)-Н(n), (7-12)

где Н(y) и Н(n) - дифференциальные энтропии принимаемых сигнала и шума. Условие (7-12) означает линейность канала связи в том смысле, что шум просто добавляется к сигналу как слагаемое. Оно непосредственно следует из

I(х,y)=Н(x)-Н(х|y)=Н(y)-Н(y|х).

Так как x и n статистически независимы, то

Подставив это соотношение в предыдущее, получим (7-12). Очевидно, если шум аддитивен и не зависит от входного сигнала, то максимальная скорость передачи сообщений по каналу связи (максимальная пропускная способность) достигается при maxН(y) , так как

Рассмотрим гауссов канал связи, исходя из следующих предположений: ширина полосы частот канала ограничена частотой f с ; шум в канале - нормальный белый со средней мощностью на единицу полосы S n =S n 2 ; средняя мощность полезного сигнала Р x ; сигнал и шум статистически независимы; выходной сигнал равен сумме полезного сигнала и шума.

Очевидно, что в соответствии с формулой (7-4) пропускная способность такого канала определится как

H(n)=Flog2πeS n f c . (7-14)

Так как сигнал и шум статистически независимы, то они не коррелированы между собой, поэтому средняя мощность суммарного сигнала

Р y =Р x +S n f c =Р x +Р n

В соответствии с формулой (7-13) необходимо найти максимум энтропии сигнала y(t) на один отсчет при заданной средней мощности. В силу экстремальных свойств энтропии (см. гл. 6) сигнал y(t) должен быть распределен нормально. Белый шум в полосе f c эквивалентен сигналу в этой же полосе со спектральной плотностью S , если равны их средние мощности, т. е.

Действительно, для нормального сигнала была доказана формула для энтропии на один отсчет

Пропускная способность систем передачи информации

Одной из основных характеристик любой системы передачи информации, кроме перечисленных выше, является ее пропускная способность.

Пропускная способность – максимально возможное количество полезной информации, передаваемое в единицу времени:

c = max{Imax} / TC ,

c = [бит/с].

Иногда скорость передачи информации определяют как максимальное количество полезной информации в одно элементарном сигнале:

s = max{Imax} / n,

s = [бит/элемент].

Рассмотренные характеристики зависят только от канала связи и его характеристик и не зависят от источника.

Пропускная способность дискретного канала связи без помех. В канале связи без помех информацию можно передавать неизбыточным сигналом. При этом число n = m, а энтропия элементарного сигнала HCmax = logK.

max{IC} = nHCmax= mHCmax .

Длительность элементарного сигнала , где – длительность элементарного сигнала.

где FC – спектр сигнала.

Пропускная способность канала связи без помех

Введем понятие скорости генерации элементарного сигнала источником информации:

Тогда, используя новое понятие, можно преобразовать формулу для скорости передачи информации:

Полученная формула определяет максимально возможную скорость передачи информации в дискретном канале связи без помех. Это следует из предположения о том, что энтропия сигнала максимальна.

Если HC < HCmax, то c = BHC и не является максимально возможной для данного канала связи.

Пропускная способность дискретного канала связи с помехами. В дискретном канале связи с помехами наблюдается ситуация, изображенная на рис. 6.

Учитывая свойство аддитивности, а также формулы Шеннона для определения количества информации, рассмотренные выше, можно записать

IC = TC FC log(AK PC),

IПОМ = TП FП log(APП).

Для получателя источник полезной информации и источник помехи равноценны, поэтому нельзя на приемной стороне выделить составляющую помехи в сигнале с результирующей информацией

IРЕЗ = TC FC log(AK (PП + PC)), если TC = TП, FC = FП.

Приемник может быть узкополосным, а помеха находиться в других интервалах частот. В этом случае она не будет влиять на сигнал.

Будем определять результирующий сигнал для наиболее “неприятного” случая, когда параметры сигнала и помехи близки друг к другу или совпадают. Полезная информация определяется выражением

Эта формула получена Шенноном. Она определяет скорость передачи информации по каналу связи в случае, если сигнал имеет мощность PC, а помеха – мощность PП. Все сообщения при такой скорости передадутся с абсолютной достоверностью. Формула не содержит ответа на вопрос о способе достижения такой скорости, но дает максимально возможное значение с в канале связи с помехами, то есть такое значение скорости передачи, при которой полученная информация будет абсолютно достоверной. На практике экономичнее допустить определенную долю ошибочности сообщения, хотя скорость передачи при этом увеличится.

Рассмотрим случай PC >> PП. Если ввести понятие отношения сигнал/шум

PC >> PП означает, что . Тогда

Полученная формула отражает предельную скорость мощного сигнала в канале связи. Если PC << PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.

Рис.7 Граф переходных вероятностей K- ичного канала связи

Между существует определенное однозначное соответствие. Если помех нет, то вероятность однозначного соответствия равна единице, в противном случае она меньше единицы.

Если qi – вероятность принятия yi за xi, a pij = p{yi / xi} – вероятность ошибки, то

.

Граф переходных вероятностей отражает конечный результат влияния помехи на сигнал. Как правило, он получается экспериментально.

Полезная информация может быть оценена как IПОЛ = nH(X · Y), где n – количество элементарных символов в сигнале; H(X · Y) – взаимная энтропия источника X и источника Y.

В данном случае источником X является источник полезной информации, а источником Y является приемник. Соотношение, определяющее полезную информацию, можно получить исходя из смысла взаимной энтропии: заштрихованный участок диаграммы определяет сообщения, переданные источником Xи полученные приемником Y; незаштрихованные участки отображают сигналы источника X, не дошедшие до приемника и полученные приемником посторонние сигналы, не передаваемые источником.

B – скорость генерации элементарных символов на выходе источника.

Для получения max нужно по возможности увеличить H(Y) и уменьшить H(Y/X). Графически эта ситуация может быть представлена совмещением кругов на диаграмме (Рис. 2г).

Если же круги вообще не пересекаются, X и Y существуют независимо друг от друга. В дальнейшем будет показано, как можно использовать общее выражение для максимальной скорости передачи при анализе конкретных каналов связи.

Характеризуя дискретный канал, используют два понятия скорости: техническая и информационная.

Под технической скоростью передачи RT, называемой также скоростью манипуляции, подразумевают число символов (элементарных сигналов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала.

С учетом различий в длительности символов техническая скорость определяется как

где - среднее время длительности символа.

Единицей измерения служит »бод» - это скорость, при которой за одну секунду передается один символ.

Информационная скорость или скорость передачи информации определяется средним количеством информации, которое передается по каналу за единицу времени. Она зависит как от характеристик конкретного канала (таких как объем алфавита используемых символов, технической скорости их передачи, статистического свойства помех в линии), так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости манипуляции скорость передачи информации по каналу задается соотношением:

,

где – среднее количество информации, переносимое одним символом.

Для практики важно выяснить, до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу. Предельные возможности канала по передаче информации характеризуются его пропускной способностью.

Пропускная способность канала с заданными переходными вероятностями равна максимуму передаваемой информации по всем входным распределениям символов источника X:

С математической точки зрения поиск пропускной способности дискретного канала без памяти сводится к поиску распределения вероятностей входных символов источника Х, обеспечивающего максимум переданной информации . При этом, на вероятности входных символов накладывается ограничение: , .

В общем случае, определение максимума при заданных ограничениях возможно с помощью мультипликативного метода Лагранжа. Однако такое решение требует чрезмерно больших затрат.

В частном случае для дискретных симметричных каналов без памяти пропускная способность (максимум , достигается при равномерном распределении входных символов источника X.

Тогда для ДСК без памяти, считая заданной вероятность ошибки ε и для равновероятных входных символов = = = =1/2, можно получить пропускную способность такого канала по известному выражению для :

где = – энтропия двоичного симметричного канала при заданной вероятности ошибки ε.

Интерес представляют граничные случаи:

1. Передача информации по бесшумному каналу (без помех):

, [бит/символ].

При фиксированных основных технических характеристиках канала (например, полосе частот, средней и пиковой мощности передатчика), которые определяют значение технической скорости, пропускная способность канала без помех будет равна [бит/сек].