Propustnost komunikačního kanálu. Propustnost systémů přenosu informací

V každém komunikačním systému jsou informace přenášeny kanálem. Rychlost přenosu informací byla definována v § 2.9. Tato rychlost závisí nejen na kanálu samotném, ale také na vlastnostech signálu přiváděného na jeho vstup, a proto nelze kanál charakterizovat jako prostředek přenosu informace. Pokusme se najít způsob, jak vyhodnotit schopnost kanálu přenášet informace. Uvažujme nejprve diskrétní kanál, kterým se přenášejí symboly z abecedy za jednotku času Při přenosu každého symbolu prochází kanálem průměrné množství informace [viz Obr. (2,135) a (2,140)]:

Kde náhodné znaky na vstupu a výstupu kanálu. Ze čtyř entropií, které se zde objevují, je inherentní informace přenášeného symbolu určena zdrojem diskrétního signálu a nezávisí na vlastnostech kanálu. Zbývající tři entropie obecně závisí jak na zdroji signálu, tak na kanálu.

Představme si, že symboly mohou být přiváděny na vstup kanálu z různých zdrojů charakterizovaných různým rozdělením pravděpodobnosti (ale samozřejmě pro stejné hodnoty. Pro každý takový zdroj nabývá množství informace přenášené kanálem svou vlastní hodnotu. Maximální množství přenášené informace, převzaté ze všech možných

Zdroje vstupní signál, charakterizuje samotný kanál a nazývá se kapacita kanálu. na postavu

kde se maximalizace provádí přes všechna vícerozměrná rozdělení pravděpodobnosti. Můžete také určit propustnost kanálu C za jednotku času (sekundu):

Poslední rovnost vyplývá z aditivity entropie. V budoucnu všude tam, kde to nebude konkrétně uvedeno, budeme propustnost za sekundu chápat jako propustnost.

Jako příklad vypočítáme kapacitu symetrického bezpamětového kanálu, pro který jsou pravděpodobnosti přechodu dány vzorcem (3.36). Podle (3.52) a (3.53)

Hodnota v tento případ lze snadno vypočítat, protože pravděpodobnost podmíněného přechodu nabývá pouze dvou hodnot: pokud se první z těchto hodnot vyskytuje s pravděpodobností a druhá s pravděpodobností Navíc, protože je uvažován kanál bez paměti, jsou výsledky příjmu jednotlivých symbolů na sobě nezávislé. Proto

Proto nezávisí na pravděpodobnostním rozdělení B, ale je určeno pouze pravděpodobnostmi přechodu kanálu. Tato vlastnost je zachována pro všechny modely kanálů s aditivním šumem.

Dosazením (3.56) do (3.55) získáme

Protože na pravé straně závisí na rozdělení pravděpodobnosti pouze člen, je nutné jej maximalizovat. Maximální hodnota podle (2.123) se rovná a je realizován, když jsou všechny přijaté symboly stejně pravděpodobné a na sobě nezávislé. Je snadné ověřit, že tato podmínka je splněna, pokud jsou vstupní symboly stejně pravděpodobné a nezávislé, protože

Zároveň a

Proto ta propustnost za sekundu

U binárního symetrického kanálu propustnost v binárních jednotkách za sekundu

Závislost na podle (3.59) je znázorněna na Obr. 3.9.

Kdy je kapacita binárního kanálu, protože s takovou pravděpodobností chyby lze získat sekvenci výstupních binárních symbolů bez přenosu signálů kanálem, ale jejich náhodným výběrem (například podle výsledků hodu mincí), tj. když jsou sekvence na výstupu a vstupu kanálu nezávislé. Případ se nazývá přerušení kanálu. Skutečnost, že propustnost pro at v binárním kanálu je stejná jako pro (nehlučný kanál), se vysvětluje tím, že pro at stačí invertovat všechny výstupní symboly (tj. nahradit 0 1 a 1 0), aby se správně obnovil vstupní signál.

Rýže. 3.9. Závislost propustnosti binárního symetrického kanálu bez paměti na pravděpodobnosti chybného příjmu symbolu

Šířka pásma spojitý kanál se vypočítá podobně. Nechť má kanál například omezenou šířku pásma, pak jsou signály na vstupu a výstupu kanálu podle Kotelnikovovy věty určeny jejich vzorky odebranými v intervalech, a proto se informace procházející kanálem po určitou dobu rovná součtu množství informací přenášených pro každý takový vzorek. Kapacita kanálu na jeden takový vzorek

Zde jsou náhodné veličiny průřezy procesů na vstupu a výstupu kanálu a maximum je převzato ze všech přípustných vstupních signálů, tj. přes všechna rozdělení.

Propustnost C je definována jako součet hodnot Сots» převzatých ze všech vzorků za sekundu. V tomto případě je samozřejmě nutné vypočítat diferenciální entropie v (3.60) s ohledem na pravděpodobnostní vztahy mezi čteními.

Vypočítejme například kapacitu spojitého kanálu bez paměti s aditivním bílým gaussovským šumem o šířce pásma, pokud průměrný výkon signálu (disperze nepřesahuje danou hodnotu) Výkon (rozptyl) šumu v pásmu označíme Vzorky vstupních a výstupních signálů, stejně jako šum jsou vztaženy rovností

a protože má normální rozdělení s nulovým matematickým očekáváním, pak podmíněná hustota pravděpodobnosti je pevná a bude také normální - s matematickým očekáváním a rozptylem Najdeme propustnost na vzorek:

Diferenciální entropie normálního rozdělení podle (2.152) nezávisí na matematickém očekávání a je rovna Proto je nutné najít takovou hustotu rozdělení, při které je maximalizováno Z (3.61), vzhledem k tomu, že nezávislé náhodné veličiny, máme

Rozptyl je tedy pevný, jak je dáno. Podle (2.153) s pevným rozptylem je zajištěna maximální diferenciální entropie normální distribuce. Z (3.61) je vidět, že s normálním jednorozměrným rozdělením bude rozdělení také normální, a proto

Pokud jde o propustnost C za sekundu, zjistíme, že informace přenášené přes několik vzorků jsou maximální, když jsou vzorky signálu nezávislé. Toho lze dosáhnout, je-li signál zvolen tak, aby jeho spektrální hustota byla v pásmu stejnoměrná.Jak ukazují vzorky oddělené intervaly, násobky jsou vzájemně nekorelované a pro Gaussovy hodnoty nekorelované znamená nezávislé.

Proto lze šířku pásma C (za sekundu) zjistit sečtením šířek pásma (3.63) pro nezávislé vzorky:

Realizuje se v případě Gaussova procesu s uniformou spektrální hustota ve frekvenčním pásmu (kvazibílý šum).

Ze vzorce (3.64) je vidět, že pokud by výkon signálu nebyl omezen, pak by byla šířka pásma nekonečná. Šířka pásma je nulová, pokud je poměr signálu k šumu v kanálu nulový. Se zvýšením tohoto poměru se propustnost zvyšuje neomezeně, ale pomalu, v důsledku logaritmické závislosti.

Vztah (3.64) se často nazývá Shannonův vzorec. Tento vzorec je důležitý v teorii informace, protože určuje závislost kapacity uvažovaného spojitého kanálu na takové Specifikace, jako je šířka pásma a odstup signálu od šumu. Shannonův vzorec udává možnost výměny šířky pásma za sílu signálu a naopak. Protože však C závisí na lineárně a podle logaritmického zákona, obecně se nedoporučuje kompenzovat možné snížení šířky pásma zvýšením síly signálu. Efektivnější je obrácená výměna výkonu signálu za šířku pásma.

5.1. Rychlost přenosu informací v diskrétním komunikačním systému

V diskrétním komunikačním systému se při absenci rušení informace na výstupu komunikačního kanálu (kanál PI) zcela shodují s informacemi na jeho vstupu, takže rychlost přenosu informací je číselně rovna výkonu zdroje zprávy:

V případě rušení se část informací o zdroji ztratí a rychlost přenosu informací je nižší než výkon zdroje. Současně je do zprávy na výstupu kanálu přidána informace o rušení (obr. 12).

Proto je v případě rušení nutné vzít v úvahu na výstupu kanálu ne všechny informace poskytnuté zdrojem, ale pouze vzájemné informace:

bps (5.2)

Na základě vzorce (5.1) máme

Kde H (X)  výkon zdroje ;

H (X/ y)   nespolehlivost kanálu (ztráty) za jednotku času;

H (y)  entropie výstupní zprávy za jednotku času;

H (y/ X) =H’(n) je entropie interference (šumu) za jednotku času.

Kapacita komunikačního kanálu(kanál přenosu informací) C je maximální možná rychlost přenosu informací kanálem

. (5.4)

Pro dosažení maxima jsou brány v úvahu všechny možné výstupní zdroje a všechny možné způsoby kódování.

Propustnost komunikačního kanálu je tedy rovna maximálnímu výkonu zdroje na vstupu kanálu, plně v souladu s charakteristikami tohoto kanálu, mínus ztráta informací v kanálu v důsledku rušení.

V kanálu bez rušení C= max H (X) , protože H (X/ y)=0 . Při použití jednotného kódu se základnou k, skládající se z n prvky s dobou trvání  uh, v kanálu bez rušení

,

na k=2
bit/s. (5.5)

Pro efektivní využití šířky pásma kanálu musí být koordinováno se zdrojem informací na vstupu. Taková koordinace je možná jak pro komunikační kanály bez interference, tak pro kanály s interferencemi na základě dvou vět dokázaných K. Shannonem.

1. věta (pro komunikační kanál bez rušení):

Pokud má zdroj zprávy entropiiH(bitů na symbol) a komunikační kanál - propustnostC(bitů za sekundu), pak lze zprávy kódovat tak, aby přenášely informace kanálem průměrnou rychlostí libovolně blízkou hodnotěCale nepřekračujte to.

K. Shannon také navrhl metodu takového kódování, která se nazývala statistické nebo optimální kódování. Později byla myšlenka takového kódování vyvinuta v dílech Fana a Huffmana a nyní je široce používána v praxi pro „kompresi zpráv“.

5.2. Šířka pásma homogenního symetrického komunikačního kanálu

V homogenním komunikačním kanálu podmíněné (přechodné) pravděpodobnosti p(y 1 / X 1 ) nezávisí na čase. Graf stavů a ​​přechodů homogenního binárního komunikačního kanálu je znázorněn na Obr. 13.

Na tomto obrázku X 1 a X 2 - signály na vstupu komunikačního kanálu, y 1 a y 2 - výstupní signály. Pokud byl vysílán signál X 1 a přijatý signál y 1, to znamená, že první signál (index 1) není zkreslený. Pokud byl vysílán první signál ( X 1) a je přijat druhý signál ( y 2), což znamená, že první signál byl zkreslený. Pravděpodobnosti přechodu jsou uvedeny na Obr. 13. Pokud je kanál symetrický, pak jsou pravděpodobnosti přechodu párově stejné.

Označit: p(y 2 / X 1 )= p(y 1 / X 2 )= p uh jsou pravděpodobnosti zkreslení signálového prvku, p(y 1 / X 1 )= p(y 2 / X 2 )=1- p uh – pravděpodobnost správného příjmu signálního prvku.

Podle vzorců (5.1) a (5.3)

.

Pokud signály X 1 a X 2 mají stejnou dobu trvání  uh, Že
. Potom bude kapacita kanálu rovna

. (5.7)

V tomto vzorci maxH(y)= log k. Pro binární kanál ( k= 2) maxH(y)= 1 a vzorec (5.4) má tvar

. (5.8)

Zbývá určit podmíněnou entropii H(y/ X) . Pro binární zdroj máme

Dosazením této hodnoty podmíněné entropie do (5.8) nakonec dostaneme

. (5.9)

Pro komunikační kanál s k>2

bit/s.

Na Obr. 14 je graf binární kapacity kanálu versus pravděpodobnost chyby.

Pro komunikační kanál s k>2 propustnost je určena téměř podobným vzorcem:

Nakonec se podívejme na jeden příklad. Nechť existuje binární zdroj s výkonem
bit/s.

Pokud pravděpodobnost zkreslení p uh = 0,01, vyplývá, že z 1000 signálových prvků přenesených za jednu sekundu bude průměrně 990 prvků přijato bez zkreslení a pouze 10 prvků bude zkreslených. Zdálo by se, že propustnost v tomto případě bude 990 bitů za sekundu. Výpočet podle vzorce (5.9) nám však dává hodnotu, která je mnohem menší ( C= 919 bps). Co se tady děje? Jde o to, že bychom dostali C= 990 bps, kdybychom přesně věděli, které prvky zprávy byly zkreslené. Neznalost této skutečnosti (a to se prakticky nedá poznat) vede k tomu, že 10 zkreslených prvků sníží hodnotu přijaté zprávy natolik, že propustnost prudce klesne.

Další příklad. Li p uh = 0,5, pak z 1000 přenášených prvků nebude 500 zkreslených. Nyní však šířka pásma nebude 500 bps, jak by se dalo očekávat, a vzorec (5.9) nám dá hodnotu C= 0. Platí pro p uh = 0,5 signál ve skutečnosti neprochází komunikačním kanálem a komunikační kanál je jednoduše ekvivalentní generátoru šumu.

Na p uh  1 propustnost se blíží své maximální hodnotě. V tomto případě však musí být signály na výstupu komunikačního systému invertovány.

Na Obr. 1 přijala tato označení: X, Y, Z, W- signály, zprávy ; F- překážka; LS- komunikační linka; AI, PI– zdroj a příjemce informací; P– převodníky (kódování, modulace, dekódování, demodulace).

Existovat Různé typy kanály, které lze klasifikovat podle různých kritérií:

1.Podle typu komunikačních linek: drátové; kabel; optické vlákno;

elektrické vedení; rozhlasové kanály atd.

2. Podle povahy signálů: spojitý; oddělený; diskrétně-kontinuální (signály na vstupu systému jsou diskrétní a na výstupu spojité a naopak).

3. Pro odolnost proti hluku: kanály bez rušení; s rušením.

Komunikační kanály se vyznačují:

1. Kapacita kanálu definován jako součin doby využití kanálu T až,šířka spektra frekvencí přenášených kanálem F až A dynamický rozsahD až. , která charakterizuje schopnost kanálu vysílat různé úrovně signály

V až = T až F až D až. (1)

Podmínka pro shodu signálu s kanálem:

Vc £ V k ; T C £ T k ; F C £ F k ; Vc £ V k ; DC £ D k .

2.Rychlost přenosu informací - průměrné množství informací přenesených za jednotku času.

3.

4. Nadbytek - zajišťuje spolehlivost přenášených informací ( R= 0¸1).

Jedním z úkolů teorie informace je určit závislost rychlosti přenosu informace a kapacity komunikačního kanálu na parametrech kanálu a charakteristikách signálů a rušení.

Komunikační kanál lze obrazně přirovnat k silnicím. Úzké silnice - nízká kapacita, ale levné. Široké silnice - dobrá dopravní kapacita, ale drahé. Propustnost je určena úzkým místem.

Rychlost přenosu dat do značné míry závisí na přenosovém médiu v komunikačních kanálech, kterými jsou různé typy komunikačních linek.

Kabelové:

1. Kabelové – kroucený pár(což částečně potlačuje elektromagnetická radiace jiné zdroje). Přenosová rychlost až 1 Mbps. Použito v telefonní sítě a pro přenos dat.

2. Koaxiál. Přenosová rychlost 10-100 Mbps - použito v lokální sítě, kabelová televize atd.

3. Optické vlákno. Přenosová rychlost 1 Gbps.

V prostředí 1-3 je útlum v dB lineární se vzdáleností, tzn. výkon klesá exponenciálně. Proto je po určité vzdálenosti nutné instalovat regenerátory (zesilovače).

Odkazy na rádio:

1.Rádiový kanál. Přenosová rychlost 100–400 Kbps. Využívá rádiové frekvence až do 1000 MHz. Do 30 MHz díky odrazu od ionosféry je možné šíření elektromagnetických vln mimo zorný úhel. Tento dosah je ale velmi hlučný (například amatérským rádiem). Od 30 do 1000 MHz - ionosféra je průhledná a je nutná přímá viditelnost. Antény jsou instalovány ve výšce (někdy jsou instalovány regenerátory). Používá se v rozhlase a televizi.

2.mikrovlnné linky. Přenosové rychlosti až 1 Gbps. Používejte rádiové frekvence nad 1000 MHz. To vyžaduje přímou viditelnost a vysoce směrové parabolické antény. Vzdálenost mezi regenerátory je 10–200 km. Používá telefonní spojení, televize a přenos dat.

3. Satelitní připojení. Využívají se mikrovlnné frekvence a družice slouží jako regenerátor (a pro mnoho stanic). Charakteristiky jsou stejné jako u mikrovlnných linek.

2. Šířka pásma diskrétního komunikačního kanálu

Diskrétní kanál je soubor prostředků určených pro přenos diskrétní signály.

Kapacita komunikačního kanálu - nejvyšší teoreticky dosažitelná rychlost přenosu informací za předpokladu, že chyba nepřesáhne danou hodnotu. Rychlost přenosu informací - průměrné množství informací přenesených za jednotku času. Definujme výrazy pro výpočet rychlosti přenosu informací a propustnosti diskrétního komunikačního kanálu.

Při přenosu každého symbolu v průměru prochází komunikačním kanálem množství informací, které je určeno vzorcem

I (Y, X) = I (X, Y) = H(X) - H (X/Y) = H(Y) - H (Y/X) , (2)

Kde: Já (Y, X) - vzájemné informace, tedy množství informací obsažených v Y poměrně X ;H(X) je entropie zdroje zprávy; H (X/Y)– podmíněná entropie, která určuje ztrátu informace na symbol spojenou s přítomností šumu a zkreslení.

Při odesílání zprávy X T doba trvání T, skládající se z n elementárních symbolů, průměrné množství přenášené informace s přihlédnutím k symetrii vzájemného množství informací je:

Já (Y T , XT) = H(XT) – H(XT/YT) = H(YT) – H(YT/XT) = n. (4)

Rychlost přenosu informací závisí na statistické vlastnosti zdroj, způsob kódování a vlastnosti kanálu.

Šířka pásma diskrétního komunikačního kanálu

Maximální možná hodnota, tzn. maximum funkcionálu se hledá na celé množině funkcí rozdělení pravděpodobnosti p (X) .

Šířka pásma závisí na technických vlastnostech kanálu (rychlost zařízení, typ modulace, úroveň rušení a zkreslení atd.). Jednotky kapacity kanálu jsou: , , , .

2.1 Diskrétní komunikační kanál bez rušení

Pokud nedochází k rušení v komunikačním kanálu, jsou vstupní a výstupní signály kanálu spojeny jednoznačnou funkční závislostí.

V tomto případě je podmíněná entropie rovna nule a nepodmíněné entropie zdroje a přijímače se rovnají, tzn. průměrné množství informací v přijatém symbolu vzhledem k přenášenému je

I (X, Y) = H(X) = H(Y); H(X/Y) = 0.

Li X T- počet znaků za čas T pak je rychlost přenosu informací pro diskrétní komunikační kanál bez rušení rovna

Kde PROTI = 1/ je průměrná přenosová rychlost jednoho symbolu.

Šířka pásma pro diskrétní komunikační kanál bez rušení

Protože maximální entropie odpovídá ekvipravděpodobným symbolům, pak je šířka pásma pro rovnoměrné rozložení a statistickou nezávislost přenášených symbolů rovna:

Shannonova první věta pro kanál: Pokud je informační tok generovaný zdrojem dostatečně blízko šířce pásma komunikačního kanálu, tzn.

, kde je libovolně malá hodnota,

pak je vždy možné najít takový způsob kódování, který zajistí přenos všech zdrojových zpráv a rychlost přenosu informací bude velmi blízká kapacitě kanálu.

Věta neodpovídá na otázku, jak kódovat.

Příklad 1 Zdroj generuje 3 zprávy s pravděpodobnostmi:

p 1 = 0,1; p 2 = 0,2 a p 3 = 0,7.

Zprávy jsou nezávislé a jsou přenášeny jednotně binární kód (m = 2 ) s dobou trvání symbolu 1 ms. Určete rychlost přenosu informací komunikačním kanálem bez rušení.

Řešení: Entropie zdroje je

[bps].

Pro přenos 3 zpráv s jednotným kódem jsou potřeba dva bity, přičemž doba trvání kombinace kódů je 2t.

Průměrná rychlost signálu

PROTI =1/2 t = 500 .

Rychlost přenosu informací

C = vH = 500 × 1,16 = 580 [bps].

2.2 Diskrétní komunikační kanál se šumem

Budeme uvažovat diskrétní komunikační kanály bez paměti.

Kanál bez paměti Kanál se nazývá kanál, ve kterém je každý vysílaný signálový symbol ovlivněn rušením, bez ohledu na to, které signály byly dříve vysílány. To znamená, že interference nevytváří další korelační vazby mezi symboly. Název "bez paměti" znamená, že během dalšího přenosu se zdá, že si kanál nepamatuje výsledky předchozích přenosů.

Zvažte komunikační kanál znázorněný na obr. 5-1. Na jeho vysílací konec je vyslán signál x(t), který vstupuje do vstupu přijímače ve zkresleném šumu n(t) formulář y(t)[L. 47, 53]. Představme si pojem kapacita komunikačního kanálu. Šířka pásma komunikačního kanálu je definována jako maximální hodnota relativní informace výstupního signálu vzhledem ke vstupu:

Kde já (x, y)- relativní informace daná vzorcem (7-8) a všechny signály jsou považovány za ekvivalentní diskrétní (obr. 7-1), takže

Někdy hodnotu se nazývá rychlost, jakou jsou informace přenášeny komunikačním kanálem. Tato hodnota se rovná množství relativní informace přenesené za jednotku času. za jednotku času v diskrétní kanál komunikace, je vhodné uvažovat dobu přenosu jednoho znaku. V tomto případě vzorce pro rychlost přenosu informací rozumí entropii a množství informace na symbol. Pro kontinuální komunikační kanály se používají dvě jednotky měření nebo společná jednotka (například sekunda) nebo časový interval mezi vzorky , v tomto posledním případě vzorce znamenají diferenciální entropie na jeden počet (nebo stupeň volnosti). Příručky často konkrétně neuvádějí, která z těchto dvou jednotek se používá. V tomto ohledu se pro průměrnou rychlost přenosu informací často používá jiný vzorec

Kde N=2fct0. Pokud jsou hodnoty nezávislé, pak V=I 1 (x, y). Je zřejmé, že pomocí množství PROTIšířka pásma komunikačního kanálu může být určena vzorcem

Pro entropii šumu můžeme napsat:

Н(n)=2f c t 0 H 1 (n),

Entropie šumu na vzorek pro normální šum.

Podobné vzorce lze napsat pro normální signály X A y.

Vzorec (7-10) pro referenční jednotku lze zapsat jako

Význam této definice je třeba objasnit. Všimněte si, že maximum je zde převzato ze sady pravděpodobnostních rozdělení vstupních signálů s konstantním šumem, o kterém se předpokládá, že je dán. V konkrétním případě může tato množina rozdělení sestávat z jednoho normálního rozdělení, jak se často předpokládá.

Pokud je propustnost jednoho komunikačního kanálu větší než druhého (C 1 > C 2) za jiných stejných podmínek, pak to fyzikálně znamená, že v prvním případě je sdružená hustota vstupních a výstupních signálů větší než ve druhém, protože pomocí vzorce (7-11) lze snadno ověřit, že propustnost je určena především hodnotou sdružené hustoty rozdělení pravděpodobnosti. Pokud je relativní informace (nebo entropie) výstupního signálu vzhledem ke vstupu větší, pak má kanál větší kapacitu. Je jasné, že pokud se zvýší hluk, pak se sníží propustnost.

Pokud pravděpodobnostní spojení mezi výstupním a vstupním signálem zmizí, pak

p(x,y)=p(x)p(y)

a ve vzorci (7-11) se logaritmus a tedy i propustnost stanou nulou.

Další případ, kdy

p(x,y)=p(x|y)p(y)

inklinuje k nule, vyžaduje podrobné zvážení, protože log p(x, y) má tendenci - ∞. Li p(y) → 0, tedy

V úvahách lze pokračovat následovně. Protože pravděpodobnost výskytu výstupního signálu má tendenci k nule, můžeme předpokládat, že pravděpodobnost výskytu signálu X nezávisí na y, tj.

p(x|y)=p(x)

V tomto případě je propustnost nulová, což je v souladu s fyzikální interpretací, tj. pokud není žádný signál [ani užitečné x(t), žádný hluk n(t)], což znamená, že v kanálu je "zástrčka" (přerušení). Ve všech ostatních případech je propustnost nenulová.

Je přirozené určit šířku pásma komunikačního kanálu tak, aby nezávisela na vstupním signálu. K tomu je zavedena maximalizační operace, která v souladu s extrémními vlastnostmi entropie nejčastěji určuje vstupní signál se zákonem normálního rozdělení. Ukažme, že pokud x(t) A n(t) nezávislý a y(t)=x(t)+n(t), Že

I(x,y)=H(y)-H(n), (7-12)

Kde H(y) A H(n) jsou diferenciální entropie přijímaného signálu a šumu. Podmínka (7-12) znamená linearitu komunikačního kanálu v tom smyslu, že šum je jednoduše přidán k signálu jako termín. Vyplývá to přímo z

I(x,y)=H(x)-H(x|y)=H(y)-H(y|x).

Protože X A n jsou tedy statisticky nezávislé

Dosazením tohoto poměru do předchozího dostaneme (7-12). Je zřejmé, že pokud je šum aditivní a nezávisí na vstupním signálu, pak maximální rychlost přenosu zpráv přes komunikační kanál (maximální propustnost) je dosaženo, když maxH(y), protože

Uvažujme gaussovský komunikační kanál na základě následujících předpokladů: šířka pásma kanálu je omezena frekvencí f c; šum kanálu - normální bílá s průměrným výkonem na jednotku šířky pásma Sn = Sn2; průměrný užitečný výkon signálu Rx; signál a šum jsou statisticky nezávislé; výstupní signál je roven součtu užitečného signálu a šumu.

Je zřejmé, že podle vzorce (7-4) je propustnost takového kanálu určena jako

H(n)=Flog2πeS n f c . (7-14)

Protože signál a šum jsou statisticky nezávislé, nejsou vzájemně korelované, takže průměrný výkon celkového signálu

P y \u003d P x + S n f c \u003d P x + P n

Podle vzorce (7-13) je nutné najít maximální entropii signálu y(t) za jeden počet v daném okamžiku střední výkon. Vzhledem k extrémním vlastnostem entropie (viz kap. 6) je signál y(t) by měly být normálně distribuovány. Bílý šum v kapele fc je ekvivalentní signálu ve stejném pásmu se spektrální hustotou S, pokud jsou jejich průměrné mocniny stejné, tzn.

Pro normální signál byl skutečně prokázán vzorec pro entropii na vzorek

Propustnost systémů přenosu informací

Jednou z hlavních charakteristik jakéhokoli systému přenosu informací, kromě těch, které jsou uvedeny výše, je jeho šířka pásma.

Šířka pásma - maximální možné množství užitečných informací přenášených za jednotku času:

c = max(Imax) / TC ,

c = [bps].

Někdy je rychlost přenosu informací definována jako maximální množství užitečné informace v jednom elementárním signálu:

s = max(Imax) / n,

s = [bit/prvek].

Uvažované charakteristiky závisí pouze na komunikačním kanálu a jeho vlastnostech a nezávisí na zdroji.

Šířka pásma diskrétního komunikačního kanálu bez rušení. V komunikačním kanálu bez rušení mohou být informace přenášeny neredundantním signálem. V tomto případě je číslo n = m, a entropie elementárního signálu HCmax = logK.

max(IC) = nHCmax= mHCmax.

Doba trvání elementárního signálu , kde je doba trvání elementárního signálu.

kde FC je spektrum signálu.

Propustnost komunikačního kanálu bez rušení

Představme si pojem rychlosti generování elementárního signálu informačním zdrojem:

Poté pomocí nového konceptu můžeme transformovat vzorec pro rychlost přenosu informací:

Výsledný vzorec určuje maximální možnou rychlost přenosu informací v diskrétním komunikačním kanálu bez rušení. Vyplývá to z předpokladu, že entropie signálu je maximální.

Pokud HC< HCmax, то c = BHC и не является максимально возможной для данного канала связи.

Šířka pásma diskrétního komunikačního kanálu se šumem. V diskrétním komunikačním kanálu s rušením je situace znázorněná na Obr. 6.

Vezmeme-li v úvahu vlastnost aditivity, stejně jako Shannonovy vzorce pro stanovení výše diskutovaného množství informací, můžeme napsat

IC = protokol TC FC (AK PC),

IPOM \u003d protokol TP FP (APP).

Pro přijímač jsou zdroj užitečné informace a zdroj rušení ekvivalentní, proto není možné na přijímací straně izolovat interferenční složku signálu s výslednou informací.

IRES = TC FC log(AK (PP + PC)), pokud TC = TP, FC = FP.

Přijímač může být úzkopásmový a rušení může být v jiných frekvenčních intervalech. V tomto případě to neovlivní signál.

Výsledný signál určíme pro „nejnepříjemnější“ případ, kdy jsou parametry signálu a šumu blízko sebe nebo se shodují. Užitečné informace je definován výrazem

Tento vzorec získal Shannon. Určuje rychlost přenosu informací přes komunikační kanál, pokud má signál napájení PC a rušení má výkon PP. Všechny zprávy touto rychlostí budou přenášeny s naprostou jistotou. Vzorec neobsahuje odpověď na otázku, jak takové rychlosti dosáhnout, ale udává maximální možnou hodnotu c v hlučném komunikačním kanálu, tedy hodnotu přenosové rychlosti, při které budou přijímané informace absolutně spolehlivé. V praxi je ekonomičtější povolit určité množství chyb ve zprávě, ačkoli se přenosová rychlost zvýší.

Zvažte případ PC >> PP. Zavedeme-li pojem odstup signálu od šumu

PC >> PP znamená, že . Pak

Výsledný vzorec odráží maximální rychlost výkonného signálu v komunikačním kanálu. Pokud PC<< PП, то с стремится к нулю. То есть сигнал принимается на фоне помех. В таком канале в единицу времени сигнал получить не удается. В реальных ситуациях полностью помеху отфильтровать нельзя. Поэтому приемник получает полезную информацию с некоторым набором ошибочных символов. Канал связи для такой ситуации можно представить в виде, изображенном на рис. 7, приняв источник информации за множество передаваемых символов {X}, а приемник – за множество получаемых символов {Y}.

Obr.7 Graf pravděpodobností přechodu K-ary komunikačního kanálu

Mezi tím existuje určitá korespondence jedna ku jedné. Pokud nedochází k interferenci, pak je pravděpodobnost korespondence jedna ku jedné rovna jedné, jinak je menší než jedna.

Pokud qi je pravděpodobnost záměny yi za xi a pij = p(yi / xi) je pravděpodobnost chyby, pak

.

Graf pravděpodobností přechodu odráží konečný výsledek vlivu šumu na signál. Zpravidla se získává experimentálně.

Užitečné informace lze odhadnout jako IPOL = nH(X Y), kde n je počet elementárních symbolů v signálu; H(X Y) je vzájemná entropie zdroje X a zdroje Y.

V tomto případě je zdrojem X zdroj užitečného zatížení a zdrojem Y je přijímač. Vztah, který definuje užitečnou informaci, lze odvodit z významu vzájemné entropie: šrafovaná část diagramu definuje zprávy vysílané zdrojem X a přijaté přijímačem Y; nezastíněné oblasti představují zdrojové signály X, které nedosáhly přijímače a přijímač přijal cizí signály nevysílané zdrojem.

B je rychlost generování elementárních symbolů na výstupu zdroje.

Chcete-li získat maximum, musíte zvýšit H(Y), pokud je to možné, a snížit H(Y/X). Graficky lze tuto situaci znázornit kombinací kružnic v diagramu (obr. 2d).

Pokud se kružnice vůbec neprotínají, X a Y existují nezávisle na sobě. Dále bude ukázáno, jak lze použít obecný výraz pro maximální přenosovou rychlost při analýze konkrétních komunikačních kanálů.

Při charakterizaci diskrétního kanálu se používají dva koncepty rychlosti: technický a informační.

Technická přenosová rychlost RT, také nazývaná klíčovací rychlost, odkazuje na počet symbolů (čipů) přenášených kanálem za jednotku času. Záleží na vlastnostech komunikační linky a rychlosti kanálového zařízení.

S přihlédnutím k rozdílům v trvání symbolů je technická rychlost definována jako

kde je průměrná doba trvání znaku.

Jednotkou měření je "baud" - to je rychlost, kterou je jeden znak přenesen za jednu sekundu.

Informační rychlost nebo informační rychlost je určena průměrným množstvím informací, které jsou přenášeny kanálem za jednotku času. Závisí to jak na vlastnostech konkrétního kanálu (jako je velikost abecedy použitých symbolů, technická rychlost jejich přenosu, statistické vlastnosti interference ve vedení), tak na pravděpodobnosti příchodu symbolů na vstup a jejich statistickém vztahu.

Při známé rychlosti manipulace je rychlost přenosu informace kanálem dána vztahem:

,

kde je průměrné množství informace přenášené jedním znakem.

Pro praxi je důležité zjistit, do jaké míry a jakým způsobem je možné zvýšit rychlost přenosu informací konkrétním kanálem. Omezující možnosti kanálu pro přenos informací jsou charakterizovány jeho kapacitou.

Kapacita kanálu s danými pravděpodobnostmi přechodu je rovna maximu přenášené informace přes všechna vstupní rozložení zdrojových symbolů X:

Z matematického hlediska je hledání šířky pásma diskrétního kanálu bez paměti redukováno na hledání rozdělení pravděpodobnosti vstupních symbolů zdroje X, které poskytuje maximum přenášených informací. Současně platí následující omezení na pravděpodobnosti vstupních symbolů: , .

V obecném případě je stanovení maxima za daných omezení možné pomocí multiplikativní Lagrangeovy metody. Takové řešení je však neúměrně drahé.

V konkrétním případě pro diskrétní symetrické kanály bez paměti je propustnosti (maximum) dosaženo s rovnoměrným rozložením vstupních symbolů zdroje X.

Pak pro DSC bez paměti, za předpokladu, že je daná pravděpodobnost chyby ε a pro stejně pravděpodobné vstupní symboly = = = =1/2, můžeme získat kapacitu takového kanálu známým výrazem pro:

kde = je entropie binárního symetrického kanálu pro danou pravděpodobnost chyby ε.

Zajímavé jsou hraniční případy:

1. Přenos informací bezhlučným kanálem (bez rušení):

, [bit/znak].

S pevnými hlavními technickými charakteristikami kanálu (například šířka pásma, průměrný a špičkový výkon vysílače), které určují hodnotu technické rychlosti, bude propustnost kanálu bez rušení rovna [bps].