V jakých jednotkách je entropie měřena teorie informace. Množství informace a entropie

Entropie (teorie informace)

entropie (informační)- míra náhodnosti informace, nejistota vzhledu jakéhokoli znaku primární abecedy. Pokud nedojde ke ztrátě informace, rovná se číselně množství informací na symbol přenášené zprávy.

Například v posloupnosti písmen, které tvoří libovolnou větu v ruštině, se různá písmena objevují v různých frekvencích, takže nejistota výskytu u některých písmen je menší než u jiných. Pokud vezmeme v úvahu, že některé kombinace písmen (v tomto případě mluvíme o entropii nřádu, viz ) jsou velmi vzácné, pak se nejistota dále snižuje.

Pro ilustraci konceptu informační entropie se lze uchýlit také k příkladu z oblasti termodynamické entropie, zvanému Maxwellův démon. Pojmy informace a entropie spolu úzce souvisí, ale navzdory tomu vývoj teorií statistické mechaniky a teorie informace trval mnoho let, než si navzájem odpovídaly.

Formální definice

Informační entropie pro nezávislé náhodné události X S n možné stavy (od 1 do n) se vypočítá podle vzorce:

Tato hodnota se také nazývá průměrná entropie zprávy. Hodnota se nazývá soukromá entropie pouze charakterizující i-e stát.

Tedy entropie události X je součet s opačným znaménkem všech součinů relativních četností výskytu události i násobeno jejich vlastními binárními logaritmy (základ 2 je zvolen pouze pro usnadnění práce s informacemi prezentovanými v binární formě). Tato definice pro diskrétní náhodné události může být rozšířena na funkci rozdělení pravděpodobnosti.

Obecně b-ary entropie(Kde b rovná se 2, 3, …) zdroje s počáteční abecedou a diskrétním rozdělením pravděpodobnosti kde p i je pravděpodobnost A i (p i = p(A i) ) se určuje podle vzorce:

Definice Shannonovy entropie souvisí s pojmem termodynamická entropie. Boltzmann a Gibbs ano dobrá práce ve statistické termodynamice, což přispělo k přijetí slova „entropie“ v teorii informace. Mezi termodynamickou a informační entropií existuje souvislost. Například Maxwellův démon také staví do kontrastu termodynamickou entropii informací a získání jakéhokoli množství informací se rovná ztracené entropii.

Alternativní definice

Další způsob, jak definovat funkci entropie H je toho důkazem H je jednoznačně určen (jak bylo uvedeno dříve) tehdy a jen tehdy H splňuje podmínky:

Vlastnosti

Je důležité si uvědomit, že entropie je veličina definovaná v kontextu pravděpodobnostního modelu pro zdroj dat. Například hod mincí má entropii −2 (0,5 log 2 0,5) = 1 bit na hod (za předpokladu, že je nezávislý). Zdroj, který generuje řetězec sestávající pouze z písmen "A", má nulovou entropii: . Například lze empiricky stanovit, že entropie anglického textu je 1,5 bitu na znak, což se samozřejmě bude lišit různé texty. Stupeň entropie zdroje dat znamená průměrný počet bitů na datový prvek potřebný k jeho zašifrování bez ztráty informace, s optimálním kódováním.

1. Některé datové bity nemusí nést informace. Například datové struktury často ukládají redundantní informace nebo mají identické sekce bez ohledu na informace v datové struktuře.
2. Množství entropie není vždy vyjádřeno jako celý počet bitů.

Matematické vlastnosti

Účinnost

Původní abeceda, se kterou se v praxi setkáváme, má rozdělení pravděpodobnosti což zdaleka není optimální. Kdyby původní abeceda měla n znaků, pak jej lze přirovnat k „optimalizované abecedě“, jejíž rozdělení pravděpodobnosti je jednotné. Poměr entropie původní a optimalizované abecedy je účinnost původní abecedy, kterou lze vyjádřit v procentech.

Z toho vyplývá, že účinnost původní abecedy s n symboly lze jednoduše definovat jako rovné jeho n-ary entropie.

Entropie omezuje maximální možnou bezeztrátovou (nebo téměř bezeztrátovou) kompresi, kterou lze realizovat pomocí teoreticky typické sady nebo v praxi Huffmanova kódování, Lempel-Ziv-Welchova kódování nebo aritmetického kódování.

Variace a zobecnění

Podmíněná entropie

Není-li pořadí znaků abecedy nezávislé (např. ve francouzštině po písmenu „q“ téměř vždy následuje „u“ a za slovem „peredovik“ v sovětských novinách slovo „výroba“, resp. „práce“ byla obvykle sledována), množství informací nesoucích posloupnost takových symbolů (a tedy i entropie) je zjevně menší. K vysvětlení takových skutečností se používá podmíněná entropie.

Podmíněná entropie prvního řádu (podobně jako Markovův model prvního řádu) je entropie pro abecedu, kde jsou známy pravděpodobnosti výskytu jednoho písmene za druhým (tj. pravděpodobnosti dvoupísmenných kombinací) :

Kde i je stav závislý na předchozím znaku a p i (j) je pravděpodobnost j, za předpokladu, že i byla předchozí postava.

Takže pro ruský jazyk bez písmene "".

Pokud jde o privátní a obecné podmíněné entropie, ztráty informací jsou zcela popsány během přenosu dat v hlučném kanálu. K tomu slouží tzv kanálové matice. Abychom tedy popsali ztráty ze zdroje (to znamená, že vysílaný signál je znám), zvažte podmíněnou pravděpodobnost přijetí symbolu přijímačem b j za předpokladu, že byl odeslán znak A i. V tomto případě má kanálová matice následující tvar:

Je zřejmé, že pravděpodobnosti umístěné podél úhlopříčky popisují pravděpodobnost správného příjmu a součet všech prvků sloupce dá pravděpodobnost výskytu odpovídajícího znaku na straně přijímače - p(b j) . Ztráta na přenesený signál A i, jsou popsány z hlediska částečné podmíněné entropie:

K výpočtu ztráty přenosu všech signálů se používá celková podmíněná entropie:

Znamená to entropii ze strany zdroje, podobně se uvažuje - entropie ze strany přijímače: místo toho je všude indikována (sečtením prvků řetězce můžete získat p(A i) , a prvky úhlopříčky znamenají pravděpodobnost, že byl odeslán právě ten znak, který byl přijat, tedy pravděpodobnost správného přenosu).

Vzájemná entropie

Vzájemná entropie, popř unijní entropie, je určen k výpočtu entropie propojených systémů (entropie společného vzhledu statisticky závislých zpráv) a značí se H(AB), kde A, jako vždy, charakterizuje vysílač, a B- přijímač.

Vztah mezi vysílanými a přijímanými signály je popsán pravděpodobnostmi společných událostí p(A i b j) , a pro plný popis charakteristiky kanálu vyžadují pouze jednu matici:

Pro obecnější případ, kdy není popsán kanál, ale jednoduše interagující systémy, matice nemusí být čtvercová. Je zřejmé, že součet všech prvků sloupce s číslem j dá p(b j) , součet řádku s číslem i Tady je p(A i) a součet všech prvků matice je 1. Společná pravděpodobnost p(A i b j) Události A i A b j se vypočítá jako součin původní a podmíněné pravděpodobnosti,

Podmíněné pravděpodobnosti jsou vytvářeny Bayesovým vzorcem. Jsou tedy k dispozici všechna data pro výpočet entropie zdroje a přijímače:

Vzájemná entropie se vypočítá postupným řádkovým (nebo sloupcovým) součtem všech pravděpodobností matic vynásobených jejich logaritmem:

Jednotkou měření jsou bity/dva znaky, vysvětluje se to tím, že vzájemná entropie popisuje nejistotu pro dvojici znaků – odeslané a přijaté. Jednoduchými transformacemi také získáme

Vzájemná entropie má vlastnost úplnost informací- z toho můžete získat všechna uvažovaná množství.

Příběh

Poznámky

viz také

Odkazy

• Claude E Shannon Matematická teorie komunikace
• S. M. Korotajev.

V jakémkoli procesu řízení a přenosu se vstupní informace převádějí na výstup. Obvykle jsou informace chápány jako nějaké informace, symboly, znaky. Statistická teorie: pojem informace je charakterizován jako eliminace nejistoty.

Informace je definována tak, že informace je předmětem ukládání, přenosu a příjmu. Informace jsou přenášeny pomocí signálu. Základem kvantitativního hodnocení získávání informací je myšlenka přenosu zprávy jako náhodného stochastického procesu v čase.

Odstraňte nejistotu testováním, čím vyšší nejistota, tím vyšší hodnota informace.

Míra nejistoty závisí na počtu hodnot, které hodnota může nabývat, a na výsledku událostí.

Pro míru množství informace je určena náhodná veličina H (A):

Kde -pravděpodobnost výsledku.

Znaménko mínus stojí jako kompenzace H (A) je entropie zkušenosti A (vzorec vynalezl Claude Chinon).

Čím více H(A), tím větší míra neznalosti.

Hromadění informací o nějakém systému snižuje entropii. Informace jsou určitým příspěvkem k entropii.

Nechť je dán x-systém.

Li
, Že

Kde

Přijímání informací je objektivním zobrazením stavu systému a může být použito pro přenos, řízení, rozhodování atd.

Informace není hmotná nebo energetická kategorie, nikdy se nevytváří, ale pouze vysílá a přijímá, ale může se ztratit nebo zmizet.

Podle druhého termodynamického zákona se entropie zvyšuje paralelně s destrukcí organizovaných struktur, což vede k chaotickému pravděpodobnostnímu stavu.

Jednotkou měření je množství informace obsažené v nějaké náhodné veličině, která se bere se stejnou pravděpodobností. Jednotkou míry nejistoty je entropie elementární události, která má dva výsledky se stejnou pravděpodobností, dvě různé hodnoty.

-binární jednotka nebo bit.

vázaný na x-systém

y-systém

I(x,y)=H(x)+H(y)-H(x,y), kde

H(x,y)-entropie sjednoceného systému.

, kde,

Pro nepřetržitý signál.

kde(x) je hustota pravděpodobnosti x. Chinonský přístup nebere v úvahu sémantický obsah.

33. Koncept ergodického zdroje. nadbytek.

V praxi existují ergodické zdroje, ve kterých se korelace rozšiřují na konečný počet předchozích zdrojů. V ergodickém zdroji
neexistují žádné korelace, tzn.

Matematická reprezentace zpráv generovaných ergodickými zdroji je Markovský řetěz.

Markovský řetěz n-řád se nazývá posloupnost, závislost testů, ve kterých je pravděpodobnost nějakého výsledku
ve studii závisí na výsledcích, ke kterým došlo v jakýchkoli předchozích studiích, ale nezávisí na dřívějších výsledcích.

V ergodickém zdroji, n pořadí distribuce
pro k=1,2,…,m nezůstává konstantní, ale závisí na tom, kolik bylo posledních n písmen zpráv.

pravděpodobnost výběru písmene q z abecedy.

Počet možných stavů je určen:
, kde m je abeceda, n je pořadí, M je počet možných zdrojových stavů.

K určení celkové entropie je nutné:

pokud M=1, pak dostaneme klasický Chinonův vzorec.

Korelace v ergodickém zdroji je nutně doprovázena změnou rozdělení pravděpodobnosti, volbou prvku zpráv ze stavu do stavu, což vede i ke snížení entropie, což znamená, že část informace přenášené zdrojem může být předpověděl, což znamená, že nemůže být přenášen, protože lze jej obnovit na přijímací straně. Čím nižší je entropie zdroje, tím více informací generuje.

R-redundance, ukazuje účinnost zdroje.

Důvodem R je jedinečnost a referenční pravděpodobnost výběru mezi zprávami.

Otázka vztahu mezi entropií a informací je diskutovaná už dlouho, vlastně už od formulace paradoxu s „Maxwellovým démonem“. Chvíli se zdálo, že problém rozptyluje pozornost. Nyní však začíná být aktuální, protože se ukazuje, že souvisí se zcela specifickými otázkami: jaká je entropická (a energie) platba za informaci, jaké jsou minimální rozměry informační buňky atd.

Tyto otázky se stávají zvláště akutními v souvislosti s biologickou specifitou. Za prvé, informační systémy v živé přírodě jsou malé (mikroskopické) velikosti. Za druhé fungují normální teplota, tedy za podmínek, kdy teplotní výkyvy nejsou zanedbatelně malé. Za třetí, v biologii má zapamatování a ukládání informací zvláštní význam. Všimněte si, že v technologii jsou problémy přenosu informací důležitější; na příkladu optimalizace přenosu byla vyvinuta hlavní ustanovení teorie informace. Méně pozornosti bylo věnováno otázkám příjmu a uchovávání informací. Naproti tomu v biologii se tyto otázky stávají prvořadými.

Aniž bychom předstírali striktní definici pojmu „informace“, zdůrazňujeme dva z jeho nezbytných atributů: 1) informace zahrnuje výběr jedné (nebo několika) možností z mnoha možných, 2) provedenou volbu je třeba mít na paměti. Zdůrazňujeme: druhá podmínka – zapamatování si informací – je velmi důležitá. Poprvé na to upozornil Kastler [P26] v roce 1960. V procesech přenosu informací hraje „zapamatovatelnost“ menší roli než při příjmu, zpracování a ukládání informací. Vysílací systém je totiž povinen pamatovat si informace pouze po dobu přenosu, která v zásadě může být krátká. V biologii podmínka pro zapamatování dlouhodobý naopak hraje důležitou roli.

Množství informací se nazývá hodnota

kde je celkový počet možnosti, počet vybraných možností. Množství informace je nenulové, pokud je známo, že z nějakého důvodu byla realizována jedna z apriorních možností (není však známo která). Tento počet je maximální, pokud je známo, že byla realizována (zvolena) jedna konkrétní možnost. Hodnota pokud

Nic není známo. Základ logaritmu (tj. binární systém) je zvolen pro pohodlí; jednotka informace v tomto systému je jeden bit; odpovídá výběru jedné možnosti ze dvou možných.

Výraz (12.8) lze snadno zobecnit na případ, kdy lze a priori N variant realizovat s pravděpodobnostmi a realizovat se a posteriori s pravděpodobnostmi pak

Volba nebo implementace aposteriorních možností může být provedena dvěma způsoby. různé způsoby; nebo v důsledku akce vnější síly- v tomto případě hovoří o příjmu informací z jiného (třetího) systému, nebo spontánně, v důsledku nestabilního chování samotného systému - v tomto případě dochází ke zrodu (vzniku) nové informace .

Informační systém by měl být schopen: a) přijímat informace, b) uchovávat nebo, což je stejné, pamatovat si informace, c) vydávat informace při interakci s jiným příjemcem ve vztahu k uvažovanému systému. Z toho vyplývá, že informační systém musí být multistacionární.

Počet stabilních stacionárních stavů určuje informační kapacitu, tedy maximální množství informací, které může systém formulovat:

Systém musí být disipativní. To znamená, že reálné části všech charakteristických čísel stacionárních stavů jsou záporné; tohle je nutná podmínka zapamatování informací. Příkladem takového systému je čínský kulečník. Je to koule na desce se stranami, otvory a kolíky. Příslušnost míčku k určité jamce je informací o stavu systému.

Na mikroskopické (molekulární) úrovni se problém návrhu informačního systému stává netriviálním. Za prvé, v multistacionárním systému se každá z fázových trajektorií nachází pouze v určité části fázového prostoru (v oblasti přitažlivosti daného stavu). Celý fázový objem není k dispozici pro každou z trajektorií. To znamená, že informační systém není zcela roční a termodynamicky v rovnováze. Měly by existovat vybrané stupně volnosti, které si dlouhodobě zachovávají své hodnoty a neprocházejí všemi možnými.

Vysvětleme si to na příkladu čínského kulečníku. Rozlišujícími stupni volnosti jsou zde souřadnice míče. Změna v x a y je omezena na okraje jamek; míč se nemůže přesunout do jiné jamky bez vnějšího zásahu. V čem

další stupně volnosti spojené s vibracemi atomů jak míče, tak desky mohou (a měly by být i nadále) ergodické.

Zadruhé, stav disipativnosti, jak jsme viděli, souvisí s nestabilitou (a tedy chaotičností) mikroskopických pohybů. To znamená, že odpovídající stupně volnosti musí být ergodické. Fázový prostor informačního systému by tedy měl být rozvrstven na ergodické a dynamické subsystémy. Takovou stratifikaci však nelze provádět absolutně striktně, vždy na sebe navazují různé stupně volnosti. To se projevuje tak, že dynamické (informační) stupně volnosti kolísají a existuje určitá pravděpodobnost jejich radikální změny (např. přenesení míčku do jiné jamky) vlivem ergodického subsystému (tj. teplotních výkyvů).

V makroskopických informačních systémech je tato pravděpodobnost zanedbatelná, ale v mikroskopických systémech je třeba s ní počítat. Podmínky multistacionarity a disipativnosti tedy nemohou být současně naprosto důsledně splněny; jsou volitelné. To znamená, že podmínka „zapamatování“ nemůže být absolutní, o zapamatování lze mluvit pouze s určitou pravděpodobností po určitou (nikoli nekonečně dlouhou) dobu. Jinými slovy, informační systém si nemůže pamatovat navždy. V reálných informačních systémech závisí charakteristická doba skladování na jejich konstrukci, teplotě a volné energii.

Otázka vztahu mezi entropií a informací ve světle toho, co bylo řečeno, se ukazuje jako netriviální. Fyzikální entropie je logaritmus fázového objemu dostupného systému (s ohledem na konvence tohoto konceptu - viz výše), měřený v jednotkách, kde je počet stupňů volnosti a velikost minimální (kvantové) buňky fázový prostor. Formálně může být entropie reprezentována jako

Hodnota je entropie, měřená v bitech; počet buněk fázového prostoru. Na druhé straně, informační kapacita lze zapsat ve tvaru

kde je velikost fázového prostoru jedné informační buňky. Porovnání vzorců (12.11) a (12.12) ukazuje, že entropie a informace se liší jak koeficientem, tak velikostí buňky.

Formální shoda (12.11) a (12.12) posloužila jako základ pro tvrzení o identitě pojmů informace a entropie. Přesněji se tvrdí, že entropie je chybějící informace o stavu systému a (nebo) informace je chybějící entropie, tedy rozdíl mezi maximální entropií, která

by měl systém bez informací a skutečnou entropii, kterou systém má, mající přijaté informace. V tomto ohledu se používá termín neentropie, který je považován za totožný s informací.

Mnozí však s těmito tvrzeními nejsou spokojeni a otázka vztahu mezi informací a entropií zůstává diskutabilní.

Pojďme diskutovat o problému podrobněji.

V první řadě je markantní velký kvantitativní rozdíl mezi informací obsaženou v systému a jeho entropií.

Blumenfeld (viz [A61]) ukázal na řadě biologických příkladů (buňka, organismus atd.), že entropie obsažená v objektu je mnohonásobně (o několik řádů) vyšší než informace, které má k dispozici. V moderních neživých informačních systémech je rozdíl ještě větší (např. v tištěném textu entropie převyšuje informaci asi 1010krát).

Tak velký kvantitativní rozdíl není náhodný. Je to způsobeno skutečností, že objem fázového prostoru informační buňky je velký ve srovnání s hodnotou informační buňky v důsledku skutečnosti, že informační buňka musí obsahovat ergodický subsystém, a proto zabírat velký (ve srovnání s elementární buňka) objem.

Rozdíl mezi stupnicí entropie a informace tedy není náhodný, ale souvisí s jejich zásadní odlišností. Entropie je mírou množiny těch stavů systému, ve kterých musí systém zapomenout, že jsou; informace je měřítkem množiny těch stavů, které si systém musí pamatovat, že se v nich nachází.

Podívejme se, jak spolu souvisí změny entropie a informace na příkladu čínského kulečníku. Omezujeme naše úvahy na životnost systému. Faktem je, že jakýkoli informační systém, který je nerovnovážný, se z hlediska strukturálních stupňů volnosti uvolňuje a kolabuje, tedy přestává být informační.

Strukturální relaxační čas je větší (nebo stejný) než doba zapamatování. V našem příkladu mluvíme o samovolném zničení bariér mezi studnami; charakteristická doba tohoto procesu je poměrně dlouhá. Během této doby se strukturální stupně volnosti nemění, a proto nepřispívají k entropii. (Část fázového prostoru spojená s těmito stupni volnosti je v tuto chvíli nepřístupná.) Entropie je pak spojena pouze se stupni volnosti, které se rychle uvolňují. Jejich chování nezávisí na tom, ve které z jamek je míček a zda je umístěn v nějaké jamce nebo leží poblíž. Fyzikální entropie systému je ve všech případech stejná, ale množství informace se liší: rovná se nule, pokud míček není umístěn v jamce, a je rovna, pokud leží v určité jamce.

Proces příjmu informace (v našem případě - umístění míče do určitého otvoru) vyžaduje vynaložení práce, která se mění v teplo (jinak by příjem nebyl nevratný). V důsledku toho se během příjmu fyzická entropie systému zvyšuje (o hodnotu a zároveň

informace přibývá (o hodnotu Obvykle, ale jinak nejsou nijak propojeny. Při příjmu informace se tedy poměr nedodržuje.

V případě nových informací je situace poněkud složitější. Systém schopný generovat informaci musí mít všechny vlastnosti informačního a navíc splňovat podmínku: určitá vrstva jeho fázového prostoru musí být roční, včetně zvolených (informačních) stupňů volnosti. Právě v tomto případě jsou nastaveny výchozí podmínky pro spontánní výskyt informace.

Příkladem je stejný čínský kulečník s kolíky. Pokud je zpočátku kinetická energie míčku dostatečně vysoká (více bariér mezi jamkami), pak se míček pohybuje po celém prkně, aniž by uvízl v jamkách. Vzhledem k nestabilitě odrazu od vlásenek (u sinajského kulečníku hrají roli konkávních ploch, obr. 12.2) je pohyb koule stochastický a na výchozí podmínky se rychle zapomene. S poklesem kinetické energie (v důsledku disipativnosti systému, v tento případ vlivem tření a kolizí) až do hodnoty řádově výšky bariéry se kulička dostane do přitahovací oblasti jednoho z otvorů a zůstane v ní. Vybraný stav je tedy „zapamatován“, což je zrození informace. Stejný princip se používá u rulety a dalších herních automatů.

Ve všech těchto případech je kritériem pro oddělení ergodické vrstvy počátečních podmínek od informační vrstvy hodnota počáteční volné energie (v kulečníku je to kinetická energie koule). Určuje také nárůst entropie systému v procesu generování informací. Odhadněme hodnotu Pokud je informační kapacita systému malá: pak hlavním omezením zdola je podmínka, kde je bariéra mezi otvory. Bariéry určují dobu „pamatování“ podle vztahu

Pro dostatečně velkou (makroskopickou) hodnotu c je bariéra

V tomto případě je tedy nárůst entropie na jeden bit informace

nebo v informačních jednotkách:

V případě, že je informační kapacita velká (t. j. je třeba vzít v úvahu další podmínku: před „zvolením“ určitého stavu musí systém alespoň jednou navštívit oblast vlivu každého z možných stavů.

Nechte energii rozptýlit při průchodu každého ze stavů.Minimální hodnota je řádově energie tepelných fluktuací:

Nárůst entropie na jeden bit informace je v tomto případě roven

V případě vzniku informace je tedy nutné za ni „zaplatit“ zvýšením entropie, a to tak, že v tomto však neprobíhají vztahy typu „přírůstek informace se rovná poklesu entropie“. buď případ.

Pojďme diskutovat o situaci, která nastane, pokud se opustí podmínka zapamatování informací. V tomto případě můžeme mluvit o informacích o okamžitých hodnotách souřadnic a hybnosti všech atomů v systému. Pro odlišení této „informace“ od skutečné (pamatované) navrhl Lizer termín mikroinformace, uložená informace se nazývá makroinformace.

Pokud je známo, že v tento moment systém je umístěn v jedné (z možných) konkrétní buňce fázového prostoru, pak je množství mikroinformací maximální a rovné

V tomto případě je entropie systému rovna nule, protože všechny ostatní buňky lze v tuto chvíli považovat za „nepřístupné“.

Pokud je známo, že se systém momentálně nachází v některé z možných buněk, ale neví se ve které, pak je mikroinformace rovna nule a entropie je maximální a rovna

Pokud je známo, že v tuto chvíli je systém v jedné (kterékoli) z buněk, pak

a mezi mikroinformací a entropií existuje jednoduchý vztah:

Mikroinformace se v zásadě může proměnit v makroinformaci přijetím své druhé informační systém. Například vyfotografováním snímku Brownova pohybu lze okamžité souřadnice částic otisknout (zapamatovat si) na fotografický film. Tyto informace pak mohou být použity pro jakékoli (i nesouvisející s pohybem částic)

cíle. Důležité je, že v tomto případě je třeba v procesu příjmu (přeměny mikroinformace na makroinformaci) vynaložit práci a zvýšit entropii celého systému o množství, které evidentně převyšuje množství ukládané informace.

Právě tento proces – přeměna mikroinformací na makroinformace a jejich využití pro řízení – je základem paradoxu s „Maxwellovým démonem“. Jeho řešení spočívá v tom, že proces příjmu mikroinformací a jejich využití pro řízení je doprovázen nárůstem entropie celého systému / překonáváním informací.

V souvislosti s tak výrazným rozdílem mezi mikro- a makroinformacemi se také používají dva pojmy entropie. Spolu s fyzickou entropií se používá informační entropie, která je definována jako

kde je počet stacionárních stabilních makrostavů, o kterých je známo, že se systém nachází v jednom z nich (není však známo ve kterém).

Informační entropie se podle definice vztahuje k informaci vztahem

Nárůst informace (při jejím zachování je vždy doprovázen stejným poklesem informační entropie. Termín Informační entropie je vhodné použít, pokud jde o vznik informace a uspořádání systému. Právě v tomto smyslu jde o použito v kapitole 2. Zdůrazňujeme, že s fyzikální entropií tato veličina obecně nesouvisí.

Takže základem rozdílu mezi fyzikální entropií a informací (jak kvalitativně, tak kvantitativně) je podmínka zapamatování a z toho plynoucí velký objem fázového prostoru informační buňky oproti elementární.

Je zajímavé odhadnout hodnotu "rezervy". Udělejte to obecný pohled teď je to těžké. Lze si však myslet, že v živé přírodě optimální velikost(tj. minimální, ale vyhovující). Lze to odhadnout pomocí skutečných dat.

V molekule DNA je buňka obsahující dva bity informace párem komplementárních nukleotidů. Obsahuje asi atomů. Entropie spojená s vibračními stupni volnosti je bit nebo entropie na bit informace je asi 60 bitů. Množství fázového prostoru na bit se tedy rovná

pojem entropie poprvé představen v roce 1865 R. Clausiem v termodynamice k určení míry nevratné ztráty energie. Entropie se používá v různých odvětvích vědy, včetně teorie informace, jako míra nejistoty jakékoli zkušenosti, testu, který může mít různé výsledky. Tyto definice entropie mají hlubokou vnitřní souvislost. Takže na základě představ o informacích lze odvodit všechna nejdůležitější ustanovení statistické fyziky. [BES. Fyzika. M: Velká ruská encyklopedie, 1998].

Tato hodnota se také nazývá průměrná entropie zprávy. Entropie v Shannonově vzorci je průměrná charakteristika – matematické očekávání rozdělení náhodné veličiny.
Například v posloupnosti písmen, které tvoří libovolnou větu v ruštině, se různá písmena objevují v různých frekvencích, takže nejistota výskytu u některých písmen je menší než u jiných.
V roce 1948, když Claude Shannon zkoumal problém racionálního přenosu informací hlučným komunikačním kanálem, navrhl revoluční pravděpodobnostní přístup k pochopení komunikací a vytvořil první, skutečně matematickou teorii entropie. Jeho senzační nápady rychle posloužily jako základ pro rozvoj teorie informace, která používá pojem pravděpodobnosti. Pojem entropie jako míru náhodnosti zavedl Shannon ve svém článku „A Mathematical Theory of Communication“, publikovaném ve dvou částech v Bell System Technical Journal v roce 1948.

V případě stejně pravděpodobných událostí ( speciální případ), když jsou všechny možnosti stejně pravděpodobné, zůstává závislost pouze na počtu zvažovaných možností a Shannonův vzorec je značně zjednodušený a shoduje se s Hartleyho vzorcem, který jako první navrhl americký inženýr Ralph Hartley v roce 1928, jako jeden z vědeckých přístupů k hodnocení zpráv:

Úkol 1. Stejně pravděpodobné události.
V balíčku je 36 karet. Kolik informací obsahuje zpráva, že z balíčku byla odebrána karta s portrétem „esa“; "Pikové eso"?

Pravděpodobnost p1 = 4/36 = 1/9 a p2 = 1/36. Pomocí Hartleyho vzorce máme:

Odpověď: 3,17; 5,17 bit
Všimněte si (z druhého výsledku), že ke kódování všech map je potřeba 6 bitů.
Z výsledků je také zřejmé, že čím nižší je pravděpodobnost události, tím více informací obsahuje. ( Tato vlastnost volal monotonie)

Úkol 2. O nestejných událostech
V balíčku je 36 karet. Z toho 12 karet s "portréty". Jedna z karet je zase odebrána z balíčku a ukázána, aby se zjistilo, zda je na ní vyobrazen portrét. Karta se vrátí do balíčku. Určete množství přenášených informací při každém zobrazení jedné karty.

1) Systematický přístup ke studiu medicíny. Pojem systému. Vlastnosti systému. Příklady lékařských systémů.

Systematický přístup, směr metodologie speciálního vědeckého poznání a společenské praxe, která je založena na studiu objektů jako systémů.

Systém- soubor prvků, které jsou ve vzájemných vztazích a souvislostech, což tvoří určitou celistvost, jednotu.

vlastnosti společné všem systémům:

Integrita- systém je abstraktní entita, která má integritu a je definována v rámci svých hranic. Integrita systému znamená, že v nějakém významném aspektu „síla“ nebo „hodnota“ spojení prvků v rámci systému vyšší než pevnost nebo hodnota spojů prvků systému s prvky externí systémy nebo prostředí.

Synergie, vznik, holismus, systémový účinek- vzhled vlastností v systému, které nejsou vlastní prvkům systému; základní neredukovatelnost vlastností systému na součet vlastností jeho složek. Schopnosti systému jsou větší než součet schopností jeho součástí; celkový výkon nebo funkčnost systému je lepší než prostý součet prvků.

Hierarchie- každý prvek systému lze považovat za systém; samotný systém lze také považovat za prvek nějakého supersystému (supersystému).

Expertní systémy - logický popis struktury a obsahu medicínských znalostí pomocí systému produkčních pravidel (logická inferenční pravidla).

Konzultace v určité oblasti na úrovni znalostí přesahující úroveň uživatele; - aplikace výpočetní techniky" umělá inteligence»; - vytváření znalostní báze v podobě systémů heuristická pravidla; - vysvětlení úvah v procesu získávání řešení.

Lékařské informační systémy (MIS). Podle účelu se tyto systémy dělí do tří skupin: 1) systémy, jejichž hlavní funkcí je shromažďování dat a informací

2) diagnostické a poradenské systémy

3) systémy, které poskytují lékařskou péči

Lékařský informační systém (MIS) - soubor informací, organizačních, softwarových a hardwarových prostředků určených k automatizaci lékařských procesů a (nebo) organizací

Úkoly lékařských informačních systémů

Sběr dat

Registrace a dokumentace dat

Zajištění výměny informací

Kontrola průběhu onemocnění (lékařská kontrola)

Sledování implementace technologie léčebného a diagnostického procesu (technologická kontrola)

Ukládání a vyhledávání informací (archivace)

Analýza dat

Podpora při rozhodování

Výcvik

2. Zdravotnický systém as kontrolní systém. Princip zpětné vazby v řídicích systémech. Místo metod a prostředků informatiky v systému lékařského managementu.

Teorie řízení- nauka o principech a metodách řízení různých systémů, procesů a objektů. Základy teorie řízení tvoří kybernetika (nauka o obecných zákonitostech upravujících procesy řízení a přenosu informací v různých systémech, ať už jde o stroje, živé organismy nebo společnost) a teorie informace.

Proces řízení lze rozdělit do několika fází:

1. Sběr a zpracování informací.

2. Analýza, systematizace, syntéza.

3. Stanovení cílů na tomto základě. Volba způsobu řízení, předpověď.

4. Implementace zvolené metody řízení.

5. Hodnocení účinnosti zvolené metody řízení (zpětná vazba).

Konečným cílem teorie řízení je univerzalizace, což znamená konzistenci, optimalizaci a největší efektivitu fungování systémů.

Metody řízení uvažované teorií řízení technické systémy a další objekty jsou založeny na třech základních principech:

1. Princip otevřeného (softwarového) ovládání,

2. Princip kompenzace (kontrola rušení)

3. Princip zpětné vazby.

Management lze rozdělit do dvou typů:

spontánní: dopad nastává jako výsledek interakce subjektů (synergické řízení);

při vědomí: plánovaný dopad objektu (hierarchické řízení).

V hierarchickém řízení je účel fungování systému stanoven jeho supersystémem.

Lékařská kybernetika je vědecký směr spojený s využíváním myšlenek, metod a technické prostředky kybernetika v medicíně a veřejném zdravotnictví.

Konvenčně může být lékařská kybernetika reprezentována následujícími skupinami:

Počítačová diagnostika nemocí

Tato část je spojena s využitím výpočetní techniky při zpracování informací pocházejících z biologického objektu za účelem stanovení diagnózy. Prvním krokem je vyvinout metody pro formální popis pacientova zdravotního stavu a provést důkladnou analýzu k objasnění klinických parametrů a příznaků používaných při diagnostice. Zde mají prvořadý význam ty znaky, které nesou kvantitativní odhady. Výpočetní diagnostika vyžaduje kromě kvantitativního vyjádření fyziologických, biochemických a dalších charakteristik pacienta informace o frekvenci klinických syndromů (z apriorních dat) a diagnostické znaky o jejich klasifikaci, posouzení účinnosti diagnostiky atd.

Automatizované řídicí systémy a možnosti jejich aplikace pro organizaci zdravotnictví a já

Zde je cílem vytvořit oborově automatizované systémy (OSAU). Takové systémy jsou vytvářeny pro tak důležitý průmysl, jakým je „zdravotní péče“. Charakteristickým rysem OSAU ve zdravotnictví je, že by měl obsahovat jak řídící jednotku, tak další prvky: prevenci, léčbu (s diagnostikou), lékařskou vědu, personál, materiální zabezpečení. Mezi primární úkoly OSAU "Zdravookhranenie" patří automatizace sběru a analýzy statistických informací v hlavních oblastech lékařské činnosti a optimalizace některých procesů řízení.

3. Pojem informační entropie.

Entropie (informace) - míra náhodnosti informace, nejistota vzhledu jakéhokoli znaku primární abecedy. Pokud nedojde ke ztrátě informace, rovná se číselně množství informací na symbol přenášené zprávy.

Vezměme si tedy například posloupnost znaků, které tvoří větu v ruštině. Každý znak se objevuje s jinou frekvencí, proto je nejistota výskytu u některých znaků větší než u jiných. Pokud vezmeme v úvahu, že některé kombinace znaků jsou velmi vzácné, pak se nejistota ještě více sníží.

Pojmy informace a entropie spolu úzce souvisí, ale navzdory tomu vývoj teorií statistické mechaniky a teorie informace trval mnoho let, než si navzájem odpovídaly.

Zavedení pojmu entropie je založeno na použití pravděpodobnostní míry různé zkušenosti. Chcete-li získat vzorec informační entropie, můžete použít následující trik. Nechť existuje posloupnost N událostí (například text o N písmenech), z nichž každá nabývá jednoho z M stavů (M ¾ počet písmen v abecedě). Pak . Pravděpodobnost projevu tohoto stavu se zjistí pro dostatečně dlouhý řetězec událostí jako, i=1, ¼ , M. Celkový počet různých sekvencí N písmen abecedy M-písmen . Formálně je výskyt každé z R sekvencí stejně pravděpodobný, proto pro určení množství informací v takovém řetězci událostí používáme Hartleyho vzorec pro stejně pravděpodobné výsledky (1). Pro náš případ jsou všechna N a všechna N i dostatečně velká, protože jedině tehdy mají všechna p i jako pravděpodobnosti smysl. Proto aplikujeme Stirlingovu transformaci stejným způsobem, jako se to dělá ve statistické fyzice. S využitím všech výše uvedených premis a redukcí logaritmu (1) na přirozený základ získáme Shannonův vzorec ¾ informační entropie vypočtená pro každý z M možných stavů.

V budoucnu může být koncept entropie aplikován na řešení problémů výpočtu nejistoty (a tím i informační zátěže) různých experimentů. Pokud přijatá informace zcela odstraní nejistotu zážitku, pak se její množství považuje za rovné entropii této zkušenosti. Využití pojmu entropie tedy může sloužit k určení hodnoty různých předpovědí. A ještě zajímavější a užitečnější je využití konceptu entropie (z praktického hlediska) pro stanovení kritéria pro hodnocení efektivity reálného kódu a jako nástroje pro tvorbu ekonomických kódů.

5. Základní pojmy základních informačních procesů: ukládání, přenos, zpracování informací.

Informační proces - proces získávání, vytváření, shromažďování, zpracovává se, úspory, úložný prostor, Vyhledávání, přenos a využití informací.

To je jedno informační aktivity lidé nebyli zapojeni, vše se scvrkává na implementaci tří procesů: ukládání, přenos a zpracování informací. Tyto procesy se nazývají základní.

Úložný prostor

Ukládání informací je třeba chápat jako obsah informací v externí paměť počítač.

Takové pojmy jako nosič informací, vnitřní paměť, externí paměť, úložiště informací jsou spojeny s ukládáním informací. Nosičem informace je fyzické prostředí, přímo ukládající informace. Hlavním nositelem informace je pro člověka jeho vlastní biologická paměť (lidský mozek). Dá se tomu říkat vnitřní paměť. Všechny ostatní typy nosičů informací lze nazvat externí (ve vztahu k osobě).

Informační úložiště je určitým způsobem organizovaný sběr dat na externích médiích, určený k dlouhodobému uchování a trvalému použití. Příklady úložišť jsou archivy dokumentů, knihovny, adresáře, kartotéky. Hlavní informační jednotkou úložiště je určitý fyzický dokument - dotazník, kniha, spis, spis, zpráva atd. Organizace úložiště je chápána jako přítomnost určité struktury, tzn. pořádek, třídění uložených dokumentů. Taková organizace je nezbytná pro pohodlí údržby úložiště: doplňování novými dokumenty, mazání nepotřebných dokumentů, vyhledávání informací atd.

Hlavní vlastnosti úložiště informací jsou množství uložených informací, spolehlivost úložiště, doba přístupu a dostupnost ochrany informací.

Informace uložené v paměťových zařízeních počítače se nazývají data. Organizovaná úložiště dat na externích paměťových zařízeních počítače se běžně nazývají databáze.

V moderních počítačích jsou hlavním paměťovým médiem pro externí paměť magnetické a optické disky.

Jednotky pro ukládání dat. Při ukládání dat se řeší dva problémy: jak data ukládat v co nejkompaktnější podobě a jak k nim zajistit pohodlný a rychlý přístup. Pro zajištění přístupu musí mít data uspořádanou strukturu, a proto je nutné dodatečně evidovat údaje adresy. Bez nich není možný přístup k potřebným datovým prvkům obsaženým ve struktuře.

Protože data adresy mají také velikost a také podléhají ukládání, je nepohodlné ukládat data v malých jednotkách, jako jsou bajty. Je také nepohodlné je ukládat ve větších jednotkách (kilobajtech, megabajtech atd.), protože neúplné zaplnění jedné úložné jednotky vede k neefektivitě ukládání.

Jednotkou úložiště dat je objekt s proměnnou délkou nazývaný soubor. Soubor je posloupnost libovolného počtu bajtů s vlastním jedinečným názvem. Obvykle v samostatný soubor ukládat data stejného typu. V tomto případě datový typ určuje typ souboru.

Přenos

Proces přenosu informací je uvažován v rámci sedmivrstvého referenčního modelu, známého jako OSI model ( otevřený systém Propojení otevřené systémy). Velká pozornost je věnována protokolům různých úrovní, které poskytují potřebnou úroveň standardizace:

1. Spodní vrstva (kanál a fyzická úrovně OSI např. NDIS, ODI)

2. Střední vrstva (síťové, transportní a relace OSI vrstvy, jako jsou protokoly relace a datagramu)

3. Nejvyšší úroveň (úroveň prezentace a aplikační vrstva OSI)

Fyzická vrstva implementuje fyzické řízení a odkazuje na fyzický okruh, jako je telefonní okruh, přes který jsou přenášeny informace. Na této úrovni OSI model definuje fyzické, elektrické, funkční a procedurální charakteristiky komunikačních obvodů, stejně jako požadavky na síťové adaptéry a modemy.

úroveň kanálu. Na této úrovni je síťová linka (kanál) řízena a bloky (sada bitů) informací jsou odesílány přes fyzickou linku. Provádí takové kontrolní postupy, jako je určování začátku a konce bloku, zjišťování chyb přenosu, adresování zpráv atd.

Síťová vrstva označuje virtuální (imaginární) okruh, který nemusí fyzicky existovat. Softwarové nástroje této úrovně poskytují definici trasy přenosu paketů v síti. Směrovače, které poskytují hledání nejlepší cesty na základě analýzy informací o adrese, fungují na síťové vrstvě modelu OSI, nazývané most.

transportní vrstva. Na úrovni přenosu je řízena sekvence paketů zpráv a jejich vlastnictví. V procesu výměny mezi počítači je tedy udržováno virtuální spojení, podobné telefonnímu přepínání.

úroveň relace. Na danou úroveň procesy ustavení relace, řízení vysílání a příjmu paketů zpráv a ukončení relace jsou koordinovány a standardizovány. Software Tato úroveň provádí převody dat z vnitřního formátu odesílajícího počítače do vnitřního formátu přijímajícího počítače, pokud se tyto formáty od sebe liší. Kromě převodu formátů na této úrovni jsou přenášená data komprimována a dekomprimována.

Aplikační vrstva se týká funkcí, které poskytují podporu uživateli na vyšší aplikační a systémové úrovni, například: organizování přístupu ke společným síťové zdroje: informace, diskové úložiště, softwarových aplikací, externí zařízení (tiskárny, streamery atd.); obecné vedení síť (správa konfigurace, řízení přístupu k sdílené zdroje sítě, obnova po poruchách a poruchách, řízení výkonu); přenos elektronických zpráv.

Léčba

Zpracováním informace se rozumí její transformace za účelem přípravy na praktické použití. Někdy je zpracování informací definováno jako provozní data podle určitých pravidel.

V procesu zpracování informací se vždy řeší nějaký informační problém, který spočívá v získání finálních informací na základě výchozích dat. Procesem přechodu od zdrojových dat k výsledku je zpracování informací. Subjekt provádějící zpracování je vykonavatelem zpracování. Účinkujícím může být osoba, nebo se může jednat o speciální technické zařízení, včetně počítače.

Zpracování informací je obvykle účelový proces. Pro úspěšné provedení zpracování informací musí interpret znát způsob zpracování, tzn. sled kroků, které je třeba dodržet, aby bylo dosaženo požadovaného výsledku. Popis takové sekvence akcí v informatice se obvykle nazývá algoritmus zpracování.

Obvykle existují dva typy situací zpracování informací.

Prvním typem je zpracování spojené se získáváním nového znalostního obsahu. Tento typ zpracování zahrnuje řešení matematických úloh. Způsob zpracování, tzn. Algoritmus pro řešení problému je určen matematickými vzorci, které jsou interpretovi známé. Tento typ zpracování informací zahrnuje řešení různých problémů aplikací logického uvažování.

Druhým typem je zpracování spojené se změnou formy, nikoli však změnou obsahu. Tento typ zpracování informací zahrnuje například překlad textu z jednoho jazyka do druhého. Forma se mění, ale obsah musí zůstat. Důležitým typem zpracování pro informatiku je kódování. Kódování je transformace informace do symbolické podoby, vhodná pro její uložení, přenos, zpracování. Kódování se aktivně využívá v technických prostředcích práce s informacemi (telegraf, rozhlas, počítače).

Zpracování informací se týká strukturování dat. Strukturování je spojeno se zavedením určitého řádu, určité organizace do úložiště informací. Příklady strukturování jsou uspořádání dat v abecedním pořadí, seskupení podle některých kritérií klasifikace, použití tabulkové prezentace.

Dalším důležitým typem zpracování informací je vyhledávání. Úkolem rešerše je vybrat potřebné informace, které splňují určité podmínky vyhledávání ve stávajícím informačním úložišti. Algoritmus vyhledávání závisí na způsobu organizace informací. Pokud jsou informace strukturované, pak je vyhledávání rychlejší, můžete sestavit optimální algoritmus.

V závislosti na účelu zpracování informací se tedy může měnit forma jejich prezentace nebo jejich obsah. Procesy změny formy reprezentace informace jsou často redukovány na procesy jejího kódování a dekódování a probíhají současně s procesy sběru a přenosu informací. Proces změny obsahu informací zahrnuje takové postupy, jako jsou numerické výpočty, editace, řazení, zobecňování, systematizace atd. Pokud jsou pravidla transformace informací přísně formalizována a existuje algoritmus pro jejich implementaci, je možné sestavit zařízení pro automatizované zpracování informací.

Je třeba zmínit heterogenitu informačních zdrojů, která je charakteristická pro mnoho oborů. Jedním ze způsobů, jak tento problém vyřešit, je objektově orientovaný přístup, v současnosti nejrozšířenější. Podívejme se stručně na jeho hlavní ustanovení. Na základě rozkladu objektově orientovaný přístup je založena na alokaci následujících základních pojmů: objekt, třída, instance.

Objekt je abstrakce mnoha objektů reálného světa, které mají stejné vlastnosti a zákony chování. Objekt charakterizuje typický neurčitý prvek takové množiny. Hlavní charakteristikou objektu je složení jeho atributů (vlastností).

Atributy- Tento speciální předměty, jehož prostřednictvím lze nastavit pravidla pro popis vlastností jiných objektů.

Instance objektu je zvláštním prvkem sady. Objektem může být například číslo stavu vozu a instance tohoto objektu - konkrétní číslo K 173 PA.

Třída- jedná se o soubor objektů reálného světa, spojených společnou strukturou a chováním. prvek třídy je zvláštním prvkem této sady. Například třída registračních značek automobilů.

Informace jsou přenášeny ve formě signálů. Signál je fyzický proces, který nese informaci. Signál může být zvukový, světelný, ve formě poštovní zásilky apod.

Podle typů (typů) signálů se rozlišují:

analogový

digitální

oddělený

Analogový signál:

Analogový signál je přirozený. Dá se to opravit pomocí různé druhy senzory. Například senzory prostředí (tlak, vlhkost) nebo mechanické senzory (zrychlení, rychlost)

Digitální signál:

Digitální signály jsou umělé, tzn. lze je získat pouze převodem analogového elektrického signálu.

Diskrétní signál:

Diskrétní signál je stále stejný převedený analogový signál, jen nemusí být nutně kvantován na úrovni.

Vzorkování- kontinuální transformace funkcí PROTI oddělený.

Použito v hybridní výpočetní systémy a digitální zařízení s pulzním kódem modulace signály v systémech přenosu dat . Při přenosu obrazu se používá k převodu spojitého analogový signál do diskrétního nebo diskrétně spojitého signálu.

7. Kódovací informace. Abeceda. Slovo. Slovník. Binární kódování.

1. Kódování informací se obvykle používá k transformaci zpráv z formy vhodné pro okamžité použití do formy vhodné pro přenos, ukládání nebo automatické zpracování.

Veškeré informace, se kterými moderní výpočetní technika pracuje, se převádějí na čísla v binární systém zúčtování.

Faktem je, že fyzická zařízení (registry, paměťové buňky) mohou být ve dvou stavech, které odpovídají 0 nebo 1. Pomocí řady podobných fyzická zařízení, můžete do paměti počítače uložit téměř libovolné číslo ve dvojkové soustavě. Kódování v počítači celých čísel, zlomků a záporů, stejně jako symbolů (písmen atd.) má pro každý typ své vlastní charakteristiky. Vždy byste si však měli pamatovat, že jakákoli informace (číselná, textová, grafická, zvuková atd.) v paměti počítače je v binární soustavě reprezentována jako čísla (téměř vždy). V obecném smyslu lze kódování informací definovat jako překlad informace reprezentované zprávou v primární abecedě do sekvence kódů.

Obvykle jsou zprávy přenášeny a registrovány pomocí určité sekvence znaků - znaků.

Abeceda jazyk interpretace zpráv - konečná množina znaků v něm obsažených, obvykle daná jejich přímým výčtem. Nazývá se konečná posloupnost abecedních znaků slovo v abecedě. Počet znaků ve slově určuje délku slova. Množina různých přípustných slovních tvarů slovní zásoba (slovník) abeceda. Libovolná abeceda má uspořádanou formu, znaky jsou uspořádány postupně v přísném pořadí, takže je ve slovníku zajištěno abecední řazení všech slov.

Jako délka kódu pro kódování znaků byla zvolena 8 bitů nebo 1 byte. Jeden znak textu tedy odpovídá jednomu bajtu paměti.

Může existovat 28 = 256 různých kombinací 0 a 1 s délkou kódu 8 bitů, proto při použití jedné překódovací tabulky nelze zakódovat více než 256 znaků. S délkou kódu 2 bajty (16 bitů) lze zakódovat 65 536 znaků. Pro zakódování jednoho znaku se používá množství informací rovné 1 bajtu, tj. I \u003d 1 byte \u003d 8 bitů. Pomocí vzorce, který dává do souvislosti počet možných událostí K a množství informací I, lze vypočítat, kolik různých znaků lze zakódovat K = 2I = 28 = 256, tj. abecedu s kapacitou 256 znaků slouží k reprezentaci textových informací.

Podstatou kódování je, že každému znaku je přiřazen binární kód od 00000000 do 11111111 nebo odpovídající dekadický kód od 0 do 255. binární kód je přiřazena různým postavám.

9. Množství informací. Míra množství informací a jejich vlastností. Hartleyho vzorec.

Množství informací – číslo, které adekvátně charakterizuje velikost diverzity (soubor stavů, alternativ atd.) v hodnoceném systému.

měřit informace - vzorec, kritérium pro posouzení množství informací.

Míra informace je obvykle dána nějakou nezápornou funkcí definovanou na množině událostí a je aditivní, to znamená, že míra konečného spojení událostí (množin) je rovna součtu mír každé události. Množství informací je číslo, které adekvátně charakterizuje množství diverzity (souboru stavů, alternativ atd.) v hodnoceném systému.