Bilgi teorisinde entropi hangi birimlerde ölçülür? Bilgi miktarı ve entropi

Entropi (bilgi teorisi)

Entropi (bilgi amaçlı)- bilgi kaosunun bir ölçüsü, birincil alfabenin herhangi bir sembolünün ortaya çıkışının belirsizliği. Bilgi kaybının olmaması durumunda, iletilen mesajın sembolü başına düşen bilgi miktarına sayısal olarak eşittir.

Örneğin, Rusça'da bir cümleyi oluşturan harf dizisinde, farklı harfler farklı sıklıkta görünür, bu nedenle bazı harflerin oluşum belirsizliği diğerlerine göre daha azdır. Bazı harf kombinasyonlarını dikkate alırsak (bu durumda entropiden bahsediyoruz) N-inci dereceden, bkz.) çok nadirdir, o zaman belirsizlik daha da azalır.

Bilgi entropisi kavramını açıklamak için termodinamik entropi alanından Maxwell şeytanı adı verilen bir örneğe de başvurulabilir. Bilgi ve entropi kavramlarının birbirleriyle derin bağlantıları vardır, ancak buna rağmen istatistiksel mekanik ve bilgi teorisindeki teorilerin birbirleriyle tutarlı hale gelmesi uzun yıllar almıştır.

Biçimsel tanımlar

Bilgi entropisi bağımsız rastgele olaylar için Xİle N olası durumlar (1'den N) aşağıdaki formül kullanılarak hesaplanır:

Bu miktara aynı zamanda denir ortalama mesaj entropisi. Miktar denir özel entropi, yalnızca karakterize edici Ben-arazi.

Böylece olayın entropisi X olayın göreceli oluşum sıklıklarının tüm çarpımlarının zıt işaretli toplamıdır Ben, kendi ikili logaritmalarıyla çarpılır (taban 2 yalnızca ikili biçimde sunulan bilgilerle çalışmanın rahatlığı için seçilmiştir). Ayrık rastgele olaylara ilişkin bu tanım, bir olasılık dağılım fonksiyonuna genişletilebilir.

Genel olarak B-ary entropi(Nerede B 2, 3, ...'e eşittir) orijinal alfabeye ve ayrık olasılık dağılımına sahip kaynak; P Ben olasılık A Ben (P Ben = P(A Ben) ) aşağıdaki formülle belirlenir:

Shannon entropisinin tanımı termodinamik entropi kavramıyla ilgilidir. Boltzmann ve Gibbs bunu yaptı iyi iş Bilgi teorisinde “entropi” kelimesinin benimsenmesine katkıda bulunan istatistiksel termodinamikte. Termodinamik ile bilgi entropisi arasında bir bağlantı vardır. Örneğin, Maxwell'in şeytanı aynı zamanda termodinamik entropiyi bilgiyle karşılaştırıyor ve herhangi bir miktarda bilgi kazanmak, kayıp entropiye eşittir.

Alternatif tanım

Entropi fonksiyonunu tanımlamanın başka bir yolu da H bunun kanıtı H(daha önce belirtildiği gibi) ancak ve ancak şu durumlarda benzersiz olarak belirlenir: H koşulları karşılıyor:

Özellikler

Entropinin bir veri kaynağı için olasılıksal model bağlamında tanımlanan bir miktar olduğunu hatırlamak önemlidir. Örneğin, yazı tura atmanın entropisi − 2(0,5log 2 · 0,5) = atış başına 1 bittir (bağımsız olduğu varsayılarak). Yalnızca “A” harflerinden oluşan bir dize üreten bir kaynağın entropisi sıfırdır: . Örneğin, İngilizce metnin entropisinin karakter başına 1,5 bit olduğunu deneysel olarak tespit edebiliriz; bu elbette ki duruma göre değişecektir. farklı metinler. Bir veri kaynağının entropi derecesi, onu bilgi kaybı olmadan ve optimum kodlamayla şifrelemek için veri öğesi başına gereken ortalama bit sayısı anlamına gelir.

1. Bazı veri bitleri bilgi taşımayabilir. Örneğin, veri yapıları sıklıkla gereksiz bilgileri depolar veya veri yapısındaki bilgilere bakılmaksızın aynı bölümlere sahiptir.
2. Entropi miktarı her zaman tamsayı bit sayısı olarak ifade edilmez.

Matematiksel özellikler

Yeterlik

Pratikte karşılaşılan orijinal alfabe, olasılık dağılımı ki bu optimal olmaktan uzaktır. Orijinal alfabe olsaydı N karakterler varsa, olasılık dağılımı tekdüze olan "optimize edilmiş bir alfabe" ile karşılaştırılabilir. Orijinal ve optimize edilmiş alfabenin entropi oranı, orijinal alfabenin verimliliğidir ve yüzde olarak ifade edilebilir.

Bundan orijinal alfabenin etkililiğinin şu sonucu çıkıyor: N semboller basitçe kendilerine eşit olarak tanımlanabilir. N-ary entropisi.

Entropi, teorik olarak tipik küme veya pratikte Huffman kodlaması, Lempel-Ziv-Welch kodlaması veya aritmetik kodlama kullanılarak gerçekleştirilebilecek mümkün olan maksimum kayıpsız (veya neredeyse kayıpsız) sıkıştırmayı sınırlar.

Varyasyonlar ve genellemeler

Koşullu entropi

Alfabe karakterlerinin sırası bağımsız değilse (örneğin, Fransızca'da "q" harfinin hemen hemen her zaman "u" gelmesi ve Sovyet gazetelerinde "editoryal" kelimesinin ardından genellikle "üretim" veya "emek" kelimesi gelmesi ”), bu tür sembollerin dizisini taşıyan bilgi miktarı (ve dolayısıyla entropi) açıkça daha küçüktür. Bu tür gerçekleri hesaba katmak için koşullu entropi kullanılır.

Birinci dereceden koşullu entropi (birinci dereceden Markov modeline benzer), bir harfin diğerinden sonra görünme olasılığının bilindiği (yani iki harfli kombinasyonların olasılıkları) bir alfabenin entropisidir:

Nerede Benönceki karaktere bağlı bir durumdur ve P Ben (J) - bu olasılık J, şu şartla Benönceki karakterdi.

Yani, "" harfi olmayan Rus dili için.

Gürültülü bir kanalda veri iletimi sırasındaki bilgi kayıpları, kısmi ve genel koşullu entropilerle tamamen tanımlanır. Bu amaçla sözde kanal matrisleri. Bu nedenle, kaynak tarafındaki kayıpları tanımlamak için (yani gönderilen sinyal bilinmektedir), sembolün alıcı tarafından alınmasının koşullu olasılığı dikkate alınır. B J karakterin gönderilmesi şartıyla A Ben. Bu durumda kanal matrisi aşağıdaki forma sahiptir:

Açıkçası, köşegen boyunca yer alan olasılıklar, doğru alım olasılığını tanımlar ve sütunun tüm öğelerinin toplamı, karşılık gelen sembolün alıcı tarafında görünme olasılığını verecektir - P(B J) . İletilen sinyal başına kayıplar A Ben, kısmi koşullu entropi ile tanımlanır:

Tüm sinyallerin iletim kayıplarını hesaplamak için genel koşullu entropi kullanılır:

Kaynak tarafındaki entropi anlamına gelir; alıcı tarafındaki entropi de benzer şekilde dikkate alınır: her yerde belirtilmesi yerine (çizginin elemanlarını toplayarak şunu elde edebilirsiniz: P(A Ben) ve çapraz öğeler, alınan karakterin tam olarak gönderilme olasılığı, yani doğru iletim olasılığı anlamına gelir).

Karşılıklı entropi

Karşılıklı entropi veya birleşim entropisi, birbirine bağlı sistemlerin entropisini (istatistiksel olarak bağımlı mesajların ortak oluşumunun entropisi) hesaplamak için tasarlanmıştır ve gösterilir H(AB) , Nerede A, her zaman olduğu gibi vericiyi karakterize eder ve B- alıcı.

İletilen ve alınan sinyaller arasındaki ilişki, ortak olayların olasılıkları ile tanımlanır. P(A Ben B J) , ve için tam tanım kanal özellikleri için yalnızca bir matris gereklidir:

Daha genel bir durum için, açıklanan bir kanal değil de sadece etkileşimli sistemler olduğunda, matrisin kare olması gerekmez. Açıkçası, sayı içeren sütunun tüm öğelerinin toplamı J verecek P(B J) , satır numarasının toplamı Ben Orada P(A Ben) ve tüm matris elemanlarının toplamı 1'e eşittir. Ortak olasılık P(A Ben B J) olaylar A Ben Ve B J orijinal ve koşullu olasılığın çarpımı olarak hesaplanır,

Koşullu olasılıklar Bayes formülü kullanılarak üretilir. Böylece kaynağın ve alıcının entropilerini hesaplamak için tüm veriler mevcuttur:

Karşılıklı entropi, matrisin tüm olasılıklarının satırlar (veya sütunlar) üzerinden sırayla toplanması ve bunların logaritmasıyla çarpılmasıyla hesaplanır:

Ölçü birimi bit/iki semboldür; bu, karşılıklı entropinin gönderilen ve alınan sembol çifti başına belirsizliği tanımlamasıyla açıklanır. Basit dönüşümlerle şunu da elde ederiz:

Karşılıklı entropinin özelliği vardır bilgi bütünlüğü- ondan söz konusu tüm miktarları alabilirsiniz.

Hikaye

Notlar

Ayrıca bakınız

Bağlantılar

• Claude E. Shannon. Matematiksel İletişim Teorisi
• S. M. Korotaev.

Herhangi bir kontrol ve iletim işlemi sırasında giriş bilgisi çıkış bilgisine dönüştürülür. Genellikle bilgi, bazı bilgiler, semboller, işaretler olarak anlaşılır. İstatistik teorisi: Bilgi kavramı belirsizliğin ortadan kaldırılması olarak nitelendirilir.

Bilgi, depolama, iletim ve alım nesnesi olan bilgi olarak tanımlanır. Bilgi bir sinyal kullanılarak iletilir. Bilgi edinmenin niceliksel değerlendirmesi, mesaj iletiminin zaman içinde rastgele bir stokastik süreç olduğu fikrine dayanmaktadır.

Belirsizlik test yoluyla ortadan kaldırılır; belirsizlik ne kadar yüksek olursa bilginin değeri de o kadar yüksek olur.

Belirsizliğin derecesi miktarın alabileceği değer sayısına ve olayların sonucuna bağlıdır.

Rastgele değişken H(A), bilgi miktarının bir ölçüsü olarak belirlenir:

Nerede -sonucun olasılığı.

Eksi işareti H(A) telafisini temsil eder - bu A deneyiminin entropisidir (formül Claude Chinon tarafından icat edilmiştir).

H(A) ne kadar büyük olursa bilgisizliğin ölçüsü de o kadar büyük olur.

Bir sistem hakkında bilgi birikmesi entropiyi azaltır. Bilgi entropiye belirli bir katkıdır.

Bir x sistemi verilsin.

Eğer
, O

Nerede

Bilginin alınması, sistemin durumunun objektif bir yansımasıdır ve iletim, kontrol, karar vb. için kullanılabilir.

Bilgi, maddi veya enerji kategorisi değildir; asla yaratılmaz, yalnızca iletilir ve alınır, kaybolabilir ve yok olabilir.

Termodinamiğin ikinci yasasına göre, organize yapıların yok olmasına paralel olarak entropi artar ve kaotik bir olasılıksal duruma eğilim gösterir.

Ölçü birimi, eşit olasılıkla kabul edilen bazı rastgele değişkenlerin içerdiği bilgi miktarı olarak alınır. Belirsizlik derecesi birimi, aynı olasılığa ve iki farklı değere sahip iki sonucu olan temel bir olayın entropisi olarak alınır.

-ikili birim veya bit.

x-sistemi bağlı

y sistemi

I(x,y)=H(x)+H(y)-H(x,y), burada

H(x,y) birleşik sistemin entropisidir.

, Nerede,

Sürekli sinyal için.

burada (x), x değerinin olasılık yoğunluğudur. Chinon yaklaşımı anlamsal içeriği dikkate almaz.

33. Ergodik kaynak kavramı. Fazlalık.

Uygulamada, korelasyon bağlantılarının sınırlı sayıda önceki kaynaklara uzandığı ergodik kaynaklar vardır. Ergodik bir kaynakta
hiçbir korelasyon yok, yani.

Ergodik kaynaklar tarafından üretilen mesajların matematiksel temsili Markov zinciri.

Markov zinciri n-düzeni, bazı sonuçların olasılığının testlere bağımlılığı olan bir dizidir.
Bir denemede daha önceki herhangi bir denemede ortaya çıkan sonuçlara bağlıdır, ancak daha önceki sonuçlara bağlı değildir.

Ergodik n dağılımlı bir kaynakta
k=1,2,…,m olduğunda sabit kalmaz, mesajların son n harfinin ne olduğuna bağlıdır.

alfabeden bir harf seçme olasılığı.

Olası durumların sayısı şu şekilde belirlenir:
, burada m alfabedir, n sıradır, M kaynağın olası durumlarının sayısıdır.

Toplam entropiyi belirlemek için şunlar gereklidir:

M=1 ise klasik Chinon formülünü elde ederiz.

Ergodik bir kaynaktaki korelasyon bağlantısına mutlaka olasılık dağılımındaki bir değişiklik, mesaj öğesinin durumdan duruma seçimi eşlik eder, bu da entropide bir azalmaya yol açar; bu, kaynak tarafından iletilen bilginin bir kısmının değiştirilebileceği anlamına gelir. tahmin ediliyor, bu da iletilmesine gerek olmadığı anlamına geliyor, çünkü alıcı tarafta geri yüklenebilir. Kaynağın entropisi ne kadar düşük olursa o kadar fazla bilgi üretir.

R-yedekliği kaynağın verimliliğini gösterir.

R'nin nedeni, operatörün mesajlar arasında seçim yapma olasılığı ve benzersizliğidir.

Entropi ile bilgi arasındaki bağlantı meselesi, aslında "Maxwell'in şeytanı" paradoksunun formüle edilmesinden bu yana uzun süredir tartışılıyor. Bir süreliğine sorun soyut göründü. Ancak şimdi, çok spesifik sorularla ilgili olduğu ortaya çıktığı için alakalı hale geliyor: Bilgi için entropi (ve enerji) ödemesi nedir, bir bilgi hücresinin minimum boyutları nelerdir, vb.

Bu sorular biyolojik özgüllük nedeniyle özellikle akut hale geliyor. Öncelikle canlı doğadaki bilgi sistemleri küçük (mikroskobik) boyuttadır. İkinci olarak, ne zaman çalışırlar? normal sıcaklık yani termal dalgalanmaların göz ardı edilemeyeceği koşullar altında. Üçüncüsü, biyolojide bilginin ezberlenmesi ve saklanması özellikle önemlidir. Teknolojide bilgi aktarımı sorunlarının daha alakalı olduğunu unutmayın; İletim optimizasyonu örneğini kullanarak bilgi teorisinin temel ilkeleri geliştirildi. Bilginin alınması ve saklanması konularına daha az dikkat edildi. Biyolojide ise tam tersine bu konular çok önemli hale gelir.

"Bilgi" kavramının kesin bir tanımını yapma iddiasına girmeden, onun iki gerekli özelliğini vurguluyoruz: 1) bilgi, birçok olası seçenek arasından bir (veya daha fazla) seçeneğin seçilmesini içerir, 2) yapılan seçimin hatırlanması gerekir. Şunu vurgulayalım: İkinci koşul olan bilginin ezberlenmesi çok önemlidir. Kastler [P26] buna ilk kez 1960 yılında dikkat çekmiştir. Bilgi aktarımı süreçlerinde “unutulmazlık”, bilginin alınması, işlenmesi ve depolanmasına göre daha az rol oynar. Gerçekten de, gönderen sistem bilgiyi yalnızca prensipte kısa olabilen iletim süresi boyunca hatırlamakla yükümlüdür. Biyolojide ezberlemenin koşulu uzun vadeli tam tersine önemli bir rol oynar.

Bilgi miktarı miktardır

tam sayı nerede olası seçenekler, seçilen seçeneklerin sayısı. Herhangi bir nedenle ön seçeneklerden birinin gerçekleştiği biliniyorsa (ancak hangisinin bilinmediği) bilgi miktarı sıfırdan farklıdır. Bu miktar maksimumdur, yani belirli bir seçeneğin uygulandığı (seçildiği) biliniyorsa. Eğer değer

Hiçbir şey bilinmiyor. Logaritma tabanı (yani ikili) kolaylık sağlamak için seçilir; Bu sistemdeki bilgi birimi bir bittir; iki olası seçenekten birinin seçilmesine karşılık gelir.

İfade (12.8), a priori N seçeneğin olasılıklarla gerçekleştirilebildiği ve a posteriori olasılıklarla gerçekleştirildiği duruma kolaylıkla genelleştirilebilir.

Posterior seçeneklerin seçimi veya uygulanması iki kişi tarafından gerçekleştirilebilir. Farklı yollar; veya bir eylemin sonucu olarak dış güçler- bu durumda, başka bir (üçüncü taraf) sistemden veya sistemin kendisinin dengesiz davranışının bir sonucu olarak kendiliğinden bilgi alımından bahsederler - bu durumda, yeni bilgilerin doğuşu (ortaya çıkışı) gerçekleşir .

Bir bilgi sistemi şunları yapabilmelidir: a) bilgi alabilmeli, b) bilgiyi depolayabilmeli veya aynı şekilde hatırlayabilmeli, c) söz konusu sistemle ilgili olarak başka bir alıcı sistemle etkileşimde bulunurken bilgi sağlayabilmelidir. Buradan bilgi sisteminin çok istasyonlu olması gerektiği sonucu çıkar.

Kararlı durağan durumların sayısı bilgi kapasitesini, yani sistemin alabileceği maksimum bilgi miktarını belirler:

Sistem dağıtıcı olmalıdır. Bu, durağan durumların tüm karakteristik sayılarının gerçek kısımlarının negatif olduğu anlamına gelir; bu gerekli bir durum bilgiyi hatırlamak. Böyle bir sistemin örneği Çin bilardodur. Kenarları, delikleri ve pimleri olan bir tahta üzerinde bir toptur. Topun belirli bir deliğe ait olması sistemin durumu hakkında bilgidir.

Mikroskobik (moleküler) düzeyde bilgi sistemi tasarımı sorunu önemsiz hale gelir. İlk olarak, çok durağan bir sistemde, faz yörüngelerinin her biri, faz uzayının yalnızca belirli bir kısmında (belirli bir durumun çekim bölgesinde) bulunur. Yörüngelerin her biri için faz hacminin tamamı mevcut değildir. Bu, bilgi sisteminin tamamen geometrik ve termodinamik olarak dengede olmadığı anlamına gelir. Değerlerini uzun süre koruyan ve olası tüm dereceleri geçmeyen seçilmiş serbestlik dereceleri olmalıdır.

Bunu Çin bilardo örneğini kullanarak açıklayalım. Burada seçilen serbestlik dereceleri topun koordinatlarıdır. x ve y'deki değişim kuyucukların kenarlarıyla sınırlıdır; top dışarıdan müdahale olmaksızın başka bir deliğe hareket edemez. burada

Hem topun hem de tahtanın atomlarının titreşimleriyle ilişkili diğer serbestlik dereceleri ergodik olabilir (ve ayrıca olmalıdır).

İkinci olarak, gördüğümüz gibi enerji tüketebilme durumu, mikroskobik hareketlerin istikrarsızlığı (ve dolayısıyla kaotikliği) ile ilişkilidir. Bu, karşılık gelen serbestlik derecelerinin ergodik olması gerektiği anlamına gelir. Bu nedenle, bilgi sisteminin faz uzayının ergodik ve dinamik alt sistemlere ayrılması gerekir. Ancak böyle bir ayırma kesinlikle katı bir şekilde yapılamaz; farklı serbestlik dereceleri her zaman birbiriyle ilişkilidir. Bu, dinamik (bilgi) serbestlik derecelerinin dalgalanması ve ergodik alt sistemin (yani termal dalgalanmaların) etkisi altında bazı radikal değişim olasılıklarının (örneğin, topu başka bir deliğe atmak) olması gerçeğinde kendini gösterir.

Makroskobik bilgi sistemlerinde bu olasılık ihmal edilebilir düzeydedir, ancak mikroskobik sistemlerde dikkate alınması gerekir. Bu nedenle, çok durağanlık ve enerji tüketenlik koşulları aynı anda mutlak ve katı bir şekilde yerine getirilemez; bunlar isteğe bağlıdır. Bu, “ezberleme” koşulunun mutlak olamayacağı anlamına gelir; ancak belirli bir olasılıkla (sonsuz büyük değil) belirli bir süre boyunca ezberlemeden söz edebiliriz. Başka bir deyişle bir bilgi sistemi sonsuza kadar hatırlayamaz. Gerçek bilgi sistemlerinde karakteristik depolama süresi tasarımına, sıcaklığına ve serbest enerjiye bağlıdır.

Yukarıdakilerin ışığında entropi ile bilgi arasındaki bağlantı sorununun önemsiz olmadığı ortaya çıkıyor. Fiziksel entropi, sistemin serbestlik derecesi sayısı ve minimum (kuantum) hücresinin boyutunun olduğu birimler halinde ölçülen, sistemin kullanabileceği faz hacminin logaritmasıdır (bu kavramın kurallarını dikkate alarak - yukarıya bakınız). faz boşluğu. Resmi olarak entropi şu şekilde temsil edilebilir:

Miktar, bit cinsinden ölçülen entropidir; faz alanı hücrelerinin sayısı. Diğer tarafta, bilgi kapasitesişeklinde yazılabilir

bir bilgi hücresinin faz uzayının boyutu nerede. Formül (12.11) ve (12.12)'nin karşılaştırılması, entropi ve bilginin hem katsayı hem de hücre boyutu açısından farklı olduğunu gösterir.

(12.11) ve (12.12)'nin formdaki örtüşmesi, bilgi ve entropi kavramlarının özdeşliği hakkındaki ifadenin temelini oluşturdu. Daha doğrusu entropinin sistemin durumuna ilişkin eksik bilgi olduğu ve/veya bilginin eksik entropi yani maksimum entropi arasındaki fark olduğu belirtilmektedir.

bilgi içermeyen bir sisteme ve alınan bilgiye sahip olan sistemin sahip olduğu gerçek entropiye sahip olacaktır. Bu bağlamda bilgiyle özdeş kabul edilen neentropi terimi kullanılmaktadır.

Ancak çoğu kişi bu ifadelerden memnun değil ve bilgi ile entropi arasındaki bağlantı konusu tartışmalı olmaya devam ediyor.

Konuyu daha detaylı tartışalım.

Her şeyden önce sistemin içerdiği bilgi ile entropisi arasındaki büyük niceliksel fark dikkat çekicidir.

Blumenfeld (bkz. [P61) bir dizi biyolojik örnek (hücreler, organizmalar, vb.) kullanarak, bir nesnenin içerdiği entropinin, içinde mevcut olan bilgiden birçok kez (birkaç kat) daha fazla olduğunu gösterdi. Modern cansız bilgi sistemlerinde fark daha da büyüktür (örneğin, basılı metinde entropi, bilgiyi yaklaşık 1010 kat aşmaktadır).

Bu kadar büyük bir niceliksel fark tesadüfi değildir. Bunun nedeni, bilgi hücresinin faz alanı hacminin değeriyle karşılaştırıldığında büyük olmasıdır. İkincisi, bilgi hücresinin ergodik bir alt sistem içermesi ve bu nedenle büyük bir yer kaplaması (karşılaştırıldığında) gerçeğinden kaynaklanmaktadır. temel hücre) hacmi.

Dolayısıyla entropi ve bilgi ölçeklerindeki farklılık rastlantısal değildir; temel farklılıklarla ilişkilidir. Entropi, bir sistemin içinde olmayı unutması gereken durumların bir ölçüsüdür; Bilgi, sistemin içinde olmayı hatırlaması gereken durum kümesinin bir ölçüsüdür.

Çin bilardo örneğini kullanarak entropi ve bilgideki değişikliklerin nasıl ilişkili olduğunu görelim. Dikkatimizi sistemin ömrüyle sınırlayalım. Gerçek şu ki, dengesiz olan herhangi bir bilgi sistemi, yapısal serbestlik derecelerine göre gevşer ve çöker, yani bilgilendirici olmaktan çıkar.

Yapısal gevşeme süresi ezberleme süresinden daha büyüktür (veya eşittir). Örneğimizde delikler arasındaki bariyerlerin kendiliğinden yok olmasından bahsediyoruz; Bu sürecin karakteristik süresi oldukça uzundur. Bu süre zarfında yapısal serbestlik dereceleri değişmez ve dolayısıyla entropiye katkıda bulunmaz. (Faz uzayının bu serbestlik dereceleriyle ilişkili kısmına şu anda erişilemez.) Bu durumda entropi yalnızca hızla gevşeyen serbestlik dereceleriyle ilişkilidir. Davranışları, topun hangi delikte olduğuna ve herhangi bir deliğe mi yerleştirildiğine veya yakınlarda mı olduğuna bağlı değildir. Sistemin fiziksel entropisi her durumda aynıdır, ancak bilgi miktarı farklıdır: Top bir deliğe yerleştirilmemişse sıfıra, belirli bir deliğe yerleştirilmişse eşittir.

Bilgi alma süreci (bizim durumumuzda, topu belirli bir deliğe yerleştirmek), ısıya dönüşen iş harcamasını gerektirir (aksi takdirde alım geri döndürülemez olacaktır). Sonuç olarak, alım üzerine sistemin fiziksel entropisi artar (miktarda ve aynı zamanda

bilgi artar (Genellikle miktar kadar, ancak aksi takdirde hiçbir şekilde bağlantılı olmazlar. Dolayısıyla bilgi alırken oran gözlenmez.

Yeni bilgiler ortaya çıktığında durum biraz daha karmaşıktır. Bilgi üretebilen bir sistem, bir bilgi sisteminin tüm özelliklerine sahip olmalı ve ayrıca şu koşulu da karşılamalıdır: faz uzayının belirli bir katmanı, seçilmiş (bilgisel) serbestlik dereceleri de dahil olmak üzere küresel olmalıdır. Bu durumda bilginin kendiliğinden ortaya çıkması için başlangıç ​​\u200b\u200bkoşulları ayarlanır.

Bir örnek, iğneli aynı Çin bilardodur. İlk başta topun kinetik enerjisi yeterince yüksekse (delikler arasında daha fazla bariyer varsa), o zaman top deliklere takılmadan tüm tahta boyunca hareket eder. Saç tokalarından gelen yansımanın dengesizliği nedeniyle (Sina bilardosunda içbükey yüzeylerin rolünü oynarlar, Şekil 12.2), topun hareketi stokastiktir ve başlangıç ​​​​koşulları hızla unutulur. Kinetik enerjide bir azalma ile (sistemin dağılmasından dolayı, bu durumda sürtünme ve çarpışmalar nedeniyle) bariyerin yüksekliği mertebesinde bir değere kadar top deliklerden birinin çekim alanına girer ve orada kalır. Böylece seçilen durum bilginin doğuşu olan “hatırlanır”. Aynı prensip rulet ve diğer oyun makinelerinde de kullanılmaktadır.

Tüm bu durumlarda, başlangıç ​​koşullarının ergodik katmanını bilgi katmanından ayırma kriteri, başlangıçtaki serbest enerjinin değeridir (bilardoda bu, topun kinetik enerjisidir). Bilgi üretme sürecinde sistemin entropisindeki artışı da belirler. Değeri tahmin edelim. Sistemin bilgi kapasitesi küçükse: o zaman aşağıdan gelen ana sınırlama, kuyular arasındaki bariyerin nerede olduğu durumudur. Engeller orana göre “ezberleme” süresini belirler

Yeterince büyük (makroskopik) bir c değerinde, bariyer

Dolayısıyla bu durumda bilgi biti başına entropi artışı şuna eşittir:

veya bilgi birimlerinde:

Bilgi kapasitesinin büyük olması durumunda (yani başka bir koşulun dikkate alınması gerekir: belirli bir durum "seçilmeden" önce sistem, olası durumların her birinin etki alanını en az bir kez ziyaret etmelidir.

Her bir durumun geçişi sırasında enerjinin dağılmasına izin verin.Minimum değer, termal dalgalanmaların enerjisi düzeyindedir: Bu durumda, aşağıdaki koşulla sınırlıdır.

Bir bit bilgi başına entropideki artış şuna eşittir:

Dolayısıyla bilginin ortaya çıkması durumunda, bunun bedelini entropi artışıyla ödemek gerekir, öyle ki. Ancak bu durumda da “bilgideki artış entropideki azalmaya eşittir” gibi ilişkiler geçerli değildir.

Bilgiyi hatırlama şartını reddetmeniz durumunda ortaya çıkan durumu tartışalım. Bu durumda sistemdeki tüm atomların koordinatlarının ve momentumlarının anlık değerleri hakkında bilgiden bahsedebiliriz. Bu "bilgiyi" gerçek olandan (ezberlenmiş olandan) ayırmak için Laizer, mikro bilgi terimini önerdi; ezberlenen bilgiye makro bilgi denir.

Eğer biliniyorsa şu an sistem, faz uzayının (olası) belirli bir hücresinde bulunur, o zaman mikro bilgi miktarı maksimum ve eşittir

Bu durumda sistemin entropisi sıfırdır çünkü diğer tüm hücreler şu anda "erişilemez" olarak kabul edilebilir.

Sistemin şu anda olası hücrelerden herhangi birinde olduğu biliniyorsa ancak hangisi olduğu bilinmiyorsa, mikro bilgi sıfırdır ve entropi maksimum ve eşittir

Sistemin şu anda hücrelerden birinde (herhangi birinde) olduğu biliniyorsa, o zaman

ve mikro bilgi ile entropi arasında basit bir ilişki vardır:

Mikro bilgi prensip olarak başkasından alınarak makro bilgiye dönüştürülebilir. bilgi sistemi. Örneğin, Brown hareketinin bir modelinin fotoğraflanmasıyla, parçacıkların anlık koordinatları fotoğraf filmi üzerinde yakalanabilir (ezberlenebilir). Bu bilgi daha sonra herhangi bir şey için kullanılabilir (parçacıkların hareketiyle ilgili olmasa bile).

hedefler. Bu durumda, alım sürecinde (mikro bilginin makro bilgiye dönüştürülmesi), iş harcanması ve tüm sistemin entropisinin, depolanan bilgi miktarını açıkça aşan bir miktarda arttırılması önemlidir.

"Maxwell'in şeytanı" paradoksunun altında yatan şey, mikro bilginin makro bilgiye dönüştürülmesi ve yönetim için kullanılması olan bu süreçtir. Çözümü, mikro bilginin alınması ve kontrol için kullanılması sürecine tüm sistemin entropisinde bir artışın/bilgiyi aşmanın eşlik etmesidir.

Mikro ve makro bilgi arasındaki bu kadar önemli bir farkla bağlantılı olarak iki entropi kavramı da kullanılmaktadır. Fiziksel entropinin yanı sıra, şu şekilde tanımlanan bilgi entropisi kullanılır:

sistemin bunlardan birinde olduğu bilinen durağan kararlı makrodurumların sayısı nerede (ancak hangisi olduğu bilinmiyor).

Tanıma göre bilgi entropisi bilgiyle şu ilişkiyle ilişkilidir:

Bilginin artması (korunurken her zaman bilgi entropisinde eşit bir azalma eşlik eder. Bilgi entropisi terimi, bilginin ortaya çıkışından ve bir sistemin düzenlenmesinden bahsederken kullanılması uygundur. Bu anlamda kullanılır) Bölüm 2'de. Genel anlamda bu miktarın fiziksel entropi ile ilişkili olmadığını vurguluyoruz.

Dolayısıyla, fiziksel entropi ile bilgi arasındaki farkın (hem niteliksel hem de niceliksel olarak) temeli, depolama koşulu ve bunun sonucunda bilgi hücresinin temel hücreye kıyasla büyük hacimli faz uzayıdır.

“Rezervin” büyüklüğünü tahmin etmek ilgi çekicidir. içinde yap Genel görünüm Artık zor. Bununla birlikte, bunun canlı doğada gerçekleştiği düşünülebilir. optimum boyut(yani minimum düzeyde ancak gereksinimleri karşılayan). Gerçek veriler kullanılarak değerlendirilebilir.

Bir DNA molekülünde iki bitlik bilgi içeren birim, bir çift tamamlayıcı nükleotiddir. Yaklaşık atom içerir. Titreşimsel serbestlik dereceleriyle ilişkili entropi bir bittir veya bilgi biti başına entropi yaklaşık 60 bittir. Dolayısıyla bit başına faz uzayının hacmi şuna eşittir:

Konsept Entropi İlk kez 1865 yılında R. Clausius tarafından termodinamikte geri dönüşü olmayan enerji dağılımının ölçüsünü belirlemek için tanıtıldı. Entropi, bilgi teorisi de dahil olmak üzere çeşitli bilim dallarında, farklı sonuçlara sahip olabilecek herhangi bir deneyimin, testin belirsizliğinin bir ölçüsü olarak kullanılır. Entropinin bu tanımlarının derin bir iç bağlantısı vardır. Böylece, bilgi hakkındaki fikirlere dayanarak istatistiksel fiziğin en önemli hükümlerinin tümü çıkarılabilir. [S OL. Fizik. M: Büyük Rus Ansiklopedisi, 1998].

Bu miktara aynı zamanda denir ortalama entropi mesajlar. Shannon'ın formülündeki entropi, ortalama karakteristiktir; bir rastgele değişkenin dağılımının matematiksel beklentisidir.
Örneğin, Rusça'da bir cümleyi oluşturan harf dizisinde, farklı harfler farklı sıklıkta görünür, bu nedenle bazı harflerin oluşum belirsizliği diğerlerine göre daha azdır.
1948'de Claude Shannon, gürültülü bir iletişim kanalı aracılığıyla bilginin rasyonel aktarımı sorununu araştırırken devrim niteliğinde bir öneride bulundu. olasılıksal yaklaşım iletişimi anlamaya yönelik ilk, gerçek matematiksel entropi teorisini yarattı. Onun sansasyonel fikirleri kısa sürede olasılık kavramını kullanan bilgi teorisinin geliştirilmesine temel oluşturdu. Rastgeleliğin bir ölçüsü olarak entropi kavramı, Shannon tarafından 1948'de Bell System Teknik Dergisi'nde iki bölüm halinde yayınlanan "A Mathematical Theory of Communication" makalesinde tanıtıldı.

Eşit olasılıklı olaylar durumunda ( özel durum), tüm seçenekler eşit derecede olası olduğunda, bağımlılık yalnızca dikkate alınan seçeneklerin sayısına bağlı kalır ve Shannon'ın formülü önemli ölçüde basitleştirilir ve ilk kez Amerikalı bir mühendis tarafından önerilen Hartley formülüyle örtüşür. Ralph Hartley 1928'de mesajları değerlendirmeye yönelik bilimsel yaklaşımlardan biri olarak:

Görev 1. Eşit olasılıklı olaylar için.
Destede 36 adet kart bulunmaktadır. Desteden “as” portresine sahip bir kartın alındığına dair mesajda ne kadar bilgi yer alıyor; "Maça ası" mı?

Olasılık p1 = 4/36 = 1/9 ve p2 = 1/36. Hartley formülünü kullanarak şunu elde ederiz:

Cevap: 3.17; 5.17bit
(İkinci sonuçtan) tüm kartları kodlamak için 6 bitin gerekli olduğunu unutmayın.
Ayrıca bir olayın gerçekleşme olasılığı ne kadar düşükse, o kadar fazla bilgi içerdiği de sonuçlardan açıkça anlaşılmaktadır. ( Bu mülk isminde monotonluk)

Görev 2. Eşit olmayan olasılıklı olaylar için
Destede 36 adet kart bulunmaktadır. Bunlardan 12 tanesi “portreli” kartlardır. Kartlardan birer birer desteden alınır ve bir portreyi tasvir edip etmediğinin belirlenmesi için gösterilir. Kart desteye iade edilir. Bir kart her gösterildiğinde iletilen bilgi miktarını belirleyin.

1) Tıp çalışmalarına sistematik yaklaşım. Bir sistem kavramı. Sistemin özellikleri. Tıbbi sistem örnekleri.

Nesnelerin sistem olarak incelenmesine dayanan, özel bilimsel bilgi ve sosyal uygulama metodolojisinde bir yön olan sistem yaklaşımı.

Sistem- birbirleriyle ilişki ve bağlantı içinde olan, belirli bir bütünlük, birlik oluşturan bir dizi unsur.

Tüm sistemlerde ortak olan özellikler:

Bütünlük- Sistem, bütünlüğü olan ve sınırları içinde tanımlanan soyut bir varlıktır. Sistemin bütünlüğü, bazı temel yönlerden, elemanların bağlantılarının "gücü" veya "değeri" anlamına gelir. sistem içinde sistem elemanları ve elemanları arasındaki bağlantıların gücünden veya değerinden daha yüksek harici sistemler veya çevre.

Sinerji, ortaya çıkış, bütünlük, sistem etkisi- sistem elemanlarının doğasında olmayan özelliklerin sistemdeki görünümü; Bir sistemin özelliklerinin, onu oluşturan bileşenlerin özelliklerinin toplamına temel indirgenemezliği. Sistemin yetenekleri, onu oluşturan parçaların yeteneklerinin toplamını aşıyor; Bir sistemin genel performansı veya işlevselliği, elemanlarının basit toplamından daha iyidir.

Hiyerarşi- Sistemin her bir unsuru bir sistem olarak düşünülebilir; sistemin kendisi de bir tür üst sistemin (süper sistem) bir unsuru olarak düşünülebilir.

Uzman sistemler, bir üretim kuralları sistemi (mantıksal çıkarım kuralları) kullanılarak tıbbi bilginin yapısının ve içeriğinin mantıksal bir açıklamasıdır.

Belirli bir alanda, kullanıcınınkini aşan bir bilgi düzeyinde istişareler; - bilgisayar teknolojilerinin uygulanması " yapay zeka"; - sistemler şeklinde bir bilgi tabanının oluşturulması buluşsal kurallar; - Karar alma sürecindeki gerekçenin açıklanması.

Tıbbi bilgi sistemleri (MIS). Bu sistemler amaçlarına göre üç gruba ayrılır: 1) Asıl işlevi veri ve bilgi birikimi olan sistemler

2) teşhis ve danışmanlık sistemleri

3) tıbbi bakım sağlayan sistemler

Tıbbi bilgi sistemi (MIS) - tıbbi süreçleri ve/veya organizasyonları otomatikleştirmek için tasarlanmış bir dizi bilgi, organizasyonel, yazılım ve teknik araç

Tıbbi bilgi sistemlerinin amaçları

Veri toplama

Veri kaydı ve dokümantasyon

Bilgi alışverişinin sağlanması

Hastalığın seyrinin izlenmesi (tıbbi kontrol)

Teşhis ve tedavi sürecine yönelik teknolojinin uygulanmasının izlenmesi (teknolojik kontrol)

Bilgilerin saklanması ve geri alınması (arşivleme)

Veri analizi

Karar desteği

Eğitim

2. Tıbbi sistem kontrol sistemi. Kontrol sistemlerinde geri besleme ilkesi. Bilgisayar bilimi yöntem ve araçlarının tıbbi yönetim sistemindeki yeri.

Kontrol teorisi- çeşitli sistemleri, süreçleri ve nesneleri yönetme ilkeleri ve yöntemleri bilimi. Kontrol teorisinin temelleri sibernetik (makineler, canlı organizmalar veya toplum gibi çeşitli sistemlerde kontrol süreçleri ve bilgi aktarımının genel yasalarının bilimi) ve bilgi teorisidir.

Yönetim süreci birkaç aşamaya ayrılabilir:

1. Bilgilerin toplanması ve işlenmesi.

2. Analiz, sistemleştirme, sentez.

3. Bu temelde hedefler belirlemek. Yönetim yöntemi seçimi, tahmin.

4. Seçilen yönetim yönteminin uygulanması.

5. Seçilen yönetim yönteminin (geribildirim) etkinliğinin değerlendirilmesi.

Kontrol teorisinin nihai amacı evrenselleştirme ve dolayısıyla sistemlerin işleyişinde tutarlılık, optimizasyon ve en yüksek verimliliktir.

Yönetim teorisi tarafından dikkate alınan yönetim yöntemleri teknik sistemler ve diğer nesneler üç temel prensibe dayanmaktadır:

1. Açık döngü (yazılım) kontrolü ilkesi,

2. Tazminat ilkesi (rahatsızlık kontrolü)

3. Geri bildirim ilkesi.

Yönetim iki türe ayrılabilir:

doğal: Etki, konuların etkileşimi sonucunda ortaya çıkar (sinerjik yönetim);

bilinçli: nesnenin sistematik etkisi (hiyerarşik kontrol).

Hiyerarşik kontrolde sistemin işleyişinin hedefi üst sistem tarafından belirlenir.

Tıbbi sibernetik, fikirlerin, yöntemlerin ve teknik araçlar Tıp ve sağlık hizmetlerinde sibernetik.

Geleneksel olarak tıbbi sibernetik aşağıdaki gruplarla temsil edilebilir:

Hastalıkların bilgisayarlı tanısı

Bu bölüm, biyolojik bir nesneden gelen bilgilerin tanı koymak amacıyla işlenmesinde bilgisayar teknolojisinin kullanılmasıyla ilgilidir. İlk adım, hastanın sağlık durumunu resmi olarak tanımlayan yöntemler geliştirmek, tanıda kullanılan klinik parametreleri ve işaretleri açıklığa kavuşturmak için kapsamlı bir analiz yapmaktır. Burada en önemli özellikler niceliksel değerlendirmeler taşıyan özelliklerdir. Hastanın fizyolojik, biyokimyasal ve diğer özelliklerinin niceliksel ifadesine ek olarak, hesaplamalı teşhis, klinik sendromların sıklığı (önsel verilerden) ve bunların sınıflandırılmasına ilişkin teşhis işaretleri, teşhis etkinliğinin değerlendirilmesi vb. hakkında bilgi gerektirir.

Otomatik kontrol sistemleri ve bunları sağlık hizmetlerini organize etmek için kullanma imkanı ve ben.

Buradaki amaç endüstriyel otomatik sistemler (OSAU) oluşturmaktır. Bu tür sistemler sağlık gibi önemli bir sektör için yaratılmıştır. OSAU'nun sağlık hizmetlerindeki özelliği, hem bir kontrol ünitesini hem de diğer unsurları içermesi gerektiğidir: önleme, tedavi (teşhisle birlikte), tıp bilimi, personel ve maddi destek. OSAU “Sağlık Hizmetleri”nin temel görevleri arasında tıbbi faaliyetin ana alanlarında istatistiksel bilgilerin toplanması ve analiz edilmesi süreçlerinin otomasyonu ve bazı yönetim süreçlerinin optimizasyonu yer almaktadır.

3. Bilgi entropisi kavramı.

Entropi (bilgi) - bilgi kaosunun bir ölçüsü, birincil alfabenin herhangi bir sembolünün görünümünün belirsizliği. Bilgi kaybının olmaması durumunda, iletilen mesajın sembolü başına düşen bilgi miktarına sayısal olarak eşittir.

Öyleyse, örneğin Rusça'da bir cümleyi oluşturan bir karakter dizisini ele alalım. Her karakter farklı bir sıklıkta ortaya çıkar, dolayısıyla bazı karakterlerin ortaya çıkma belirsizliği diğerlerinden daha fazladır. Bazı sembol kombinasyonlarının çok nadir olduğunu dikkate alırsak belirsizlik daha da azalır.

Bilgi ve entropi kavramlarının birbirleriyle derin bağlantıları vardır, ancak buna rağmen istatistiksel mekanik ve bilgi teorisindeki teorilerin birbirleriyle tutarlı hale gelmesi uzun yıllar almıştır.

Entropi kavramının tanıtılması bir olasılık ölçüsünün kullanımına dayanmaktadır. çeşitli deneyimler. Bilgi entropisi formülünü elde etmek için aşağıdaki tekniği kullanabilirsiniz. Her biri M durumlarından birini (M = alfabedeki harf sayısı) alan N olay dizisi (örneğin, N harften oluşan bir metin) olsun. Daha sonra . Yeterince uzun bir olaylar zinciri için bu durumun ortaya çıkma olasılığını i=1, ¼ , M olarak buluyoruz. M harfli alfabenin N harflerinden oluşan farklı dizilerin toplam sayısı . Resmi olarak, R dizilerinin her birinin ortaya çıkması eşit derecede olasıdır, bu nedenle böyle bir olaylar zincirindeki bilgi miktarını belirlemek için eşit derecede olası sonuçlar için Hartley formülünü kullanırız (1). Bizim durumumuz için, tüm N'ler ve tüm N'ler yeterince büyüktür, çünkü ancak o zaman tüm pi'ler olasılık olarak anlamlı olur. Bu nedenle Stirling dönüşümünü istatistiksel fizikte yapıldığına benzer şekilde uyguluyoruz. Belirtilen tüm öncülleri kullanarak ve logaritmayı (1) doğal bir tabana indirgeyerek Shannon formülünü elde ederiz. ¾ M olası durumun her biri için bilgi entropisi.

Gelecekte entropi kavramı, çeşitli deneylerin belirsizliğini (ve dolayısıyla bilgi yükünü) hesaplama problemlerini çözmek için uygulanabilir. Alınan bilgi deneyimin belirsizliğini tamamen ortadan kaldırıyorsa, miktarı verilen deneyimin entropisine eşit kabul edilir. Bu nedenle entropi kavramının kullanılması çeşitli tahminlerin değerinin belirlenmesine hizmet edebilir. Ve daha da ilginç ve yararlı olanı, gerçek kodun verimliliğini değerlendirmek için bir kriter oluşturmak ve ekonomik kodlar geliştirmek için bir araç olarak entropi kavramının (pratik açıdan) kullanılmasıdır.

5. Temel bilgi süreçlerinin temel kavramları: depolama, iletim, bilgi işleme.

Bilgi süreci – alma, oluşturma, toplama süreci, işleme birikimler, depolamak, aramak, transferler ve bilginin kullanımı.

Hangisi bilgi faaliyetleri insanlar meşgul değildi, her şey üç sürecin uygulanmasına bağlıydı: bilginin depolanması, iletilmesi ve işlenmesi. Bu işlemlere temel denir.

Depolamak

Bilgi depolama, bilginin içeriği olarak anlaşılmalıdır. harici bellek bilgisayar.

Bilgi depolama, bilgi depolama ortamı, dahili bellek, harici bellek ve bilgi depolama gibi kavramlarla ilişkilidir. Bilgi taşıyıcısı fiziki çevre bilgileri doğrudan depolayan. Bir kişinin ana bilgi taşıyıcısı kendi biyolojik hafızasıdır (insan beyni). Dahili hafıza olarak adlandırılabilir. Diğer tüm bilgi taşıyıcı türleri harici olarak adlandırılabilir (bir kişiye göre).

Bilgi ambarı, uzun süreli depolama ve sürekli kullanım amaçlı, harici ortamda belirli bir şekilde düzenlenen bir veri koleksiyonudur. Depolama tesislerine örnek olarak belge arşivleri, kütüphaneler, referans kitapları ve kart dizinleri verilebilir. Deponun ana bilgi birimi belirli bir fiziksel belgedir - bir anket, kitap, dosya, dosya, rapor vb. Deponun organizasyonu belirli bir yapının varlığı anlamına gelir, yani. saklanan belgelerin düzeni ve sınıflandırılması. Bu tür bir organizasyon, deponun bakımının kolaylığı için gereklidir: onu yeni belgelerle doldurmak, gereksiz belgeleri silmek, bilgi aramak vb.

Bir bilgi deposunun ana özellikleri, depolanan bilgilerin hacmi, depolama güvenilirliği, erişim süresi ve bilgi korumasının kullanılabilirliğidir.

Bilgisayar bellek aygıtlarında depolanan bilgilere genel olarak denir. veri. Bilgisayarın harici bellek aygıtlarındaki düzenli veri depolamaya genellikle veritabanları denir.

Modern bilgisayarlarda harici belleğin ana depolama ortamı manyetik ve optik disklerdir.

Veri depolama birimleri. Verileri saklarken iki sorun çözülür: Verilerin en kompakt biçimde nasıl saklanacağı ve ona rahat ve hızlı erişimin nasıl sağlanacağı. Erişimin sağlanması için verilerin düzenli bir yapıya sahip olması ve aynı zamanda adres verilerinin ek olarak kaydedilmesine ihtiyaç vardır. Bunlar olmadan yapıda yer alan gerekli veri elemanlarına erişim mümkün değildir.

Adres verilerinin de bir boyutu olduğundan ve saklanması gerektiğinden, verilerin bayt gibi küçük birimler halinde saklanması sakıncalıdır. Ayrıca, bir depolama biriminin eksik doldurulması depolama verimsizliğine yol açtığından, daha büyük birimlerde (kilobayt, megabayt vb.) depolanmaları da sakıncalıdır.

Veri depolama birimi, dosya adı verilen değişken uzunluktaki bir nesnedir. Bir dosya, kendine ait benzersiz bir ada sahip, rastgele sayıda bayttan oluşan bir dizidir. Genellikle ayrı dosya Aynı türe ait verileri depolar. Bu durumda veri türü dosya türünü belirler.

Yayın

Bilginin taşınması süreci, OSI modeli olarak bilinen yedi katmanlı bir referans modeli çerçevesinde ele alınmaktadır. Sistemi aç Ara bağlantı-iletişim açık sistemler). Gerekli standardizasyon düzeyini sağlayan çeşitli düzeylerdeki protokollere çok dikkat edilir:

1. Alt seviye (kanal ve fiziksel OSI seviyeleriörneğin NDIS, ODI)

2. Orta katman (oturum ve datagram protokolleri gibi ağ, aktarım ve OSI oturum katmanları)

3. Üst seviye (sunum seviyesi ve uygulama katmanı OSI)

Fiziksel katman, fiziksel kontrolü uygular ve üzerinden bilginin iletildiği telefon devresi gibi fiziksel devreyi ifade eder. Bu seviyede OSI modeli, iletişim devrelerinin fiziksel, elektriksel, işlevsel ve prosedürel özelliklerini ve aynı zamanda iletişim devrelerinin gerekliliklerini tanımlar. ağ bağdaştırıcıları ve modemler.

Veri bağlantısı düzeyi. Bu seviyede, ağ bağlantısı (kanal) kontrol edilir ve fiziksel bağlantı boyunca bilgi bloklarının (bit kümeleri) aktarımı uygulanır. Bir bloğun başlangıcını ve sonunu belirlemek, iletim hatalarını tespit etmek, mesajları adreslemek vb. gibi kontrol prosedürlerini gerçekleştirir.

Ağ katmanı, fiziksel olarak var olması gerekmeyen sanal (hayali) bir devreyi ifade eder. Bu seviyedeki yazılım araçları, ağdaki paketlerin iletilmesine ilişkin rotanın belirlenmesini sağlar. Adres bilgilerinin analizine dayanarak en uygun rotayı arayan yönlendiriciler, OSI modelinin köprü adı verilen ağ katmanında çalışır.

Taşıma katmanı. Taşıma katmanında mesaj paketlerinin sırası ve kimlikleri kontrol edilir. Böylece bilgisayarlar arasındaki alışveriş sürecinde, telefon değiştirmeye benzer şekilde sanal bir bağlantı korunur.

Oturum düzeyi. Açık bu seviye oturumun kurulması, mesaj paketlerinin iletiminin ve alımının yönetilmesi ve oturumun sonlandırılması süreçleri koordine edilmiş ve standartlaştırılmıştır. Yazılım Bu düzey, gönderen bilgisayarın dahili formatından, alıcı bilgisayarın dahili formatına, eğer bu formatlar birbirinden farklıysa, veri dönüştürme işlemlerini gerçekleştirir. Formatları dönüştürmenin yanı sıra, bu seviyede iletilen veriler sıkıştırılır ve sıkıştırılmış hali açılır.

Uygulama katmanı, kullanıcıya daha yüksek uygulama ve sistem düzeylerinde destek sağlayan işlevleri ifade eder; örneğin: ortak erişime erişimin düzenlenmesi ağ kaynakları: bilgi, disk belleği, yazılım uygulamaları, harici cihazlar (yazıcılar, aktarıcılar vb.); Genel Müdürlük ağ (yapılandırma yönetimi, erişim kontrolü paylaşılan kaynaklar ağlar, arıza ve başarısızlıklardan sonra kurtarma, performans yönetimi); elektronik mesajların iletimi.

Tedavi

Bilgi işleme, onu pratik kullanıma hazırlamak amacıyla dönüştürmeyi ifade eder. Bazen bilgi işleme, verilerin belirli kurallara göre işletilmesi olarak tanımlanır.

Bilgi işleme sürecinde, ilk verilere dayanarak nihai bilgilerin elde edilmesini içeren bazı bilgi görevleri her zaman çözülür. Başlangıç ​​verisinden sonuca geçiş süreci bilgi işlemedir. İşlemeyi gerçekleştiren kuruluş, işlemi gerçekleştiren kişidir. Sanatçı bir kişi olabileceği gibi bilgisayar dahil özel bir teknik cihaz da olabilir.

Tipik olarak bilgi işleme hedefe yönelik bir süreçtir. Bilgi işlemeyi başarılı bir şekilde gerçekleştirmek için, icracının işleme yöntemini bilmesi gerekir; İstenilen sonucu elde etmek için yapılması gereken eylemlerin sırası. Bilgisayar bilimlerinde bu tür bir eylem dizisinin tanımına genellikle işleme algoritması denir.

Tipik olarak iki tür bilgi işleme durumu vardır.

İlk tür, yeni bilgi içeriğinin elde edilmesiyle ilişkili işlemlerdir. Bu tür işlemler matematik problemlerinin çözülmesini içerir. İşleme yöntemi, ör. sorunu çözme algoritması, sanatçının bildiği matematiksel formüllerle belirlenir. Bu tür bilgi işleme, mantıksal akıl yürütme yoluyla çeşitli sorunların çözülmesini içerir.

İkinci tür, içeriğin değiştirilmediği, ancak formun değiştirilmesiyle ilişkili işlemlerdir. Bu tür bilgi işleme, örneğin metnin bir dilden diğerine çevrilmesini içerir. Biçim değişir ama içerik aynı kalmalıdır. Bilgisayar bilimi için önemli bir işlem türü kodlama. Kodlama, bilginin saklanması, iletilmesi ve işlenmesi için uygun sembolik bir forma dönüştürülmesidir. Kodlama, bilgiyle çalışmanın teknik araçlarında (telgraf, radyo, bilgisayarlar) aktif olarak kullanılmaktadır.

Bilgi işleme veri yapılandırmasını içerir. Yapılanma, bilgi deposuna belirli bir düzenin, belirli bir organizasyonun getirilmesiyle ilişkilidir. Yapılandırma örnekleri arasında verilerin alfabetik sıraya göre düzenlenmesi, belirli sınıflandırma kriterlerine göre gruplandırılması ve tablo şeklinde sunumun kullanılması yer alır.

Bir diğer önemli bilgi işleme türü de aramadır. Arama görevi, mevcut bilgi deposundaki belirli arama koşullarını karşılayan gerekli bilgiyi seçmektir. Arama algoritması bilginin düzenlenme şekline bağlıdır. Bilgi yapılandırılmışsa arama daha hızlı olur ve en uygun algoritma oluşturulabilir.

Dolayısıyla bilginin işlenme amacına bağlı olarak sunuluş şekli veya içeriği değişebilmektedir. Bilgi sunum biçimini değiştirme süreçleri genellikle kodlama ve kod çözme süreçlerine iner ve bilgi toplama ve iletme süreçleriyle eşzamanlı olarak gerçekleşir. Bilginin içeriğini değiştirme süreci sayısal hesaplamalar, düzenleme, sıralama, genelleme, sistemleştirme vb. prosedürleri içerir. Bilgiyi dönüştürme kuralları kesinlikle resmileştirilmişse ve bunların uygulanması için bir algoritma varsa, otomatik bilgi işleme için bir cihaz oluşturmak mümkündür.

Birçok konu alanının özelliği olan bilgi kaynaklarının heterojenliğinden bahsetmeye değer. Bu sorunu çözmenin bir yolu nesne yönelimli yaklaşımşu anda en yaygın olanıdır. Kısaca ana hükümlerini ele alalım. Ayrıştırma temelli nesne yönelimli yaklaşımşu temel kavramların tanımlanmasına dayanmaktadır: nesne, sınıf, örnek.

Bir obje gerçek dünyadaki aynı özelliklere ve davranış yasalarına sahip birçok nesnenin soyutlanmasıdır. Nesne, böyle bir kümenin tipik bir belirsiz öğesini karakterize eder. Bir nesnenin temel özelliği, niteliklerinin (özelliklerinin) bileşimidir.

Öznitellikler- Bu özel nesneler, diğer nesnelerin özelliklerini açıklamak için kurallar belirleyebilirsiniz.

Nesne örneği bir kümenin belirli bir öğesidir. Örneğin, bir nesne bir arabanın plakası olabilir ve bu nesnenin bir örneği belirli bir K 173 PA numarası olabilir.

Sınıf- bu, ortak bir yapı ve davranışla birbirine bağlanan gerçek dünyanın bir dizi nesnesidir. Sınıf öğesi belirli bir kümenin belirli bir öğesidir. Örneğin, bir araba tescil numarası sınıfı.

Bilgi sinyaller halinde iletilir. Sinyal, bilgiyi taşıyan fiziksel bir süreçtir. Sinyal ses, ışık, posta vb. şeklinde olabilir.

Sinyal türlerine (türlerine) göre aşağıdakiler ayırt edilir:

analog

dijital

ayrık

Analog sinyal:

Analog sinyal doğaldır. Kullanılarak düzeltilebilir çeşitli türler sensörler Örneğin çevresel sensörler (basınç, nem) veya mekanik sensörler (ivme, hız)

Dijital sinyal:

Dijital sinyaller yapaydır; yalnızca analog bir elektrik sinyalinin dönüştürülmesiyle elde edilebilirler.

Ayrık sinyal:

Ayrık bir sinyal, aynı dönüştürülmüş analog sinyaldir, ancak seviye olarak mutlaka kuantize edilmesi gerekmez.

Örnekleme- sürekli dönüşüm işlevler V ayrık.

Kullanılan hibrit bilgi işlem sistemleri ve darbe kodlu dijital cihazlar modülasyon veri iletim sistemlerindeki sinyaller . Görüntüleri iletirken sürekli bir görüntüyü dönüştürmek için kullanılırlar. analog sinyal ayrık veya ayrık-sürekli bir sinyale dönüştürülür.

7. Bilgi kodlaması. Alfabe. Kelime. Sözlük. İkili kodlama.

1. Bilgi kodlaması genellikle mesajları anında kullanıma uygun bir formdan iletim, depolama veya otomatik işleme için uygun bir forma dönüştürmek için kullanılır.

Modern bilgi işlem teknolojisinin çalıştığı her türlü bilgi, sayılara dönüştürülür. İkili sistem Hesaplaşma.

Gerçek şu ki, fiziksel cihazlar (kayıtlar, bellek hücreleri) 0 veya 1 ile ilişkili iki durumda olabilir. fiziksel cihazlar, ikili sayı sistemindeki hemen hemen her sayıyı bilgisayarınızın belleğinde saklayabilirsiniz. Tam sayıların, kesirli ve negatif sayıların yanı sıra sembollerin (harfler vb.) bilgisayar kodlaması her tür için kendi özelliklerine sahiptir. Ancak, bilgisayar belleğindeki her türlü bilginin (sayısal, metin, grafik, ses vb.) ikili sayı sisteminde (hemen hemen her zaman) sayılar olarak temsil edildiğini her zaman unutmamalısınız. Genel anlamda bilgi kodlama, birincil alfabede bir mesajla temsil edilen bilginin bir kod dizisine çevrilmesi olarak tanımlanabilir.

Tipik olarak mesajlar belirli bir sembol - işaret dizisi kullanılarak iletilir ve kaydedilir.

Alfabe mesaj yorumlama dili - genellikle doğrudan numaralandırmalarıyla belirtilen, içinde yer alan sınırlı bir işaret kümesi. Alfabedeki karakterlerin son sırasına ne ad verilir? Bir kelimeyle alfabede. Bir kelimedeki karakter sayısı kelimenin uzunluğunu belirler. Birçok farklı geçerli kelime formu kelime bilgisi (sözlük) alfabe. Herhangi bir alfabenin sıralı bir görünümü vardır, karakterler kesin bir sıraya göre sıralanmıştır, böylece sözlük tüm kelimelerin alfabetik olarak sıralanmasını sağlar.

Karakter kodlamada kod uzunluğu 8 bit veya 1 byte olarak seçilmiştir. Bu nedenle, bir metin karakteri bir bayt belleğe karşılık gelir.

8 bitlik kod uzunluğuyla, 0 ve 1'in 28 = 256 farklı kombinasyonu olabilir, yani bir dönüşüm tablosu kullanılarak 256'dan fazla karakter kodlanamaz. 2 byte (16 bit) kod uzunluğu ile 65536 karakter kodlanabilmektedir. Bir karakteri kodlamak için 1 bayta eşit miktarda bilgi kullanılır, yani I = 1 bayt = 8 bit. Olası olay sayısını K ve bilgi miktarını I birbirine bağlayan bir formül kullanarak, kaç farklı karakterin kodlanabileceğini hesaplayabilirsiniz K = 2I = 28 = 256, yani 256 karakter kapasiteli bir alfabenin kullanılabileceğini hesaplayabilirsiniz. metin bilgilerini temsil eder.

Kodlamanın özü, her karaktere 00000000 ila 11111111 arasında bir ikili kod veya 0 ila 255 arasında karşılık gelen bir ondalık kod atanmasıdır. ikili kod farklı semboller eşleştirilir.

9. ​Bilgi miktarı. Bilgi miktarının ve özelliklerinin ölçüsü. Hartley'in formülü.

Bilgi miktarı – değerlendirilen sistemdeki çeşitlilik miktarını (durumlar kümesi, alternatifler vb.) yeterince karakterize eden bir sayı.

Bilgi ölçümü – formül, bilgi miktarını değerlendirme kriteri.

Bilginin ölçüsü genellikle bir dizi olay üzerinde tanımlanan ve toplamsal olan bazı negatif olmayan fonksiyonlarla verilir, yani sonlu bir olay (küme) birliğinin ölçüsü, her bir olayın ölçülerinin toplamına eşittir. Bilgi miktarı, değerlendirilen sistemdeki çeşitlilik miktarını (durumlar, alternatifler vb.) yeterince karakterize eden bir sayıdır.