آنتروپی در نظریه اطلاعات با چه واحدهایی اندازه گیری می شود؟ مقدار اطلاعات و آنتروپی

آنتروپی (نظریه اطلاعات)

آنتروپی (اطلاعاتی)- معیاری از هرج و مرج اطلاعات، عدم قطعیت ظاهر هر نماد از الفبای اولیه. در صورت عدم تلفات اطلاعات، از نظر عددی برابر با مقدار اطلاعات در هر نماد پیام ارسالی است.

به عنوان مثال، در دنباله حروفی که یک جمله را در زبان روسی تشکیل می دهند، حروف مختلف با بسامدهای متفاوت ظاهر می شوند، بنابراین عدم قطعیت وقوع برای برخی از حروف کمتر از برخی دیگر است. اگر در نظر بگیریم که برخی از ترکیبات حروف (در این مورد ما در مورد آنتروپی صحبت می کنیم nمرتبه -ام، ببینید) بسیار نادر هستند، سپس عدم قطعیت بیشتر کاهش می یابد.

برای نشان دادن مفهوم آنتروپی اطلاعات، می توان به مثالی از حوزه آنتروپی ترمودینامیکی به نام دیو ماکسول نیز متوسل شد. مفاهیم اطلاعات و آنتروپی پیوندهای عمیقی با یکدیگر دارند، اما با وجود این، توسعه نظریه‌ها در مکانیک آماری و نظریه اطلاعات سال‌ها طول کشید تا آنها را با یکدیگر سازگار کند.

تعاریف رسمی

آنتروپی اطلاعاتبرای رویدادهای تصادفی مستقل ایکسبا nحالت های ممکن (از 1 تا n) با استفاده از فرمول محاسبه می شود:

این مقدار نیز نامیده می شود میانگین آنتروپی پیام. کمیت نامیده می شود آنتروپی خصوصی، فقط مشخص کردن من-e حالت.

بنابراین، آنتروپی رویداد ایکسمجموع با علامت مخالف همه حاصل از بسامدهای نسبی وقوع رویداد است من، ضرب در لگاریتم های باینری خودشان (پایه 2 فقط برای راحتی کار با اطلاعات ارائه شده به شکل باینری انتخاب شد). این تعریف برای رویدادهای تصادفی گسسته می تواند به یک تابع توزیع احتمال گسترش یابد.

به طور کلی بآنتروپی -اری(جایی که ببرابر با 2، 3، ...) منبع با الفبای اصلی و توزیع احتمال گسسته که در آن پ مناحتمال است آ من (پ من = پ(آ من) ) با فرمول تعیین می شود:

تعریف آنتروپی شانون به مفهوم آنتروپی ترمودینامیکی مربوط می شود. بولتزمن و گیبز این کار را کردند کارت عالی بوددر ترمودینامیک آماری، که به پذیرش کلمه "آنتروپی" در نظریه اطلاعات کمک کرد. بین ترمودینامیکی و آنتروپی اطلاعات ارتباط وجود دارد. به عنوان مثال، دیو ماکسول همچنین آنتروپی ترمودینامیکی را در مقابل اطلاعات قرار می دهد و به دست آوردن هر مقدار اطلاعات برابر است با آنتروپی از دست رفته.

تعریف جایگزین

راه دیگر برای تعریف تابع آنتروپی این است اچگواه آن است اچبه طور منحصر به فرد تعیین می شود (همانطور که قبلاً گفته شد) اگر و فقط اگر اچشرایط را برآورده می کند:

خواص

یادآوری این نکته مهم است که آنتروپی کمیتی است که در چارچوب یک مدل احتمالی برای یک منبع داده تعریف شده است. به عنوان مثال، پرتاب یک سکه دارای آنتروپی - 2 (0.5log 2 0.5) = 1 بیت در هر پرتاب است (با فرض اینکه مستقل باشد). منبعی که رشته ای متشکل از حروف "A" تولید می کند، آنتروپی صفر دارد: . بنابراین، برای مثال، می‌توانیم به‌طور تجربی ثابت کنیم که آنتروپی متن انگلیسی 1.5 بیت در هر کاراکتر است که البته برای هر کاراکتر متفاوت خواهد بود. متون مختلف. درجه آنتروپی یک منبع داده به معنای میانگین تعداد بیت های مورد نیاز در هر عنصر داده برای رمزگذاری آن بدون از دست دادن اطلاعات، با رمزگذاری بهینه است.

1. برخی از بیت های داده ممکن است اطلاعاتی را حمل نکنند. به عنوان مثال، ساختارهای داده اغلب اطلاعات اضافی را ذخیره می کنند، یا بدون توجه به اطلاعات موجود در ساختار داده، بخش های یکسانی دارند.
2. مقدار آنتروپی همیشه به صورت یک عدد صحیح بیت بیان نمی شود.

خواص ریاضی

بهره وری

الفبای اصلی که در عمل با آن مواجه شده است توزیع احتمال، که دور از حد مطلوب است. اگر الفبای اصلی داشت nکاراکترها، سپس می توان آن را با یک "الفبای بهینه" مقایسه کرد که توزیع احتمال آن یکنواخت است. نسبت آنتروپی الفبای اصلی و بهینه شده، کارایی الفبای اصلی است که می توان آن را به صورت درصد بیان کرد.

از این نتیجه می شود که اثربخشی الفبای اصلی با nنمادها را می توان به سادگی برابر با آن تعریف کرد nآنتروپی -اری

آنتروپی حداکثر فشرده سازی بدون تلفات (یا تقریباً بدون تلفات) ممکن را محدود می کند که می تواند با استفاده از مجموعه نظری معمولی یا در عمل کدگذاری هافمن، کدگذاری لمپل-زیو-ولچ یا کدگذاری حسابی محقق شود.

تغییرات و تعمیم

آنتروپی شرطی

اگر دنباله حروف الفبا مستقل نباشد (به عنوان مثال، در زبان فرانسه حرف "q" تقریبا همیشه با "u" دنبال می شود، و کلمه "سرمقاله" در روزنامه های شوروی معمولا با کلمه "تولید" یا "کار" دنبال می شود. ”)، مقدار اطلاعاتی که دنباله این نمادها (و بنابراین آنتروپی) حمل می شود، به وضوح کمتر است. برای در نظر گرفتن چنین حقایقی، از آنتروپی شرطی استفاده می شود.

آنتروپی شرطی مرتبه اول (مشابه مدل مارکوف مرتبه اول) آنتروپی الفبای است که در آن احتمال ظاهر شدن یک حرف پس از دیگری مشخص است (یعنی احتمالات ترکیبات دو حرفی):

جایی که منیک حالت وابسته به کاراکتر قبلی است و پ من (j) - این احتمال است j، به شرطی که منشخصیت قبلی بود

بنابراین، برای زبان روسی بدون حرف "".

تلفات اطلاعات در حین انتقال داده در یک کانال نویز به طور کامل از طریق آنتروپی های مشروط جزئی و کلی توصیف می شود. برای این منظور به اصطلاح ماتریس های کانال. بنابراین برای توصیف تلفات از طرف منبع (یعنی سیگنال ارسالی مشخص است) احتمال مشروط دریافت نماد توسط گیرنده در نظر گرفته می شود. ب jبه شرطی که شخصیت ارسال شده باشد آ من. در این حالت، ماتریس کانال به شکل زیر است:

بدیهی است که احتمالات واقع در امتداد مورب احتمال دریافت صحیح را توصیف می کنند و مجموع تمام عناصر ستون احتمال ظاهر شدن نماد مربوطه را در سمت گیرنده می دهد - پ(ب j) . تلفات در هر سیگنال ارسالی آ من، از طریق آنتروپی شرطی جزئی توصیف می شوند:

برای محاسبه تلفات انتقال همه سیگنال ها، از آنتروپی شرطی کلی استفاده می شود:

این به معنای آنتروپی در سمت منبع است؛ آنتروپی در سمت گیرنده به روشی مشابه در نظر گرفته می شود: به جای هر جایی که نشان داده شده است (با جمع کردن عناصر خط می توانید به دست آورید. پ(آ من) و عناصر مورب به معنای احتمال ارسال دقیق کاراکتر دریافت شده است، یعنی احتمال ارسال صحیح).

آنتروپی متقابل

آنتروپی متقابل، یا آنتروپی اتحادیه، برای محاسبه آنتروپی سیستم های به هم پیوسته (آنتروپی وقوع مشترک پیام های آماری وابسته) در نظر گرفته شده است و نشان داده می شود. اچ(آب) ، جایی که آ، مانند همیشه، فرستنده را مشخص می کند، و ب- گیرنده.

رابطه بین سیگنال های ارسالی و دریافتی با احتمالات رویدادهای مشترک توصیف می شود پ(آ من ب j) ، و برای توضیحات کاملویژگی های کانال، تنها یک ماتریس مورد نیاز است:

برای یک مورد کلی‌تر، زمانی که یک کانال توصیف نمی‌شود، بلکه صرفاً سیستم‌هایی در حال تعامل هستند، لازم نیست ماتریس مربع باشد. بدیهی است که مجموع تمام عناصر ستون با عدد jخواهد داد پ(ب j) ، مجموع شماره خط منوجود دارد پ(آ من) ، و مجموع همه عناصر ماتریس برابر با 1 است. احتمال مشترک پ(آ من ب j) مناسبت ها آ منو ب jبه عنوان حاصل ضرب احتمال اصلی و مشروط محاسبه می شود،

احتمالات شرطی با استفاده از فرمول بیز تولید می شوند. بنابراین، تمام داده ها برای محاسبه آنتروپی منبع و گیرنده وجود دارد:

آنتروپی متقابل با جمع کردن متوالی روی سطرها (یا ستون ها) همه احتمالات ماتریس، ضرب در لگاریتم آنها محاسبه می شود:

واحد اندازه گیری بیت/دو نماد است، این با این واقعیت توضیح داده می شود که آنتروپی متقابل عدم قطعیت هر جفت نماد - ارسال و دریافت شده را توصیف می کند. با تبدیل های ساده نیز به دست می آوریم

آنتروپی متقابل این خاصیت را دارد کامل بودن اطلاعات- از آن می توانید تمام مقادیر مورد نظر را دریافت کنید.

داستان

یادداشت

همچنین ببینید

پیوندها

• کلود ای. شانون. یک نظریه ریاضی ارتباطات
• S. M. Korotaev.

در طول هر فرآیند کنترل و انتقال، اطلاعات ورودی به اطلاعات خروجی تبدیل می شود. معمولاً اطلاعات به عنوان برخی اطلاعات، نمادها، نشانه ها درک می شود. نظریه آماری: مفهوم اطلاعات به عنوان حذف عدم قطعیت مشخص می شود.

اطلاعات به عنوان اطلاعاتی تعریف می شود که موضوع ذخیره، انتقال و دریافت است. اطلاعات با استفاده از سیگنال ارسال می شود. ارزیابی کمی کسب اطلاعات بر اساس ایده انتقال پیام به عنوان یک فرآیند تصادفی تصادفی در زمان است.

عدم قطعیت از طریق آزمایش از بین می رود؛ هر چه عدم قطعیت بیشتر باشد، ارزش اطلاعات بالاتر است.

درجه عدم قطعیت به تعداد مقادیری که کمیت می تواند بگیرد و نتیجه رویدادها بستگی دارد.

متغیر تصادفی H(A) به عنوان اندازه گیری مقدار اطلاعات تعیین می شود:

جایی که -احتمال نتیجه

علامت منفی به عنوان جبران H(A) است - این آنتروپی تجربه A است (فرمول توسط کلود شینون اختراع شد).

هر چه H(A) بیشتر باشد، میزان جهل بیشتر است.

انباشت اطلاعات در مورد یک سیستم آنتروپی را کاهش می دهد. اطلاعات سهم خاصی در آنتروپی دارد.

اجازه دهید یک سیستم x داده شود.

اگر
، آن

جایی که

دریافت اطلاعات بازتابی عینی از وضعیت سیستم است و می تواند برای انتقال، کنترل، تصمیم گیری و غیره استفاده شود.

اطلاعات یک مقوله مادی یا انرژی نیست، هرگز ایجاد نمی شود، بلکه فقط ارسال و دریافت می شود، اما می تواند از بین برود و ناپدید شود.

طبق قانون دوم ترمودینامیک، آنتروپی به موازات تخریب ساختارهای سازمان یافته افزایش می یابد و به حالت احتمالی آشفته گرایش پیدا می کند.

واحد اندازه گیری مقدار اطلاعات موجود در یک متغیر تصادفی است که با احتمال مساوی پذیرفته می شود. واحد درجه عدم قطعیت آنتروپی یک رویداد ابتدایی است که دو نتیجه با احتمال یکسان و دو مقدار متفاوت دارد.

واحد یا بیت باینری

سیستم x متصل است

سیستم y

I(x,y)=H(x)+H(y)-H(x,y)، که در آن

H(x,y) آنتروپی سیستم یکپارچه است.

، جایی که،

برای سیگنال پیوسته

که در آن(x) چگالی احتمال مقدار x است. رویکرد شینون محتوای معنایی را در نظر نمی گیرد.

33. مفهوم منبع ارگودیک. افزونگی.

در عمل، منابع ارگودیک وجود دارد که در آنها پیوندهای همبستگی به تعداد محدودی از منابع قبلی گسترش می یابد. در یک منبع ارگودیک
هیچ همبستگی وجود ندارد، یعنی

نمایش ریاضی پیام های تولید شده توسط منابع ارگودیک است زنجیر مارکوف

زنجیر مارکوفمرتبه n دنباله ای است، وابستگی آزمون هایی که برای آن، احتمال برخی از نتایج
در یک کارآزمایی به نتایجی بستگی دارد که در هر آزمایش قبلی رخ داده است، اما به نتایج قبلی بستگی ندارد.

در یک منبع ارگودیک از n ترتیب توزیع
وقتی k=1,2,…,m ثابت نمی ماند، بلکه بستگی به این دارد که n حرف آخر پیام ها چه بوده است.

احتمال انتخاب یک حرف از الفبا

تعداد حالت های ممکن توسط:
، جایی که m حروف الفبا، n ترتیب، M تعداد حالت های ممکن منبع است.

برای تعیین آنتروپی کل لازم است:

اگر M=1 باشد، فرمول کلاسیک شینون را می گیریم.

یک ارتباط همبستگی در یک منبع ارگودیک لزوماً با تغییر در توزیع احتمال، انتخاب عنصر پیام از حالتی به حالت دیگر همراه است، که همچنین منجر به کاهش آنتروپی می شود، به این معنی که بخشی از اطلاعات منتقل شده توسط منبع می تواند باشد. پیش بینی شده است، به این معنی که نیازی به انتقال ندارد، زیرا می توان آن را در سمت گیرنده بازیابی کرد. هر چه آنتروپی منبع کمتر باشد، اطلاعات بیشتری تولید می کند.

R-redundancy کارایی منبع را نشان می دهد.

دلیل R منحصربه‌فرد بودن و احتمال انتخاب بین پیام‌ها است.

موضوع ارتباط بین آنتروپی و اطلاعات برای مدت طولانی مورد بحث قرار گرفته است، در واقع از زمان شکل‌گیری پارادوکس با "دیو ماکسول". برای مدتی مشکل انتزاعی به نظر می رسید. با این حال، اکنون این موضوع در حال تبدیل شدن به موضوع است، زیرا معلوم می شود که به سؤالات بسیار خاصی مربوط می شود: پرداخت آنتروپی (و انرژی) برای اطلاعات چیست، حداقل اندازه های یک سلول اطلاعاتی چقدر است و غیره.

این سوالات به دلیل ویژگی بیولوژیکی حادتر می شوند. اولاً، سیستم های اطلاعاتی در طبیعت زنده از نظر اندازه کوچک (میکروسکوپی) هستند. ثانیاً، آنها زمانی که کار می کنند دمای معمولی، یعنی تحت شرایطی که نوسانات حرارتی ناچیز نیست. ثالثاً در زیست شناسی، حفظ و ذخیره اطلاعات از اهمیت ویژه ای برخوردار است. توجه داشته باشید که در فناوری مشکلات انتقال اطلاعات بیشتر مرتبط است. با استفاده از مثال بهینه سازی انتقال، اصول اولیه تئوری اطلاعات توسعه داده شد. کمتر به مسائل مربوط به دریافت و ذخیره اطلاعات توجه شد. در زیست شناسی، برعکس، این مسائل مهم می شود.

بدون تظاهر به ارائه یک تعریف دقیق از مفهوم "اطلاعات"، ما بر دو ویژگی ضروری آن تاکید می کنیم: 1) اطلاعات شامل انتخاب یک (یا چند) گزینه از بسیاری از گزینه های ممکن است، 2) انتخاب انجام شده باید به خاطر سپرده شود. تاکید کنیم: شرط دوم - حفظ اطلاعات - بسیار مهم است. Kastler [P26] برای اولین بار در سال 1960 توجه خود را به این موضوع جلب کرد. در فرآیندهای انتقال اطلاعات، "به خاطر سپردن" نقش کمتری نسبت به دریافت، پردازش و ذخیره اطلاعات ایفا می کند. در واقع، سیستم فرستنده موظف است اطلاعات را فقط برای مدت زمان ارسال به خاطر بسپارد که در اصل می تواند کوتاه باشد. در زیست شناسی شرط حفظ کردن بلند مدتبرعکس، نقش مهمی ایفا می کند.

مقدار اطلاعات کمیت است

شماره کامل کجاست گزینه های ممکن، تعداد گزینه های انتخاب شده مقدار اطلاعات با صفر متفاوت است اگر بدانیم به دلایلی یکی از گزینه های پیشینی محقق شده است (اما معلوم نیست کدام یک). این مقدار حداکثر است اگر، به عنوان مثال، مشخص شود که یک گزینه خاص اجرا شده است (انتخاب شده). ارزش اگر

هیچ چیز معلوم نیست. پایه لگاریتم (به عنوان مثال، باینری) برای راحتی انتخاب شده است. واحد اطلاعات در این سیستم یک بیت است; این مربوط به انتخاب یکی از دو گزینه ممکن است.

بیان (12.8) به راحتی به حالتی تعمیم می یابد که گزینه های پیشینی N را می توان با احتمالات تحقق بخشید و پس از آن با احتمالات تحقق می یابد.

انتخاب یا اجرای گزینه های پسین می تواند توسط دو نفر انجام شود راه های مختلف; یا در نتیجه یک عمل نیروهای خارجی- در این مورد، آنها در مورد دریافت اطلاعات از یک سیستم دیگر (شخص ثالث) یا به طور خود به خود در نتیجه رفتار ناپایدار خود سیستم صحبت می کنند - در این صورت تولد (ظهور) اطلاعات جدید اتفاق می افتد. .

یک سیستم اطلاعاتی باید قادر باشد: الف) اطلاعات را دریافت کند، ب) اطلاعات را ذخیره یا به خاطر بسپارد، ج) اطلاعاتی را هنگام تعامل با سیستم پذیرنده دیگر در رابطه با سیستم مورد بررسی ارائه دهد. نتیجه این است که سیستم اطلاعاتی باید چند ایستگاهی باشد.

تعداد حالت های ثابت پایدار ظرفیت اطلاعاتی را تعیین می کند، یعنی حداکثر مقدار اطلاعاتی که سیستم می تواند دریافت کند:

سیستم باید اتلاف کننده باشد. این بدان معنی است که بخش های واقعی همه اعداد مشخصه حالت های ساکن منفی هستند. این هست یک شرط ضروریبه خاطر سپردن اطلاعات نمونه ای از چنین سیستمی بیلیارد چینی است. این یک توپ روی یک تخته با طرفین، سوراخ ها و پین ها است. تعلق توپ به یک سوراخ خاص اطلاعاتی در مورد وضعیت سیستم است.

در سطح میکروسکوپی (مولکولی)، مشکل طراحی سیستم اطلاعاتی غیر پیش پا افتاده می شود. اولاً، در یک سیستم چند ایستگاهی، هر یک از مسیرهای فاز فقط در قسمت خاصی از فضای فاز (در منطقه جاذبه یک حالت معین) قرار دارد. کل حجم فاز برای هر یک از مسیرها در دسترس نیست. این بدان معناست که سیستم اطلاعاتی کاملاً هندسی و از نظر ترمودینامیکی تعادل ندارد. باید درجات آزادی انتخاب شده ای وجود داشته باشد که ارزش های خود را برای مدت طولانی حفظ کند و از همه موارد ممکن عبور نکند.

اجازه دهید این را با استفاده از مثال بیلیارد چینی توضیح دهیم. درجات آزادی انتخاب شده در اینجا مختصات توپ هستند. تغییر در x و y به لبه های چاه محدود می شود. توپ نمی تواند بدون دخالت خارجی به سوراخ دیگری حرکت کند. که در آن

سایر درجات آزادی مرتبط با ارتعاشات اتم های توپ و تخته می تواند (و بیشتر باید) ارگودیک باشد.

ثانیاً، شرایط اتلاف پذیری، همانطور که دیدیم، با ناپایداری (و در نتیجه آشفتگی) حرکات میکروسکوپی همراه است. این بدان معناست که درجات آزادی متناظر باید ارگودیک باشند. بنابراین، فضای فاز سیستم اطلاعاتی باید به زیرسیستم های ارگودیک و پویا طبقه بندی شود. با این حال، چنین جدایی نمی تواند به طور مطلق انجام شود؛ درجات مختلف آزادی همیشه به یکدیگر مرتبط هستند. این خود را در این واقعیت نشان می دهد که درجات آزادی پویا (اطلاعات) در نوسان است و احتمال تغییر اساسی آنها (مثلاً پرتاب توپ به سوراخ دیگری) تحت تأثیر زیر سیستم ارگودیک (یعنی نوسانات حرارتی) وجود دارد.

در سیستم های اطلاعات ماکروسکوپی این احتمال ناچیز است، اما در سیستم های میکروسکوپی باید این احتمال را در نظر گرفت. بنابراین، شرایط چند ایستایی و اتلاف پذیری را نمی توان به طور همزمان به طور مطلق برآورده کرد. آنها اختیاری هستند. این بدان معناست که شرط «حفظ» نمی‌تواند مطلق باشد، ما فقط می‌توانیم با احتمال معینی برای مدت معینی (نه بی‌نهایت زیاد) از حفظ صحبت کنیم. به عبارت دیگر، یک سیستم اطلاعاتی نمی تواند برای همیشه به خاطر بیاورد. در سیستم های اطلاعات واقعی، زمان ذخیره مشخصه به طراحی، دما و انرژی آزاد آنها بستگی دارد.

مسئله ارتباط بین آنتروپی و اطلاعات با توجه به موارد فوق، بی اهمیت نیست. آنتروپی فیزیکی لگاریتم حجم فاز موجود برای سیستم است (با در نظر گرفتن قراردادهای این مفهوم - به بالا مراجعه کنید) که در واحدهایی اندازه گیری می شود که تعداد درجات آزادی و اندازه سلول حداقل (کوانتومی) اندازه گیری می شود. فضای فاز به طور رسمی، آنتروپی را می توان به صورت نمایش داد

مقدار آنتروپی در بیت اندازه گیری می شود. تعداد سلول های فضای فاز از طرف دیگر، ظرفیت اطلاعاترا می توان در قالب نوشت

اندازه فضای فاز یک سلول اطلاعات کجاست. مقایسه فرمول های (12.11) و (12.12) نشان می دهد که آنتروپی و اطلاعات در هر دو ضریب و اندازه سلول متفاوت است.

همزمانی (12.11) و (12.12) در شکل مبنایی برای بیان هویت مفاهیم اطلاعات و آنتروپی بود. به طور دقیق تر، بیان شده است که آنتروپی اطلاعات گمشده در مورد وضعیت سیستم است و (یا) اطلاعات آنتروپی گم شده است، یعنی تفاوت بین حداکثر آنتروپی، که

یک سیستم بدون اطلاعات و آنتروپی واقعی که سیستم دارد و دارای اطلاعات دریافتی است. در این راستا از اصطلاح نوتروپی استفاده می شود که با اطلاعات یکسان در نظر گرفته می شود.

با این حال، بسیاری از این اظهارات راضی نیستند و موضوع ارتباط بین اطلاعات و آنتروپی همچنان بحث برانگیز است.

اجازه دهید موضوع را با جزئیات بیشتری مورد بحث قرار دهیم.

اول از همه، تفاوت کمی بزرگ بین اطلاعات موجود در سیستم و آنتروپی آن قابل توجه است.

بلومنفلد (نگاه کنید به [P61) با استفاده از تعدادی مثال بیولوژیکی (سلول ها، ارگانیسم ها، و غیره) نشان داد که آنتروپی موجود در یک جسم چندین برابر (چند مرتبه بزرگی) بیشتر از اطلاعات موجود در آن است. این تفاوت در سیستم‌های اطلاعاتی مدرن حتی بیشتر است (به عنوان مثال، در متن چاپی، آنتروپی حدود 1010 برابر اطلاعات بیشتر است).

چنین تفاوت کمی زیاد تصادفی نیست. به این دلیل است که حجم فضای فاز سلول اطلاعات در مقایسه با مقدار زیاد است. دومی به این دلیل است که سلول اطلاعات باید دارای یک زیر سیستم ارگودیک باشد و بنابراین، فضای بزرگی را اشغال کند (در مقایسه با سلول ابتدایی) حجم.

بنابراین، تفاوت در مقیاس های آنتروپی و اطلاعات تصادفی نیست، بلکه با تفاوت اساسی آنها همراه است. آنتروپی معیاری از مجموعه ای از حالات یک سیستم است که سیستم باید بودن در آن را فراموش کند. اطلاعات معیاری از مجموعه حالت هایی است که سیستم باید به خاطر داشته باشد که در آن قرار گیرد.

بیایید ببینیم که چگونه تغییرات در آنتروپی و اطلاعات با استفاده از مثال بیلیارد چینی مرتبط است. اجازه دهید توجه خود را به طول عمر سیستم محدود کنیم. واقعیت این است که هر سیستم اطلاعاتی، از آنجایی که تعادل ندارد، با توجه به درجات آزادی ساختاری خود آرام می شود و فرو می ریزد، یعنی دیگر اطلاعاتی نیست.

زمان آرامش سازه بیشتر (یا مساوی) با زمان حفظ است. در مثال ما در مورد تخریب خود به خودی موانع بین سوراخ ها صحبت می کنیم. زمان مشخصه این فرآیند بسیار طولانی است. در طول این مدت، درجات ساختاری آزادی تغییر نمی کند، و بنابراین به آنتروپی کمک نمی کند. (بخشی از فضای فاز مرتبط با این درجات آزادی در این زمان غیرقابل دسترسی است.) آنتروپی در این مورد فقط با درجاتی از آزادی که به سرعت شل می شوند مرتبط است. رفتار آنها بستگی به این ندارد که توپ در کدام سوراخ قرار دارد و آیا در هر سوراخی قرار دارد یا در نزدیکی آن قرار دارد. آنتروپی فیزیکی سیستم در همه موارد یکسان است، اما مقدار اطلاعات متفاوت است: اگر توپ در سوراخی قرار نگیرد برابر با صفر است و اگر در سوراخ خاصی باشد برابر است.

فرآیند دریافت اطلاعات (در مورد ما، قرار دادن توپ در یک سوراخ خاص) مستلزم صرف کار است که به گرما تبدیل می شود (در غیر این صورت دریافت غیرقابل برگشت نخواهد بود). در نتیجه، با دریافت، آنتروپی فیزیکی سیستم افزایش می یابد (به میزان و در همان زمان

اطلاعات افزایش می یابد (معمولاً اما در غیر این صورت به هیچ وجه به هم متصل نیستند. بنابراین هنگام دریافت اطلاعات نسبت رعایت نمی شود.

وقتی اطلاعات جدید به دست می آید، وضعیت تا حدودی پیچیده تر می شود. سیستمی که قادر به تولید اطلاعات باشد باید تمام خصوصیات یک سیستم اطلاعاتی را داشته باشد و علاوه بر این، شرایط را برآورده کند: یک لایه مشخص از فضای فاز آن باید کروی باشد، از جمله درجات آزادی انتخاب شده (اطلاعاتی). در این صورت است که شرایط اولیه برای ظهور خود به خودی اطلاعات تعیین می شود.

نمونه اش همین بیلیارد چینی با پین است. اگر در ابتدا انرژی جنبشی توپ به اندازه کافی زیاد باشد (موانع بیشتر بین سوراخ ها)، سپس توپ بدون گیر کردن در سوراخ ها در سراسر تخته حرکت می کند. به دلیل ناپایداری انعکاس از سنجاق های سر (در بیلیارد سینا نقش سطوح مقعر را بازی می کنند، شکل 12.2)، حرکت توپ تصادفی است و شرایط اولیه به سرعت فراموش می شود. با کاهش انرژی جنبشی (به دلیل اتلاف پذیری سیستم، در در این مورددر اثر اصطکاک و برخورد) تا مقداری به ترتیب ارتفاع مانع، توپ وارد ناحیه جذب یکی از سوراخ ها شده و در آن باقی می ماند. بنابراین، حالت انتخاب شده "به خاطر سپرده می شود"، که تولد اطلاعات است. همین اصل در رولت و سایر ماشین های بازی استفاده می شود.

در تمام این موارد، معیار جداسازی لایه ارگودیک شرایط اولیه از لایه اطلاعات، مقدار انرژی آزاد اولیه است (در بیلیارد این انرژی جنبشی توپ است). همچنین افزایش آنتروپی سیستم را در فرآیند تولید اطلاعات تعیین می کند. اجازه دهید مقدار را تخمین بزنیم اگر ظرفیت اطلاعاتی سیستم کوچک باشد: محدودیت اصلی از پایین شرایطی است که در آن مانع بین چاه ها باشد. موانع زمان "حفظ" را با توجه به نسبت تعیین می کنند

در یک مقدار به اندازه کافی بزرگ (ماکروسکوپی) c، مانع است

بنابراین در این حالت افزایش آنتروپی در هر بیت اطلاعات برابر است

یا در واحدهای اطلاعاتی:

در مواردی که ظرفیت اطلاعات زیاد است (یعنی شرط دیگری باید در نظر گرفته شود: قبل از "انتخاب" یک حالت خاص، سیستم باید حداقل یک بار از منطقه نفوذ هر یک از حالت های ممکن بازدید کند.

اجازه دهید انرژی در طول عبور هر یک از حالت ها تلف شود. حداقل مقدار به ترتیب انرژی نوسانات حرارتی است: در این حالت، از پایین توسط شرط محدود می شود.

افزایش آنتروپی در هر بیت اطلاعات برابر است با

بنابراین، در صورت به وجود آمدن اطلاعات، باید برای آن با افزایش آنتروپی «پرداخت» کرد، به طوری که روابطی مانند «افزایش اطلاعات برابر است با کاهش آنتروپی» در این مورد نیز برقرار نیست.

بیایید در مورد وضعیتی که در صورت امتناع از شرط به خاطر سپردن اطلاعات به وجود می آید بحث کنیم. در این مورد، می توان در مورد اطلاعات مربوط به مقادیر لحظه ای مختصات و لحظه تمام اتم های سیستم صحبت کرد. برای تمایز این «اطلاعات» از واقعی (حفظ شده)، لایزر اصطلاح خرد را پیشنهاد کرد؛ اطلاعات حفظ شده را اطلاعات کلان می نامند.

اگر معلوم باشد که در این لحظهسیستم در یکی از سلول های خاص (از ممکن) فضای فاز قرار می گیرد، سپس مقدار ریز اطلاعات حداکثر و برابر است.

در این مورد، آنتروپی سیستم صفر است، زیرا تمام سلول های دیگر را می توان در حال حاضر "غیرقابل دسترسی" در نظر گرفت.

اگر مشخص باشد که در حال حاضر سیستم در هر یک از سلول های ممکن قرار دارد، اما مشخص نیست که کدام یک، آنگاه ریز اطلاعات صفر است و آنتروپی حداکثر و برابر است.

اگر مشخص باشد که سیستم در حال حاضر در یکی از سلول ها قرار دارد، پس

و بین اطلاعات خرد و آنتروپی یک رابطه ساده وجود دارد:

اصولاً می توان اطلاعات خرد را با دریافت آن از دیگری به اطلاعات کلان تبدیل کرد سیستم اطلاعات. به عنوان مثال، با عکاسی از یک الگوی حرکت براونی، مختصات آنی ذرات را می توان بر روی فیلم عکاسی ثبت کرد (به خاطر سپردن). این اطلاعات را می توان برای هر (حتی غیر مرتبط با حرکت ذرات) استفاده کرد.

اهداف مهم این است که در این مورد، در فرآیند دریافت (تبدیل اطلاعات خرد به اطلاعات کلان)، کار باید صرف شود و آنتروپی کل سیستم باید به میزانی افزایش یابد که آشکارا از مقدار اطلاعات ذخیره شده بیشتر باشد.

این فرآیند - تبدیل اطلاعات خرد به اطلاعات کلان و استفاده از آن برای مدیریت - است که زمینه ساز پارادوکس "شیطان ماکسول" است. وضوح آن این است که فرآیند دریافت ریز اطلاعات و استفاده از آن برای کنترل با افزایش آنتروپی کل سیستم/اطلاعات برتر همراه است.

در ارتباط با چنین تفاوت معناداری بین اطلاعات خرد و کلان، از دو مفهوم آنتروپی نیز استفاده می شود. در کنار آنتروپی فیزیکی از آنتروپی اطلاعات استفاده می شود که به این صورت تعریف می شود

تعداد کلان حالت های ثابت ثابت که مشخص است سیستم در یکی از آنها قرار دارد (اما معلوم نیست کدام یک) است، کجاست.

طبق تعریف، آنتروپی اطلاعات با رابطه به اطلاعات مربوط می شود

افزایش در اطلاعات (در حالی که حفظ شدن همیشه با کاهش مساوی در آنتروپی اطلاعات همراه است. اصطلاح آنتروپی اطلاعات برای استفاده در هنگام صحبت در مورد ظهور اطلاعات و ترتیب یک سیستم راحت است. به این معنا است که از آن استفاده می شود. در فصل 2. تأکید می کنیم که با آنتروپی فیزیکی، این کمیت، به طور کلی، مرتبط نیست.

بنابراین، مبنای تفاوت بین آنتروپی فیزیکی و اطلاعات (چه از نظر کیفی و چه از نظر کمی) شرایط ذخیره سازی و حجم زیاد فضای فاز سلول اطلاعات نسبت به اولیه است.

تخمین اندازه "ذخیره" جالب توجه است. انجامش بده نمای کلیالان سخته با این حال ممکن است تصور شود که در طبیعت زنده این امر محقق شده است اندازه بهینه(یعنی حداقل، اما ارضای الزامات). می توان آن را با استفاده از داده های واقعی ارزیابی کرد.

در یک مولکول DNA، یک واحد حاوی دو بیت اطلاعات، یک جفت نوکلئوتید مکمل است. این شامل حدود اتم است. آنتروپی مرتبط با درجات آزادی ارتعاشی کمی است یا آنتروپی در هر بیت اطلاعات تقریباً 60 بیت است. بنابراین حجم فضای فاز در هر بیت برابر است

مفهوم آنتروپی اولین بار در سال 1865 توسط R. Clausius در ترمودینامیک برای تعیین اندازه گیری اتلاف انرژی برگشت ناپذیر معرفی شد. آنتروپی در شاخه های مختلف علم از جمله در نظریه اطلاعات به عنوان معیاری برای عدم قطعیت هر تجربه، آزمونی که می تواند نتایج متفاوتی داشته باشد، استفاده می شود. این تعاریف از آنتروپی یک ارتباط درونی عمیق دارند. بنابراین، بر اساس ایده هایی در مورد اطلاعات، می توان تمام مهم ترین مفاد فیزیک آماری را استنباط کرد. [BES. فیزیک. M: دایره المعارف بزرگ روسیه، 1998].

این مقدار نیز نامیده می شود آنتروپی متوسطپیام ها. آنتروپی در فرمول شانون مشخصه میانگین است - انتظار ریاضی از توزیع یک متغیر تصادفی.
به عنوان مثال، در دنباله حروفی که یک جمله را در زبان روسی تشکیل می دهند، حروف مختلف با بسامدهای متفاوت ظاهر می شوند، بنابراین عدم قطعیت وقوع برای برخی از حروف کمتر از برخی دیگر است.
در سال 1948، کلود شانون هنگام بررسی مشکل انتقال منطقی اطلاعات از طریق یک کانال ارتباطی پر سر و صدا، پیشنهاد انقلابی را ارائه کرد. رویکرد احتمالیبرای درک ارتباطات و ایجاد اولین، واقعاً ریاضی، نظریه آنتروپی. ایده های هیجان انگیز او به سرعت به عنوان پایه ای برای توسعه نظریه اطلاعات، که از مفهوم احتمال استفاده می کند، استفاده می شود. مفهوم آنتروپی به عنوان معیاری برای تصادفی بودن توسط شانون در مقاله خود "یک نظریه ریاضی ارتباطات" که در دو بخش در مجله فنی سیستم بل در سال 1948 منتشر شد، معرفی شد.

در صورت وقوع حوادث به همان اندازه محتمل ( مورد خاصزمانی که همه گزینه ها به یک اندازه محتمل باشند، وابستگی فقط به تعداد گزینه های در نظر گرفته شده باقی می ماند و فرمول شانون به طور قابل توجهی ساده شده و با فرمول هارتلی که برای اولین بار توسط یک مهندس آمریکایی پیشنهاد شد، مطابقت دارد. رالف هارتلیدر سال 1928، به عنوان یکی از رویکردهای علمی برای ارزیابی پیام ها:

وظیفه 1. برای رویدادهای به همان اندازه محتمل.
36 کارت در عرشه وجود دارد. چه مقدار اطلاعات در این پیام وجود دارد که کارتی با پرتره "آس" از عرشه گرفته شده است. "تک خال پیک"؟

احتمال p1 = 4/36 = 1/9 و p2 = 1/36. با استفاده از فرمول هارتلی داریم:

پاسخ: 3.17; 5.17 بیت
توجه داشته باشید (از نتیجه دوم) که برای رمزگذاری همه کارت ها 6 بیت نیاز است.
همچنین از نتایج مشخص است که هر چه احتمال وقوع یک رویداد کمتر باشد، اطلاعات بیشتری در آن وجود دارد. ( این ملکتماس گرفت یکنواختی)

وظیفه 2. برای رویدادهای نابرابر محتمل
36 کارت در عرشه وجود دارد. از این تعداد، 12 کارت با "پرتره" هستند. یکی یکی یکی از کارت ها از روی عرشه گرفته می شود و نشان داده می شود تا مشخص شود که آیا پرتره را به تصویر می کشد یا خیر. کارت به عرشه برگردانده می شود. هر بار که یک کارت نشان داده می شود، مقدار اطلاعات ارسال شده را تعیین کنید.

1) رویکرد سیستماتیک به مطالعه پزشکی. مفهوم یک سیستم. ویژگی های سیستم نمونه هایی از سیستم های پزشکی

رویکرد سیستمی، جهتی در روش شناسی دانش علمی خاص و عملکرد اجتماعی، که مبتنی بر مطالعه اشیا به عنوان سیستم است.

سیستم- مجموعه ای از عناصر که در روابط و ارتباط با یکدیگر هستند که یکپارچگی، وحدت خاصی را تشکیل می دهند.

ویژگی های مشترک در همه سیستم ها:

تمامیت- یک سیستم یک موجود انتزاعی است که یکپارچگی دارد و در محدوده آن تعریف می شود. یکپارچگی سیستم دلالت بر این دارد که در برخی جنبه های اساسی "قدرت" یا "ارزش" اتصالات عناصر در داخل سیستمبالاتر از قدرت یا ارزش اتصالات بین عناصر و عناصر سیستم سیستم های خارجییا محیط.

هم افزایی, خروج، اورژانس, کل نگری, اثر سیستم- ظهور ویژگی هایی در سیستم که ذاتی عناصر سیستم نیستند. تقلیل ناپذیری اساسی خواص یک سیستم به مجموع خواص اجزای تشکیل دهنده آن. توانایی های سیستم از مجموع قابلیت های اجزای تشکیل دهنده آن بیشتر است. عملکرد یا عملکرد کلی یک سیستم بهتر از مجموع ساده عناصر آن است.

سلسله مراتب- هر عنصر از سیستم را می توان به عنوان یک سیستم در نظر گرفت. خود سیستم را نیز می توان به عنوان عنصری از برخی ابر سیستم (ابر سیستم) در نظر گرفت.

سیستم های خبره توصیفی منطقی از ساختار و محتوای دانش پزشکی با استفاده از سیستم قوانین تولید (قوانین منطقی استنتاج) هستند.

مشاوره در یک زمینه خاص در سطح دانش بیش از دانش کاربر؛ - کاربرد فناوری های کامپیوتری هوش مصنوعی"؛ - تشکیل یک پایگاه دانش در قالب سیستم ها قوانین اکتشافی; - توضیح دلیل در فرآیند اخذ تصمیم.

سیستم های اطلاعات پزشکی (MIS). این سیستم ها با توجه به هدف خود به سه گروه تقسیم می شوند: 1) سیستم هایی که وظیفه اصلی آنها انباشت داده ها و اطلاعات است.

2) سیستم های تشخیصی و مشاوره ای

3) سیستم های ارائه مراقبت های پزشکی

سیستم اطلاعات پزشکی (MIS) - مجموعه ای از اطلاعات، سازمانی، نرم افزار و ابزارهای فنی طراحی شده برای خودکارسازی فرآیندهای پزشکی و (یا) سازمان ها

اهداف سیستم های اطلاعات پزشکی

جمع آوری داده ها

ثبت داده ها و اسناد

تضمین تبادل اطلاعات

نظارت بر روند بیماری (کنترل پزشکی)

نظارت بر اجرای فناوری برای فرآیند تشخیصی و درمانی (کنترل فناوری)

ذخیره و بازیابی اطلاعات (بایگانی)

تحلیل داده ها

پشتیبانی تصمیم

آموزش

2. نظام پزشکی به عنوان سیستم کنترل. اصل بازخورد در سیستم های کنترلی جایگاه روش ها و ابزارهای علوم کامپیوتر در یک سیستم مدیریت پزشکی.

تئوری کنترل- علم اصول و روش های مدیریت سیستم ها، فرآیندها و اشیاء مختلف. مبانی تئوری کنترل عبارتند از سایبرنتیک (علم قوانین کلی فرآیندهای کنترل و انتقال اطلاعات در سیستم های مختلف اعم از ماشین ها، موجودات زنده یا جامعه) و نظریه اطلاعات.

فرآیند مدیریت را می توان به چند مرحله تقسیم کرد:

1. جمع آوری و پردازش اطلاعات.

2. تجزیه و تحلیل، سیستم سازی، سنتز.

3. تعیین اهداف بر این اساس. انتخاب روش مدیریت، پیش بینی.

4. اجرای روش مدیریت انتخاب شده.

5. ارزیابی اثربخشی روش مدیریت انتخاب شده (بازخورد).

هدف نهایی تئوری کنترل جهانی سازی و در نتیجه ثبات، بهینه سازی و بیشترین کارایی در عملکرد سیستم ها است.

روش های مدیریتی که توسط تئوری مدیریت در نظر گرفته شده است سیستم های فنیو اشیاء دیگر بر سه اصل اساسی استوارند:

1. اصل کنترل (نرم افزار) حلقه باز،

2. اصل جبران (کنترل اغتشاش)

3. اصل بازخورد.

مدیریت را می توان به دو دسته تقسیم کرد:

خود جوش: تأثیر در نتیجه تعامل سوژه ها رخ می دهد (مدیریت هم افزایی).

هوشیار، آگاه: نفوذ سیستماتیک شی (کنترل سلسله مراتبی).

با کنترل سلسله مراتبی، هدف عملکرد سیستم توسط ابر سیستم آن تعیین می شود.

سایبرنتیک پزشکی رشته ای علمی است که با استفاده از ایده ها، روش ها و وسایل فنیسایبرنتیک در پزشکی و مراقبت های بهداشتی

به طور معمول، سایبرنتیک پزشکی را می توان با گروه های زیر نشان داد:

تشخیص محاسباتی بیماری ها

این بخش مربوط به استفاده از فناوری کامپیوتری در پردازش اطلاعاتی است که از یک شی بیولوژیکی به منظور ایجاد تشخیص به دست می آید. اولین گام، توسعه روش هایی برای توصیف رسمی وضعیت سلامتی بیمار، انجام یک تجزیه و تحلیل کامل برای روشن شدن پارامترهای بالینی و علائم مورد استفاده در تشخیص است. در اینجا، مهمترین ویژگی ها آنهایی هستند که ارزیابی های کمی دارند. علاوه بر بیان کمی ویژگی های فیزیولوژیکی، بیوشیمیایی و سایر ویژگی های بیمار، تشخیص محاسباتی به اطلاعاتی در مورد فراوانی سندرم های بالینی (از داده های قبلی) و علائم تشخیصی در طبقه بندی آنها، ارزیابی اثربخشی تشخیصی و غیره نیاز دارد.

سیستم های کنترل خودکار و امکان استفاده از آنها برای سازماندهی مراقبت های بهداشتیو من.

هدف در اینجا ایجاد سیستم های خودکار صنعتی (OSAU) است. چنین سیستم هایی برای صنعت مهمی مانند مراقبت های بهداشتی ایجاد شده اند. ویژگی OSAU در مراقبت های بهداشتی این است که باید شامل یک واحد کنترل و سایر عناصر باشد: پیشگیری، درمان (با تشخیص)، علم پزشکی، پرسنل و پشتیبانی مادی. وظایف اولیه OSAU "Healthcare" شامل اتوماسیون فرآیندهای جمع آوری و تجزیه و تحلیل اطلاعات آماری در زمینه های اصلی فعالیت پزشکی و بهینه سازی برخی از فرآیندهای مدیریتی است.

3. مفهوم آنتروپی اطلاعات.

آنتروپی (اطلاعات) - معیاری برای هرج و مرج اطلاعات، عدم قطعیت ظاهر هر نماد از الفبای اولیه. در صورت عدم تلفات اطلاعات، از نظر عددی برابر با مقدار اطلاعات در هر نماد پیام ارسالی است.

بنابراین، بیایید، برای مثال، دنباله ای از شخصیت ها را در نظر بگیریم که یک جمله را به زبان روسی تشکیل می دهند. هر کاراکتر با فرکانس متفاوتی ظاهر می‌شود، بنابراین عدم قطعیت وقوع برای برخی از شخصیت‌ها بیشتر از دیگران است. اگر در نظر بگیریم که برخی از ترکیبات نمادها بسیار نادر هستند، عدم قطعیت بیشتر کاهش می یابد.

مفاهیم اطلاعات و آنتروپی پیوندهای عمیقی با یکدیگر دارند، اما با وجود این، توسعه نظریه‌ها در مکانیک آماری و نظریه اطلاعات سال‌ها طول کشید تا آنها را با یکدیگر سازگار کند.

معرفی مفهوم آنتروپی بر اساس استفاده از یک اندازه گیری احتمال است تجربیات مختلف. برای بدست آوردن فرمول آنتروپی اطلاعات می توانید از تکنیک زیر استفاده کنید. بگذارید دنباله‌ای از رویدادهای N (مثلاً متنی از N حرف) وجود داشته باشد که هر کدام یکی از حالت‌های M را می‌گیرد (M ¾ تعداد حروف الفبا). سپس . ما احتمال تجلی این حالت را برای یک زنجیره به اندازه کافی طولانی از رویدادها به صورت i=1، ¼، M پیدا می کنیم. تعداد کل دنباله های مختلف N حروف الفبای حرف M . به طور رسمی، وقوع هر یک از دنباله های R به یک اندازه محتمل است، بنابراین، برای تعیین مقدار اطلاعات در چنین زنجیره ای از رویدادها، از فرمول هارتلی برای نتایج به همان اندازه احتمالی استفاده می کنیم (1). برای مورد ما، همه N و همه N i به اندازه کافی بزرگ هستند، زیرا تنها در این صورت همه p i به عنوان احتمال معنا پیدا می کنند. بنابراین، ما تبدیل استرلینگ را به روشی مشابه با نحوه انجام آن در فیزیک آماری اعمال می کنیم. با استفاده از تمام مقدمات نشان داده شده و کاهش لگاریتم (1) به یک پایه طبیعی، فرمول شانون را به دست می آوریم. ¾ آنتروپی اطلاعات در هر یک از M حالت های ممکن.

در آینده، مفهوم آنتروپی را می توان برای حل مشکلات محاسبه عدم قطعیت (و بنابراین بار اطلاعات) آزمایش های مختلف به کار برد. اگر اطلاعات دریافتی به طور کامل عدم قطعیت تجربه را برطرف کند، آنگاه مقدار آن برابر با آنتروپی تجربه داده شده در نظر گرفته می شود. بنابراین، استفاده از مفهوم آنتروپی می تواند برای تعیین ارزش پیش بینی های مختلف مفید باشد. و حتی جالب تر و مفیدتر، استفاده از مفهوم آنتروپی (از دیدگاه عملی) برای ایجاد معیاری برای ارزیابی اثربخشی کد واقعی و به عنوان ابزاری برای توسعه کدهای اقتصادی است.

5. مفاهیم اساسی فرآیندهای اطلاعات پایه: ذخیره سازی، انتقال، پردازش اطلاعات.

فرآیند اطلاعات - فرآیند دریافت، ایجاد، جمع آوری، در حال پردازش، انباشته ها، ذخیره سازی، جستجو کردن، نقل و انتقالاتو استفاده از اطلاعات

هر کدام فعالیت های اطلاعاتیمردم درگیر نبودند، همه چیز به اجرای سه فرآیند مربوط می شود: ذخیره سازی، انتقال و پردازش اطلاعات. این فرآیندها را پایه می نامند.

ذخیره سازی

ذخیره سازی اطلاعات باید به عنوان محتوای اطلاعات در نظر گرفته شود حافظه خارجیکامپیوتر.

ذخیره سازی اطلاعات با مفاهیمی مانند رسانه ذخیره اطلاعات، حافظه داخلی، حافظه خارجی و ذخیره سازی اطلاعات همراه است. حامل اطلاعات است محیط فیزیکی، که مستقیماً اطلاعات را ذخیره می کند. حامل اصلی اطلاعات برای یک فرد حافظه بیولوژیکی خود او (مغز انسان) است. می توان آن را حافظه داخلی نامید. تمام انواع دیگر حامل های اطلاعات را می توان خارجی (در رابطه با یک شخص) نامید.

انبار اطلاعات مجموعه ای از داده های سازماندهی شده به روشی خاص در رسانه های خارجی است که برای ذخیره سازی طولانی مدت و استفاده مداوم در نظر گرفته شده است. نمونه‌هایی از امکانات ذخیره‌سازی آرشیو اسناد، کتابخانه‌ها، کتاب‌های مرجع و فهرست کارت‌ها هستند. واحد اطلاعات اصلی مخزن یک سند فیزیکی خاص است - پرسشنامه، کتاب، پرونده، پرونده، گزارش و غیره سازماندهی مخزن به معنای وجود یک ساختار خاص است، یعنی. نظم، طبقه بندی اسناد ذخیره شده. چنین سازمانی برای راحتی نگهداری مخزن ضروری است: پر کردن آن با اسناد جدید، حذف اسناد غیر ضروری، جستجوی اطلاعات و غیره.

ویژگی های اصلی یک مخزن اطلاعات، حجم اطلاعات ذخیره شده، قابلیت اطمینان ذخیره سازی، زمان دسترسی و در دسترس بودن حفاظت اطلاعات است.

اطلاعات ذخیره شده در دستگاه های حافظه کامپیوتری معمولا نامیده می شود داده ها. ذخیره سازی داده های سازمان یافته در دستگاه های حافظه خارجی کامپیوتر معمولا پایگاه داده نامیده می شود.

در رایانه های مدرن، رسانه اصلی ذخیره سازی حافظه خارجی دیسک های مغناطیسی و نوری هستند.

واحدهای ذخیره سازی داده هاهنگام ذخیره داده ها، دو مشکل حل می شود: نحوه ذخیره داده ها در فشرده ترین شکل و نحوه دسترسی راحت و سریع به آنها. برای اطمینان از دسترسی، لازم است که داده ها دارای ساختار مرتب باشند، و در عین حال نیاز به ثبت اطلاعات آدرس اضافی نیز وجود دارد. بدون آنها، دسترسی به عناصر داده لازم موجود در ساختار غیرممکن است.

از آنجایی که داده های آدرس نیز دارای اندازه هستند و همچنین باید ذخیره شوند، ذخیره داده ها در واحدهای کوچک مانند بایت ناخوشایند است. آنها همچنین برای ذخیره در واحدهای بزرگتر (کیلوبایت، مگابایت و غیره) ناخوشایند هستند، زیرا پر کردن ناقص یک واحد ذخیره سازی منجر به ناکارآمدی ذخیره سازی می شود.

واحد ذخیره سازی داده ها یک شی با طول متغیر به نام فایل است. یک فایل دنباله ای از تعداد دلخواه بایت با نام منحصر به فرد خود است. معمولا در فایل جداگانهذخیره داده های متعلق به همان نوع در این حالت نوع داده نوع فایل را تعیین می کند.

پخش

فرآیند انتقال اطلاعات در چارچوب یک مدل مرجع هفت لایه ای به نام مدل OSI در نظر گرفته می شود. سیستم بازتعامل - ارتباط سیستم های باز). توجه زیادی به پروتکل ها در سطوح مختلف می شود که سطح استانداردسازی لازم را فراهم می کند:

1. سطح پایین تر (کانالی و فیزیکی سطوح OSIبه عنوان مثال NDIS، ODI)

2. لایه میانی (لایه های جلسه شبکه، انتقال و OSI مانند پروتکل های جلسه و دیتاگرام)

3. سطح برتر (سطح ارائه و سطح کاربردی OSI)

لایه فیزیکی کنترل فیزیکی را اجرا می کند و به مدار فیزیکی مانند مدار تلفن اشاره دارد که اطلاعات از طریق آن منتقل می شود. در این سطح، مدل OSI ویژگی های فیزیکی، الکتریکی، عملکردی و رویه ای مدارهای ارتباطی و همچنین الزامات را برای آداپتورهای شبکهو مودم ها

سطح پیوند داده در این سطح پیوند شبکه (کانال) کنترل می شود و انتقال بلوک ها (مجموعه بیت ها) اطلاعات در امتداد پیوند فیزیکی پیاده سازی می شود. رویه های کنترلی مانند تعیین شروع و پایان یک بلوک، تشخیص خطاهای انتقال، آدرس دهی پیام ها و غیره را انجام می دهد.

لایه شبکه به یک مدار مجازی (خیالی) اشاره دارد که نیازی به وجود فیزیکی ندارد. ابزارهای نرم افزاری در این سطح تعیین مسیر انتقال بسته ها در شبکه را فراهم می کنند. روترهایی که بر اساس تجزیه و تحلیل اطلاعات آدرس، مسیر بهینه را جستجو می کنند، در لایه شبکه مدل OSI که پل نامیده می شود، کار می کنند.

لایه حمل و نقل در لایه انتقال، ترتیب بسته های پیام و هویت آنها کنترل می شود. بنابراین، در فرآیند مبادله بین رایانه ها، یک اتصال مجازی مانند سوئیچینگ تلفن حفظ می شود.

سطح جلسه بر این سطحفرآیندهای ایجاد یک جلسه، مدیریت انتقال و دریافت بسته های پیام، و پایان دادن به جلسه هماهنگ و استاندارد شده است. نرم افزاراین سطح تبدیل داده ها را از فرمت داخلی رایانه فرستنده به فرمت داخلی رایانه گیرنده انجام می دهد، در صورتی که این فرمت ها با یکدیگر متفاوت باشند. علاوه بر تبدیل فرمت ها، در این سطح داده های ارسالی فشرده و از حالت فشرده خارج می شوند.

لایه برنامه به توابعی اشاره دارد که از کاربر در سطوح بالاتر برنامه و سیستم پشتیبانی می کند، به عنوان مثال: سازماندهی دسترسی به مشترک منابع شبکه: اطلاعات، حافظه دیسک, نرم افزارهای کاربردی، دستگاه های خارجی (چاپگر، استریمر و غیره)؛ مدیریت عمومیشبکه (مدیریت پیکربندی، کنترل دسترسی منابع مشترکشبکه ها، بازیابی پس از شکست و شکست، مدیریت عملکرد). انتقال پیام های الکترونیکی

رفتار

پردازش اطلاعات به تغییر آن به منظور آماده سازی آن برای استفاده عملی اشاره دارد. گاهی اوقات پردازش اطلاعات طبق قوانین خاصی به عنوان داده های عملیاتی تعریف می شود.

در فرآیند پردازش اطلاعات، برخی از وظایف اطلاعاتی همیشه حل می شود که شامل به دست آوردن اطلاعات نهایی بر اساس داده های اولیه است. فرآیند انتقال از داده های اولیه به نتیجه، پردازش اطلاعات است. نهادی که پردازش را انجام می دهد، انجام دهنده پردازش است. مجری ممکن است یک شخص باشد یا ممکن است یک دستگاه فنی خاص از جمله رایانه باشد.

به طور معمول، پردازش اطلاعات یک فرآیند هدفمند است. برای انجام موفقیت آمیز پردازش اطلاعات، مجری باید روش پردازش را بداند، یعنی. توالی اقداماتی که باید برای رسیدن به نتیجه مطلوب انجام شود. توصیف چنین دنباله ای از اقدامات در علوم کامپیوتر معمولاً الگوریتم پردازش نامیده می شود.

به طور معمول، دو نوع موقعیت پردازش اطلاعات وجود دارد.

نوع اول پردازش مرتبط با به دست آوردن محتوای دانش جدید است. این نوع پردازش شامل حل مسائل ریاضی است. روش پردازش، یعنی الگوریتم حل مسئله با فرمول های ریاضی که برای اجرا کننده شناخته شده است تعیین می شود. این نوع پردازش اطلاعات شامل حل مسائل مختلف با استفاده از استدلال منطقی است.

نوع دوم پردازشی است که با تغییر فرم همراه است، اما تغییر محتوا ندارد. این نوع پردازش اطلاعات شامل ترجمه متن از یک زبان به زبان دیگر است. فرم تغییر می کند، اما محتوا باید ثابت بماند. یک نوع پردازش مهم برای علوم کامپیوتر است کد نویسی. کدگذاری تبدیل اطلاعات به شکل نمادین مناسب برای ذخیره سازی، انتقال و پردازش آن است. کدگذاری به طور فعال در ابزارهای فنی کار با اطلاعات (تلگراف، رادیو، رایانه) استفاده می شود.

پردازش اطلاعات شامل ساختار داده ها می شود. ساختار با معرفی یک نظم خاص، یک سازمان خاص در مخزن اطلاعات همراه است. نمونه‌هایی از ساختاربندی عبارتند از ترتیب داده‌ها به ترتیب حروف الفبا، گروه‌بندی بر اساس معیارهای طبقه‌بندی خاص، و استفاده از یک نمایش جدولی.

یکی دیگر از انواع مهم پردازش اطلاعات جستجو است. وظیفه جستجو انتخاب اطلاعات لازم است که شرایط خاص جستجو را در مخزن اطلاعات موجود برآورده می کند. الگوریتم جستجو به نحوه سازماندهی اطلاعات بستگی دارد. اگر اطلاعات ساختاری باشد، جستجو سریعتر می شود و می توان الگوریتم بهینه ای ساخت.

بنابراین بسته به هدف پردازش اطلاعات، شکل ارائه یا محتوای آن ممکن است تغییر کند. فرآیندهای تغییر شکل ارائه اطلاعات اغلب به فرآیندهای رمزگذاری و رمزگشایی آن خلاصه می شود و همزمان با فرآیندهای جمع آوری و انتقال اطلاعات انجام می شود. فرآیند تغییر محتوای اطلاعات شامل رویه هایی مانند محاسبات عددی، ویرایش، سفارش، تعمیم، سیستم سازی و غیره است. اگر قوانین تبدیل اطلاعات کاملاً رسمی باشد و الگوریتمی برای اجرای آنها وجود داشته باشد، می توان دستگاهی برای پردازش خودکار اطلاعات ساخت.

شایان ذکر است ناهمگونی منابع اطلاعاتی، مشخصه بسیاری از حوزه های موضوعی است. یکی از راه های حل این مشکل است رویکرد شی گرا، رایج ترین در حال حاضر. اجازه دهید به طور خلاصه به مفاد اصلی آن توجه کنیم. بر اساس تجزیه رویکرد شی گرامبتنی بر شناسایی مفاهیم اساسی زیر است: شی، کلاس، نمونه.

یک شیانتزاعی از بسیاری از اشیاء در دنیای واقعی است که ویژگی ها و قوانین رفتاری یکسانی دارند. شی یک عنصر نامعین معمولی از چنین مجموعه ای را مشخص می کند. مشخصه اصلی یک شیء ترکیب صفات (خواص) آن است.

ویژگی های- این اشیاء خاص، که از طریق آن می توانید قوانینی را برای توصیف خصوصیات اشیاء دیگر تعیین کنید.

نمونه شییک عنصر خاص از یک مجموعه است. به عنوان مثال، یک شی ممکن است پلاک یک ماشین باشد و یک نمونه از این شی ممکن است یک عدد خاص K 173 PA باشد.

کلاس- این مجموعه ای از اشیاء دنیای واقعی است که با یک ساختار و رفتار مشترک به هم متصل شده اند. عنصر کلاسیک عنصر خاص از یک مجموعه داده شده است. به عنوان مثال، یک کلاس از شماره های ثبت نام خودرو.

اطلاعات به صورت سیگنال ارسال می شود. سیگنال یک فرآیند فیزیکی است که اطلاعات را حمل می کند. سیگنال می تواند صدا، نور، به صورت مرسوله پستی و غیره باشد.

بر اساس انواع (انواع) سیگنال ها موارد زیر متمایز می شوند:

آنالوگ

دیجیتال

گسسته

سیگنال آنالوگ:

سیگنال آنالوگ طبیعی است. با استفاده از آن قابل رفع است انواع مختلفحسگرها به عنوان مثال، سنسورهای محیطی (فشار، رطوبت) یا سنسورهای مکانیکی (شتاب، سرعت)

سیگنال دیجیتال:

سیگنال های دیجیتال مصنوعی هستند، به عنوان مثال. آنها را فقط می توان با تبدیل یک سیگنال الکتریکی آنالوگ به دست آورد.

سیگنال گسسته:

یک سیگنال گسسته همان سیگنال آنالوگ تبدیل شده است، فقط لزوماً در سطح کوانتیزه نمی شود.

نمونه برداری- تبدیل پیوسته کارکرد V گسسته.

استفاده شده در سیستم های محاسباتی ترکیبیو دستگاه های دیجیتال با کد پالس مدولاسیونسیگنال ها در سیستم های انتقال داده . هنگام انتقال تصاویر، از آنها برای تبدیل یک پیوسته استفاده می شود سیگنال آنالوگبه یک سیگنال گسسته یا گسسته پیوسته.

7. کدگذاری اطلاعات. الفبا. کلمه. فرهنگ لغت. کدگذاری باینری

1. کدگذاری اطلاعات معمولاً برای تبدیل پیام ها از فرمی مناسب برای استفاده فوری به فرمی مناسب برای انتقال، ذخیره سازی یا پردازش خودکار استفاده می شود.

هر اطلاعاتی که فناوری محاسبات مدرن با آن کار می کند به اعداد تبدیل می شود سیستم دودوییحساب کردن.

واقعیت این است که دستگاه های فیزیکی (رجیسترها، سلول های حافظه) می توانند در دو حالت باشند که با 0 یا 1 مرتبط هستند. استفاده از تعدادی مشابه دستگاه های فیزیکی، می توانید تقریباً هر عددی را در سیستم اعداد باینری در حافظه رایانه خود ذخیره کنید. کدگذاری رایانه ای اعداد صحیح، اعداد کسری و منفی و همچنین نمادها (حروف و ...) برای هر نوع ویژگی های خاص خود را دارد. با این حال، همیشه باید به خاطر داشته باشید که هر گونه اطلاعات (اعداد، متن، گرافیک، صدا و غیره) در حافظه رایانه به صورت اعداد در سیستم اعداد باینری (تقریباً همیشه) نشان داده می شود. در یک مفهوم کلی، رمزگذاری اطلاعات را می توان به عنوان ترجمه اطلاعاتی که توسط یک پیام در الفبای اولیه به دنباله ای از کدها نمایش داده می شود، تعریف کرد.

به طور معمول، پیام ها با استفاده از یک توالی مشخص از نمادها - علائم ارسال و ثبت می شوند.

الفبا زبان تفسیر پیام - مجموعه محدودی از علائم موجود در آن که معمولاً با شمارش مستقیم آنها مشخص می شود. دنباله آخر حروف الفبا نامیده می شود در یک کلمه در الفبا تعداد کاراکترهای یک کلمه طول کلمه را تعیین می کند. کلمات معتبر مختلفی شکل می گیرند واژگان (فرهنگ لغت) الفبا. هر الفبای ظاهری مرتب دارد، کاراکترها به ترتیب در یک ترتیب دقیق مرتب شده اند، بنابراین فرهنگ لغت تضمین می کند که همه کلمات بر اساس حروف الفبا مرتب شده اند.

طول کد برای رمزگذاری کاراکتر 8 بیت یا 1 بایت انتخاب شد. بنابراین، یک کاراکتر متن با یک بایت حافظه مطابقت دارد.

با طول کد 8 بیت، 28 = 256 ترکیب مختلف 0 و 1 می تواند وجود داشته باشد، بنابراین نمی توان بیش از 256 کاراکتر را با استفاده از یک جدول تبدیل کدگذاری کرد. با طول کد 2 بایت (16 بیت)، می توان 65536 کاراکتر را رمزگذاری کرد. برای رمزگذاری یک کاراکتر، مقداری از اطلاعات برابر با 1 بایت استفاده می شود، یعنی I = 1 بایت = 8 بیت. با استفاده از فرمولی که تعداد رویدادهای احتمالی K و مقدار اطلاعات I را به هم متصل می کند، می توانید محاسبه کنید که چند کاراکتر مختلف را می توان رمزگذاری کرد. نشان دهنده اطلاعات متنی

ماهیت رمزگذاری این است که به هر کاراکتر یک کد باینری از 00000000 تا 11111111 یا یک کد اعشاری مربوطه از 0 تا 255 اختصاص داده می شود. کد باینرینمادهای مختلف مطابقت دارند.

9. مقدار اطلاعات اندازه گیری مقدار اطلاعات و ویژگی های آن. فرمول هارتلی

مقدار اطلاعات - عددی که به اندازه کافی میزان تنوع (مجموعه حالت ها، گزینه های جایگزین و غیره) را در سیستم مورد ارزیابی مشخص می کند.

اندازه گیری اطلاعات – فرمول، معیار سنجش میزان اطلاعات.

معیار اطلاعات معمولاً توسط یک تابع غیرمنفی تعریف می‌شود که روی مجموعه‌ای از رویدادها تعریف می‌شود و افزودنی است، یعنی اندازه‌گیری یک اتحادیه متناهی از رویدادها (مجموعه‌ها) برابر است با مجموع اندازه‌های هر رویداد. مقدار اطلاعات عددی است که به اندازه کافی میزان تنوع (مجموعه حالت ها، گزینه های جایگزین و غیره) را در سیستم مورد ارزیابی مشخص می کند.