یادگیری شبکه های عصبی: از کجا شروع کنیم شبکه های عصبی: انواع، اصل عملکرد و دامنه

در نیمه اول سال 2016، جهان در مورد پیشرفت های زیادی در زمینه شبکه های عصبی شنید - گوگل (یک بازیکن شبکه در AlphaGo)، مایکروسافت (تعدادی از خدمات برای شناسایی تصویر)، استارت آپ های MSQRD، Prisma و دیگران نشان دادند. الگوریتم های آنها

به نشانک ها

سردبیران سایت می گویند که چه هستند شبکه های عصبیآنها برای چه هستند، چرا آنها سیاره زمین را در حال حاضر تسخیر کردند، و نه سالها قبل یا بعد، چقدر می توانید از آنها درآمد کسب کنید و بازیگران اصلی بازار چه کسانی هستند. کارشناسان موسسه فیزیک و فناوری مسکو، Yandex، Mail.Ru Group و Microsoft نیز نظرات خود را به اشتراک گذاشتند.

شبکه های عصبی چیست و چه وظایفی را می توانند حل کنند

شبکه های عصبی یکی از مسیرهای توسعه سیستم های هوش مصنوعی هستند. ایده این است که تا حد امکان کار یک انسان را شبیه سازی کنیم سیستم عصبی- یعنی توانایی او در یادگیری و تصحیح اشتباهات. این چیزی است که ویژگی اصلیهر شبکه عصبی - قادر است به طور مستقل یاد بگیرد و بر اساس تجربیات قبلی عمل کند و هر بار خطاهای کمتر و کمتری ایجاد کند.

شبکه عصبی نه تنها فعالیت، بلکه ساختار سیستم عصبی انسان را نیز تقلید می کند. چنین شبکه ای از تعداد زیادی عناصر محاسباتی منفرد ("نرون") تشکیل شده است. در بیشتر موارد، هر "نورون" به لایه خاصی از شبکه اشاره دارد. داده های ورودی به صورت متوالی در تمام لایه های شبکه پردازش می شوند. پارامترهای هر "نورون" بسته به نتایج به دست آمده در مجموعه های قبلی داده های ورودی می تواند تغییر کند، بنابراین ترتیب عملکرد کل سیستم را تغییر می دهد.

آندری کالینین، رئیس Mail.ru Search در Mail.Ru Group، خاطرنشان می‌کند که شبکه‌های عصبی قادر به حل وظایف مشابه دیگر الگوریتم‌های یادگیری ماشین هستند، تفاوت فقط در رویکرد یادگیری است.

تمام وظایفی که شبکه های عصبی می توانند حل کنند به نوعی با یادگیری مرتبط هستند. از جمله زمینه های اصلی کاربرد شبکه های عصبی می توان به پیش بینی، تصمیم گیری، تشخیص الگو، بهینه سازی، تحلیل داده ها اشاره کرد.

مدیر برنامه‌های همکاری فناوری مایکروسافت در روسیه، ولاد شرشولسکی خاطرنشان می‌کند که اکنون شبکه‌های عصبی در همه جا مورد استفاده قرار می‌گیرند: «به عنوان مثال، بسیاری از سایت‌های اینترنتی بزرگ از آن‌ها استفاده می‌کنند تا واکنش به رفتار کاربر را طبیعی‌تر و برای مخاطبان مفیدتر نشان دهند. شبکه های عصبی در قلب اکثریت هستند سیستم های مدرنتشخیص و سنتز گفتار و همچنین تشخیص و پردازش تصویر. آنها در برخی از سیستم های ناوبری استفاده می شوند ربات های صنعتییا وسایل نقلیه بدون سرنشین الگوریتم های مبتنی بر شبکه های عصبی محافظت می کنند سیستم های اطلاعاتیاز حملات مخرب و کمک به شناسایی محتوای غیرقانونی در شبکه."

شرشولسکی معتقد است در کوتاه مدت (5 تا 10 سال) شبکه های عصبی به طور گسترده تری مورد استفاده قرار خواهند گرفت:

یک ماشین برداشت کشاورزی را تصور کنید که دارای چندین دوربین فیلمبرداری در محرک های آن است. در هر دقیقه پنج هزار عکس از هر گیاه در نوار مسیر خود می گیرد و با استفاده از یک شبکه عصبی بررسی می کند که آیا علف هرز است، آیا تحت تأثیر بیماری است یا آفت. و هر گیاه را جداگانه درمان می کند. خارق العاده؟ واقعا دیگر نه. و در پنج سال ممکن است تبدیل به یک هنجار شود. - ولاد شرشولسکی، مایکروسافت

میخائیل بورتسف، رئیس آزمایشگاه سیستم‌های عصبی و یادگیری عمیق در مرکز MIPT برای سیستم‌های زنده، یک نقشه آزمایشی از توسعه شبکه‌های عصبی برای سال‌های 2016-2018 ارائه می‌دهد:

• سیستم های تشخیص و طبقه بندی اشیاء در تصاویر.
• رابط های تعامل صوتی برای اینترنت اشیا؛
• سیستم های نظارت بر کیفیت خدمات در مراکز تماس؛
• سیستم‌های تشخیص مشکلات (از جمله پیش‌بینی زمان نگهداری)، ناهنجاری‌ها، تهدیدات فیزیکی-سایبری؛
• امنیت فکری و سیستم های نظارت؛
• جایگزینی بخشی از عملکرد اپراتورهای مرکز تماس توسط ربات ها؛
• سیستم های تجزیه و تحلیل ویدئویی؛
• سیستم های خودآموزی که کنترل را بهینه می کند جریان موادیا محل اشیاء (در انبارها، حمل و نقل)؛
• سیستم‌های کنترل هوشمند و خودآموز برای فرآیندها و دستگاه‌های تولید (از جمله دستگاه‌های رباتیک)؛
• ظهور سیستم های ترجمه جهانی "در حال پرواز" برای کنفرانس ها و استفاده ی شخصی;
• ظهور ربات های مشاور پشتیبانی فنییا دستیاران شخصی، از نظر عملکرد نزدیک به یک شخص.

گریگوری باکونوف، مدیر انتشار فناوری در Yandex، معتقد است که توانایی چنین سیستم‌هایی برای تصمیم‌گیری‌های مختلف، مبنای گسترش شبکه‌های عصبی در پنج سال آینده خواهد بود: «مهمترین کاری که شبکه‌های عصبی در حال حاضر برای یک فرد انجام می‌دهند این است. تا او را از تصمیم گیری بیش از حد نجات دهد. بنابراین می توان آنها را تقریباً در هر جایی که تصمیمات نه چندان هوشمندانه توسط یک فرد زنده گرفته می شود استفاده کرد. در پنج سال آینده، این مهارت است که مورد بهره برداری قرار می گیرد و تصمیم گیری انسان را با یک ماشین ساده جایگزین می کند.

چرا شبکه های عصبی در حال حاضر بسیار محبوب شده اند؟

دانشمندان بیش از 70 سال است که در حال توسعه شبکه های عصبی مصنوعی هستند. اولین تلاش برای رسمی کردن یک شبکه عصبی به سال 1943 بازمی‌گردد، زمانی که دو دانشمند آمریکایی (وارن مک‌کالوچ و والتر پیتس) مقاله‌ای در مورد محاسبات منطقی ایده‌های انسان و فعالیت‌های عصبی ارائه کردند.

با این حال، آندری کالینین از گروه Mail.Ru می‌گوید تا همین اواخر، سرعت شبکه‌های عصبی برای استفاده گسترده از آن‌ها بسیار پایین بود و بنابراین چنین سیستم‌هایی عمدتاً در توسعه‌های مرتبط با بینایی کامپیوترو مناطق دیگر از الگوریتم های یادگیری ماشینی دیگر استفاده کردند.

بخش پر زحمت و زمان بر فرآیند توسعه یک شبکه عصبی، آموزش آن است. برای اینکه شبکه عصبی بتواند مجموعه وظایف را به درستی حل کند، باید کار خود را روی ده ها میلیون مجموعه داده ورودی "اجرا" کند. آندری کالینین و گریگوری باکونوف با ظهور فناوری‌های یادگیری شتاب‌دار مختلف است که گسترش شبکه‌های عصبی را مرتبط می‌کنند.

اصلی‌ترین اتفاقی که اکنون رخ داده این است که ترفندهای مختلفی ظاهر شده است که به شما امکان می‌دهد شبکه‌های عصبی را بسازید که بسیار کمتر مستعد بیش از حد برازش هستند. - گریگوری باکونوف، Yandex

"اول، یک آرایه بزرگ و در دسترس عموم از تصاویر علامت گذاری شده (ImageNet) ظاهر شده است که می توانید روی آن ها بیاموزید. ثانیاً، کارت‌های ویدئویی مدرن آموزش و استفاده از شبکه‌های عصبی را صدها برابر سریع‌تر ممکن می‌سازند. ثالثاً، شبکه های عصبی آماده و از پیش آموزش دیده ظاهر شدند که تصاویر را تشخیص می دادند که بر اساس آنها می توانید برنامه های کاربردی خود را بدون آماده سازی طولانی مدت شبکه عصبی برای کار ایجاد کنید. کالینین خاطرنشان می کند که همه اینها توسعه بسیار قدرتمندی از شبکه های عصبی در زمینه تشخیص الگو را فراهم می کند.

اندازه بازار شبکه های عصبی چیست؟

"محاسبه بسیار آسان است. شما می توانید هر منطقه ای را انتخاب کنید که از نیروی کار کم مهارت استفاده می کند - برای مثال اپراتورهای مرکز تماس - و به سادگی تمام منابع انسانی را کم کنید. من می گویم که ما در مورد بازار چند میلیارد دلاری صحبت می کنیم، حتی در داخل یک کشور. چند نفر در دنیا درگیر کارهای کم مهارت هستند به راحتی قابل درک است. گریگوری باکونوف، مدیر توزیع فناوری در Yandex می‌گوید، بنابراین حتی به‌طور انتزاعی، فکر می‌کنم که ما در مورد بازار صد میلیارد دلاری در سراسر جهان صحبت می‌کنیم.

بر اساس برخی برآوردها، بیش از نیمی از حرفه ها خودکار خواهند شد - این حداکثر مقداری است که می توان با آن بازار الگوریتم های یادگیری ماشین (و به ویژه شبکه های عصبی) را افزایش داد - آندری کالینین، گروه Mail.Ru

الگوریتم‌های یادگیری ماشینی گام بعدی در اتوماسیون هر فرآیند، در توسعه هر فرآیندی هستند. نرم افزار. بنابراین، بازار حداقل با کل بازار نرم افزار منطبق است، بلکه از آن پیشی می گیرد، زیرا ایجاد راه حل های هوشمند جدید غیرقابل دسترس برای نرم افزارهای قدیمی امکان پذیر می شود. .

چرا توسعه دهندگان شبکه های عصبی برنامه های تلفن همراه را برای بازار انبوه ایجاد می کنند؟

در چند ماه گذشته، چندین پروژه سرگرمی پرمخاطب با استفاده از شبکه های عصبی به طور همزمان در بازار ظاهر شده اند - این هم یک سرویس ویدیویی محبوب است که شبکه اجتماعی فیس بوک است و هم برنامه های کاربردی روسیبرای پردازش تصویر (سرمایه گذاری از Mail.Ru Group در ژوئن) و دیگران.

توانایی‌های شبکه‌های عصبی خود را نیز گوگل نشان داد (فناوری AlphaGo در Go قهرمان شد؛ در مارس 2016، این شرکت 29 نقاشی کشیده شده توسط شبکه‌های عصبی و غیره را در حراجی فروخت) و مایکروسافت (پروژه CaptionBot که به رسمیت می‌شناسد. تصاویر در تصاویر و ایجاد خودکار شرح‌ها برای آن‌ها؛ پروژه WhatDog که نژاد سگ را از روی عکس مشخص می‌کند؛ سرویس HowOld که سن یک فرد را در عکس مشخص می‌کند و غیره) و Yandex (در ماه ژوئن) ، این تیم سرویسی برای تشخیص اتومبیل ها در تصاویر در برنامه Avto.ru ایجاد کرد؛ یک آلبوم موسیقی ارائه کرد؛ در ماه مه او پروژه LikeMo.net را برای طراحی به سبک هنرمندان مشهور ایجاد کرد.

چنین سرویس‌های سرگرمی به جای حل مشکلات جهانی که هدف شبکه‌های عصبی است، ایجاد می‌شوند، بلکه برای نشان دادن قابلیت‌های یک شبکه عصبی و انجام آموزش آن ایجاد می‌شوند.

"بازی ها - ویژگی برجستهرفتار ما به عنوان یک گونه از یک طرف، تقریباً همه چیز را می توان در موقعیت های بازی شبیه سازی کرد. سناریوهای معمولیرفتار انسان و از طرفی سازندگان بازی و به خصوص بازیکنان می توانند از این روند لذت زیادی ببرند. یک جنبه کاملاً سودگرایانه نیز وجود دارد. یک بازی خوب طراحی شده نه تنها برای بازیکنان رضایت به ارمغان می آورد، بلکه آنها الگوریتم شبکه عصبی را در حین بازی آموزش می دهند. ولاد شرشولسکی از مایکروسافت می گوید، از این گذشته، شبکه های عصبی مبتنی بر یادگیری با مثال هستند.

اول از همه، این کار به منظور نشان دادن امکانات فناوری انجام می شود. واقعا دلیل دیگری وجود ندارد. اگر در مورد Prisma صحبت می کنیم، پس مشخص است که چرا آنها این کار را کردند. بچه ها خط لوله ای ساختند که به آنها اجازه می دهد با تصاویر کار کنند. برای نشان دادن این موضوع، آنها یک روش نسبتاً ساده را برای ایجاد سبک‌سازی انتخاب کرده‌اند. چرا که نه؟ گریگوری باکونوف از Yandex می‌گوید: «این فقط نمایشی از نحوه عملکرد الگوریتم‌ها است.

آندری کالینین از Mail.Ru Group نظر متفاوتی دارد: "البته، این از نظر عموم تماشایی است. از سوی دیگر، نمی توانم بگویم که محصولات سرگرمی را نمی توان در زمینه های مفیدتر اعمال کرد. به عنوان مثال، وظیفه استایل کردن تصاویر برای تعدادی از صنایع بسیار مرتبط است (طراحی، بازی های کامپیوتری، انیمیشن تنها چند نمونه است) و استفاده کامل از شبکه های عصبی می تواند هزینه و روش های تولید محتوا را به میزان قابل توجهی بهینه کند.

بازیگران اصلی در بازار شبکه های عصبی

همانطور که آندری کالینین اشاره می کند، به طور کلی، اکثر شبکه های عصبی موجود در بازار تفاوت چندانی با یکدیگر ندارند. «تکنولوژی تقریباً برای همه یکسان است. اما استفاده از شبکه های عصبی لذتی است که همه نمی توانند از پس آن برآیند. برای آموزش شبکه عصبی به تنهایی و انجام آزمایش های زیادی روی آن، به مجموعه های آموزشی بزرگ و ناوگانی از ماشین ها با کارت های ویدئویی گران قیمت نیاز دارید. بدیهی است که چنین احتمالاتی وجود دارد شرکت های بزرگ" او می گوید.

در میان بازیگران اصلی بازار، کالینین از گوگل و بخش آن Google DeepMind که شبکه AlphaGo را ایجاد کرد و Google Brain نام می برد. مایکروسافت پیشرفت های خاص خود را در این زمینه دارد - آنها توسط آزمایشگاه تحقیقاتی مایکروسافت اداره می شوند. شبکه های عصبی در IBM، فیس بوک (بخش تحقیقات هوش مصنوعی فیس بوک)، بایدو (موسسه بایدو) ایجاد می شوند. یادگیری عمیق) و دیگران. پیشرفت های زیادی در دانشگاه های فنی در سراسر جهان انجام می شود.

گریگوری باکونوف، مدیر انتشار فناوری در Yandex، خاطرنشان می‌کند که پیشرفت‌های جالبی در زمینه شبکه‌های عصبی در میان استارت‌آپ‌ها نیز دیده می‌شود. به عنوان مثال، ClarifAI را به خاطر می‌آورم. این یک استارت آپ کوچک است که زمانی توسط افرادی از Google ساخته شده است. در حال حاضر آنها احتمالا بهترین در جهان در شناسایی محتوای یک عکس هستند." این استارت آپ ها عبارتند از MSQRD، Prisma و غیره.

در روسیه، پیشرفت‌ها در زمینه شبکه‌های عصبی نه تنها توسط استارت‌آپ‌ها، بلکه توسط شرکت‌های فناوری بزرگ انجام می‌شود - به عنوان مثال، هلدینگ Mail.Ru Group از شبکه‌های عصبی برای پردازش و طبقه‌بندی متون در "جستجو"، تجزیه و تحلیل تصویر استفاده می‌کند. . این شرکت همچنین توسعه های آزمایشی مربوط به ربات ها و سیستم های مکالمه را انجام می دهد.

Yandex همچنین شبکه‌های عصبی خود را ایجاد می‌کند: «اساساً، چنین شبکه‌هایی قبلاً در کار با تصاویر، با صدا استفاده می‌شوند، اما ما در حال بررسی قابلیت‌های آنها در زمینه‌های دیگر هستیم. اکنون ما در حال انجام آزمایش‌های زیادی در زمینه استفاده از شبکه‌های عصبی در کار با متن هستیم.» توسعه در دانشگاه ها انجام می شود: در Skoltech، موسسه فیزیک و فناوری مسکو، دانشگاه دولتی مسکو، مدرسه عالی اقتصاد و دیگران.

شبکه عصبی چیست؟

شبکه عصبی مجموعه ای از نورون ها است که توسط سیناپس ها به هم متصل شده اند. ساختار شبکه عصبی مستقیماً از زیست شناسی وارد دنیای برنامه نویسی شد. به لطف این ساختار، دستگاه توانایی تجزیه و تحلیل و حتی به خاطر سپردن را به دست می آورد اطلاعات مختلف. شبکه های عصبی همچنین قادرند نه تنها اطلاعات دریافتی را تجزیه و تحلیل کنند، بلکه آن را از حافظه خود نیز بازتولید کنند. علاقه مندان باید حتما 2 ویدیو از TED Talks را تماشا کنند: ویدئو 1 , ویدئو 2). به عبارت دیگر، شبکه عصبی یک تفسیر ماشینی از مغز انسان است که حاوی میلیون‌ها نورون است که اطلاعات را به شکل تکانه‌های الکتریکی منتقل می‌کنند.

شبکه های عصبی چیست؟

شبکه های عصبی برای چیست؟

طبقه بندی- توزیع داده ها بر اساس پارامترها. به عنوان مثال، مجموعه ای از افراد به عنوان ورودی داده می شود و شما باید تصمیم بگیرید که کدام یک از آنها وام بدهند و به چه کسانی نه. این کار را می توان توسط یک شبکه عصبی، تجزیه و تحلیل اطلاعاتی مانند: سن، پرداخت بدهی، سابقه اعتباری و غیره انجام داد.

پیش بینی- توانایی پیش بینی مرحله بعدی. به عنوان مثال، افزایش یا سقوط سهام، بر اساس وضعیت بازار سهام.

به رسمیت شناختن- در حال حاضر، گسترده ترین کاربرد شبکه های عصبی. هنگامی که عکسی را جستجو می‌کنید در Google یا در دوربین‌های گوشی زمانی که موقعیت صورت شما را تشخیص می‌دهد و آن را برجسته می‌کند و موارد دیگر استفاده می‌شود.

حال، برای درک نحوه عملکرد شبکه های عصبی، اجازه دهید نگاهی به اجزای آن و پارامترهای آن بیندازیم.

نورون چیست؟

سیناپس چیست؟

مهم به یاد داشته باشیدکه در طول اولیه سازی شبکه عصبی، وزن ها تصادفی می شوند.

یک شبکه عصبی چگونه کار می کند؟

تابع فعال سازی

تابع خطی

سیگموئید

مماس هایپربولیک

مجموعه آموزشی

تکرار

دوران

خطا

به بخش دوم راهنمای شبکه های عصبی خوش آمدید. من فقط می خواهم از همه کسانی که خیلی زودتر منتظر قسمت دوم بودند عذرخواهی کنم. بنا به دلایلی مجبور شدم نوشتن آن را به تعویق بیندازم. در واقع من انتظار نداشتم که مقاله اول چنین تقاضایی داشته باشد و افراد زیادی علاقه مند شوند این موضوع. با در نظر گرفتن نظرات شما سعی می کنم تا حد امکان اطلاعات بیشتری را در اختیار شما قرار دهم و در عین حال نحوه ارائه آن را تا حد امکان شفاف نگه دارم. در این مقاله، من در مورد نحوه آموزش / آموزش شبکه های عصبی (به ویژه روش انتشار پس زمینه) صحبت خواهم کرد و اگر به دلایلی هنوز قسمت اول را نخوانده اید، اکیدا توصیه می کنم با آن شروع کنید. در روند نوشتن این مقاله، من همچنین می خواستم در مورد انواع دیگر شبکه های عصبی و روش های آموزشی صحبت کنم، اما وقتی شروع به نوشتن در مورد آنها کردم، متوجه شدم که این برخلاف روش ارائه من است. من درک می کنم که شما مشتاق به دست آوردن هرچه بیشتر اطلاعات هستید، با این حال، این موضوعات بسیار گسترده هستند و نیاز به تحلیل دقیق دارند و هدف اصلی من نوشتن مقاله دیگری با توضیح سطحی نیست، بلکه انتقال همه جنبه های موضوع به شما است. موضوع پوشش داده شده و درک مقاله تا حد امکان آسان شود. من عجله دارم طرفداران "کد نویسی" را ناراحت کنم، زیرا هنوز به استفاده از زبان برنامه نویسی متوسل نمی شوم و همه چیز را "روی انگشتانم" توضیح خواهم داد. مقدمه کافی است، اکنون مطالعه شبکه های عصبی را ادامه می دهیم.

نورون سوگیری چیست؟

نورون سوگیری برای چیست؟

از درس ریاضی مدرسه می دانیم که اگر تابع y = ax + b را بگیریم و مقادیر آن را "a" تغییر دهیم، شیب تابع تغییر می کند (رنگ خطوط روی نمودار سمت چپ)، و اگر "b" را تغییر دهیم، تابع را به راست یا چپ (رنگ خطوط در نمودار سمت راست) تغییر می دهیم. بنابراین "a" وزن H1 و "b" وزن نورون بایاس B1 است. این یک مثال تقریبی است، اما تقریباً به همین شکل است (اگر به عملکرد فعال سازی در سمت راست در تصویر نگاه کنید، شباهت بسیار زیادی بین فرمول ها مشاهده خواهید کرد). یعنی وقتی در طول تمرین، وزن نورون های مخفی و خروجی را تنظیم می کنیم، شیب تابع فعال سازی را تغییر می دهیم. با این حال، تنظیم وزن نورون‌های سوگیری می‌تواند به ما این توانایی را بدهد که تابع فعال‌سازی را در امتداد محور x تغییر دهیم و نواحی جدید را بگیریم. به عبارت دیگر، اگر نقطه مسئول تصمیم شما، همانطور که در نمودار سمت چپ نشان داده شده است، قرار داشته باشد، آنگاه NN شما هرگز نمی تواند بدون استفاده از نورون های سوگیری مشکل را حل کند. بنابراین، به ندرت شبکه های عصبی را بدون نورون های سوگیری می بینید.

همچنین، نورون‌های بایاس زمانی کمک می‌کنند که همه نورون‌های ورودی 0 را به عنوان ورودی دریافت کنند و مهم نیست که وزن آنها چقدر باشد، همه آنها به لایه بعدی 0 منتقل می‌شوند، اما اگر یک نورون بایاس وجود داشته باشد، خیر. وجود یا عدم وجود نورون های سوگیری یک فراپارامتر است (در ادامه در مورد آن توضیح خواهیم داد). به طور خلاصه، شما باید تصمیم بگیرید که آیا نیاز به استفاده از نورون های سوگیری دارید یا خیر، با اجرای NN ها با و بدون نورون های سوگیری و مقایسه نتایج.

مهمتوجه داشته باشید که گاهی اوقات نمودارها نورون های بایاس را نشان نمی دهند، بلکه به سادگی وزن آنها را هنگام محاسبه مقدار ورودی در نظر می گیرند، به عنوان مثال:

ورودی = H1*w1+H2*w2+b3
b3 = تعصب *w3

از آنجایی که خروجی آن همیشه 1 است، می توانیم به سادگی تصور کنیم که یک سیناپس اضافی با یک وزن داریم و این وزن را بدون ذکر خود نورون به مجموع اضافه کنیم.

چگونه می توان مجلس شورای ملی را وادار به پاسخ صحیح کرد؟

• روش پس انتشار
• روش انتشار ارتجاعی یا Rprop
• الگوریتم ژنتیک

Gradient Descent چیست؟

پس این گرادیان چیست؟ گرادیان برداری است که شیب شیب را تعیین می کند و جهت آن را نسبت به هر یک از نقاط روی سطح یا نمودار نشان می دهد. برای یافتن گرادیان، باید مشتق نمودار را برای یک نقطه مشخص بگیرید (همانطور که در نمودار نشان داده شده است). با حرکت در جهت این گرادیان، به آرامی به سمت دشت سر می‌خوریم. حال تصور کنید که خطا یک اسکی باز است و نمودار تابع یک کوه است. بر این اساس، اگر خطا 100٪ باشد، اسکی باز در بالای کوه است و اگر خطا 0٪ باشد، در دشت قرار دارد. مانند همه اسکی بازان، خطا در سریع ترین زمان ممکن کاهش می یابد و ارزش آن کاهش می یابد. در نهایت باید به نتیجه زیر برسیم:

همانطور که ممکن است حدس بزنید، این بسته به اسکی باز شتاب لازم را برای غلبه بر تپه ای می دهد که ما را در حداقل های محلی نگه می دارد، اما یک BUT وجود دارد. بیایید تصور کنیم که مقدار مشخصی را برای پارامتر لحظه تنظیم کرده ایم و به راحتی توانستیم بر تمام حداقل های محلی غلبه کنیم و به حداقل جهانی برسیم. از آنجایی که نمی‌توانیم فقط جت پک را خاموش کنیم، می‌توانیم از پایین‌ترین سطح جهانی بگذریم اگر پایین‌ترین قیمت‌های دیگری در کنار آن وجود داشته باشد. در مورد نهایی ، این چندان مهم نیست ، زیرا دیر یا زود ما هنوز به حداقل جهانی باز خواهیم گشت ، اما شایان ذکر است که هر چه لحظه بیشتر باشد ، نوسانی که اسکی باز با آن در زمین های پست سوار می شود بیشتر می شود. همراه با لحظه، روش پس انتشار نیز از پارامتری مانند نرخ یادگیری استفاده می کند. همانطور که بسیاری احتمالاً فکر می کنند، هر چه میزان یادگیری بالاتر باشد، ما سریعتر شبکه عصبی را آموزش خواهیم داد. خیر نرخ یادگیری، و همچنین لحظه، یک فراپارامتر است - مقداری که از طریق آزمون و خطا انتخاب می شود. سرعت یادگیری می تواند به طور مستقیم با سرعت اسکی باز مرتبط باشد و می توانیم با اطمینان بگوییم - آرام تر خواهید رفت. با این حال، در اینجا نیز جنبه های خاصی وجود دارد، زیرا اگر اصلاً به اسکی باز سرعت ندهیم، او اصلاً به جایی نخواهد رفت و اگر سرعت پایینی داشته باشیم، زمان سفر می تواند بسیار بسیار طولانی شود. دوره زمانی. اگر سرعت زیادی بدهیم چه اتفاقی می افتد؟

روش چیست انتشار پشت(MOR)؟

حالا بیایید از جایی که در مقاله قبلی محاسبات را کنار گذاشتیم، ادامه دهیم.

این وظایف از مقاله قبلی

ورودی H1 = 1*0.45+0*-0.12=0.45
خروجی H1 = سیگموئید (0.45) = 0.61

ورودی H2 = 1*0.78+0*0.13=0.78
خروجی H2 = سیگموئید (0.78) = 0.69

ورودی O1 = 0.61*1.5+0.69*-2.3=-0.672
خروجی O1 = سیگموئید(-0.672)=0.33

O1ideal = 1 (0xor1=1)

خطا = ((1-0.33)^2)/1=0.45

نتیجه 0.33 است، خطا 45٪ است.

راه حل

خروجی O1 = 0.33
O1 ایده آل = ​​1
خطا = 0.45

O1 = (1 - 0.33) * ((1 - 0.33) * 0.33) = 0.148

راه حل

خروجی H1 = 0.61
w5 = 1.5
?O1 = 0.148

H1 = ((1 - 0.61) * 0.61) * (1.5 * 0.148) = 0.053

راه حل

خروجی H1 = 0.61
?O1 = 0.148

GRADw5 = 0.61 * 0.148 = 0.09

در اینجا ما 2 ثابت را می بینیم که قبلاً در مورد الگوریتم نزول گرادیان صحبت کردیم: E (epsilon) - نرخ یادگیری، ? (آلفا) - لحظه. با ترجمه فرمول به کلمات، دریافت می کنیم: تغییر وزن سیناپس برابر است با نرخ یادگیری ضرب در گرادیان این وزن، لحظه ضرب شده در تغییر قبلی در این وزن را اضافه کنید (در اولین تکرار 0 است. ). در این صورت، بیایید تغییر وزن w5 را محاسبه کرده و با اضافه کردن ?w5 به آن، مقدار آن را به روز کنیم.

راه حل

E = 0.7
? = 0.3
w5 = 1.5
GRADw5 = 0.09
?w5(i-1) = 0

W5 = 0.7 * 0.09 + 0 * 0.3 = 0.063
w5 = w5 + ?w5 = 1.563

راه حل

خروجی H2 = 0.69
w6 = -2.3
?O1 = 0.148
E = 0.7
? = 0.3
?w6(i-1) = 0

H2 = ((1 - 0.69) * 0.69) * (-2.3 * 0.148) = -0.07

GRADw6 = 0.69 * 0.148 = 0.1

W6 = 0.7 * 0.1 + 0 * 0.3 = 0.07

W6 = w6 + ?w6 = -2.2

راه حل

w1 = 0.45، ?w1 (i-1) = 0
w2 = 0.78، ?w2(i-1) = 0
w3 = -0.12، ?w3(i-1) = 0
w4 = 0.13، ?w4(i-1) = 0
?H1 = 0.053
?H2 = -0.07
E = 0.7
? = 0.3

GRADw1 = 1 * 0.053 = 0.053
GRADw2 = 1 * -0.07 = -0.07
GRADw3 = 0 * 0.053 = 0
GRADw4 = 0 * -0.07 = 0

W1 = 0.7 * 0.053 + 0 * 0.3 = 0.04
?w2 = 0.7 * -0.07 + 0 * 0.3 = -0.05
?w3 = 0.7 * 0 + 0 * 0.3 = 0
?w4 = 0.7 * 0 + 0 * 0.3 = 0

W1 = w1 + ?w1 = 0.5
w2 = w2 + ?w2 = 0.73
w3 = w3 + ?w3 = -0.12
w4 = w4 + ?w4 = 0.13

راه حل

I1 = 1
I2 = 0
w1 = 0.5
w2 = 0.73
w3 = -0.12
w4 = 0.13
w5 = 1.563
w6 = -2.2

ورودی H1 = 1 * 0.5 + 0 * -0.12 = 0.5
خروجی H1 = سیگموئید (0.5) = 0.62

ورودی h2 = 1 * 0.73 + 0 * 0.124 = 0.73
خروجی h2 = سیگموئید (0.73) = 0.675

ورودی O1 = 0.62 * 1.563 + 0.675 * -2.2 = -0.51
خروجی O1 = سیگموئید (-0.51) = 0.37

O1ideal = 1 (0xor1=1)

خطا = ((1-0.37)^2)/1=0.39

نتیجه 0.37 است، خطا 39٪ است.

چه چیز دیگری باید در مورد فرآیند یادگیری بدانید؟

یادگیری با معلم- این نوع آموزش ذاتی در مشکلاتی مانند رگرسیون و طبقه بندی است (ما در مثال بالا از آن استفاده کردیم). به عبارت دیگر، در اینجا شما معلم هستید و HC دانش آموز است. شما داده های ورودی و نتیجه دلخواه را ارائه می دهید، یعنی دانش آموز با نگاهی به داده های ورودی، متوجه می شود که باید برای نتیجه ای که به او ارائه کردید تلاش کنید.

یادگیری بدون معلماین نوع یادگیری چندان رایج نیست. اینجا معلمی وجود ندارد، بنابراین شبکه به نتیجه مطلوب نمی رسد یا تعداد آنها بسیار کم است. اساساً این نوع آموزش در شبکه های عصبی ذاتی است که در آن وظیفه گروه بندی داده ها بر اساس پارامترهای خاص است. فرض کنید شما 10000 مقاله در مورد هابره را به ورودی ارسال می کنید و پس از تجزیه و تحلیل همه این مقالات، مجلس ملی می تواند آنها را بر اساس، به عنوان مثال، بر اساس کلمات متداول طبقه بندی کند. مقالاتی که به زبان های برنامه نویسی، برنامه نویسی و کلماتی مانند فتوشاپ برای طراحی اشاره می کنند.

روش جالب دیگری نیز وجود دارد یادگیری تقویتی(یادگیری تقویتی). این روش سزاوار یک مقاله جداگانه است، اما من سعی خواهم کرد به طور خلاصه ماهیت آن را شرح دهم. این روش زمانی قابل اجرا است که بتوانیم بر اساس نتایج دریافتی از شورای ملی، آن را ارزیابی کنیم. به عنوان مثال، ما می خواهیم به NS بازی PAC-MAN را آموزش دهیم، سپس هر بار که NS امتیازهای زیادی به دست آورد، او را تشویق می کنیم. به عبارت دیگر، ما به مجلس شورای ملی این حق را می دهیم که هر راهی را برای رسیدن به هدف بیابد، تا زمانی که می دهد نتیجه خوب. به این ترتیب، شبکه شروع به درک آنچه می خواهد از آن به دست آورد و در تلاش برای یافتن است بهترین راهدستیابی به این هدف بدون ارائه مداوم داده ها توسط "معلم".

همچنین آموزش به سه روش استوکاستیک (استوکاستیک)، روش دسته ای (بچ) و روش مینی بچ (مینی بچ) قابل انجام است. مقالات و مطالعات زیادی در مورد اینکه کدام روش بهتر است وجود دارد و هیچ کس نمی تواند به یک پاسخ کلی برسد. من طرفدار روش تصادفی هستم، اما منکر این واقعیت نیستم که هر روشی مزایا و معایب خود را دارد.

مختصری در مورد هر روش:

تصادفی(گاهی اوقات به صورت آنلاین نیز نامیده می شود) این روش طبق اصل زیر کار می کند - پیدا شد؟ w بلافاصله وزن مربوطه را به روز کنید.

روش دسته ایمتفاوت کار می کند ما ?w از تمام وزن ها را در تکرار جاری جمع می کنیم و تنها پس از آن همه وزن ها را با استفاده از این مجموع به روز می کنیم. یکی از مهم ترین مزایای این روش صرفه جویی قابل توجه در زمان محاسبه است، در حالی که دقت در این مورد می تواند بسیار آسیب ببیند.

روش مینی بچمیانگین طلایی است و سعی در ترکیب مزایای هر دو روش دارد. در اینجا اصل به شرح زیر است: ما به طور تصادفی وزن ها را بین گروه ها توزیع می کنیم و وزن آنها را با مجموع وزن های یک گروه خاص تغییر می دهیم.

هایپرپارامترها چیست؟

• لحظه و سرعت یادگیری
• تعداد لایه های پنهان
• تعداد نورون ها در هر لایه
• وجود یا عدم وجود نورون های سوگیری

همگرایی چیست؟

بازآموزی چیست؟

نتیجه

امروز در هر گوشه، اینجا و آنجا، از مزایای شبکه های عصبی فریاد می زنند. اما آنچه هست، فقط تعداد کمی واقعاً می فهمند. اگر برای توضیحات به ویکی پدیا مراجعه کنید، سرتان از بلندای ارگ اصطلاحات و تعاریف علمی ساخته شده در آنجا می چرخد. اگر از مهندسی ژنتیک فاصله دارید و زبان خشک گیج کننده کتاب های درسی دانشگاهی فقط باعث سردرگمی و بدون ایده می شود، پس بیایید با هم مشکل شبکه های عصبی را درک کنیم.

برای درک مشکل، باید علت اصلی را که کاملاً در سطح است، پیدا کنید. با یادآوری سارا کانر، با لرز متوجه می‌شویم که پیشگامان توسعه رایانه، وارن مک‌کالوچ و والتر پیتس، هدف خودخواهانه ایجاد اولین هوش مصنوعی را دنبال کردند.

شبکه های عصبی نمونه اولیه الکترونیکی یک سیستم خودآموز هستند. مانند یک کودک، یک شبکه عصبی اطلاعات را جذب می کند، آن را می جود، تجربه کسب می کند و یاد می گیرد. در فرآیند یادگیری، چنین شبکه‌ای توسعه می‌یابد، رشد می‌کند و می‌تواند به تنهایی نتیجه‌گیری کند و تصمیم بگیرد.

اگر مغز انسان از نورون‌ها تشکیل شده باشد، آنگاه به طور مشروط موافقت خواهیم کرد که نورون الکترونیکی نوعی جعبه خیالی است که ورودی‌ها و یک خروجی زیادی دارد. الگوریتم داخلی نورون روش پردازش و تجزیه و تحلیل اطلاعات دریافتی و تبدیل آن به یک مخزن دانش مفید را تعیین می کند. بسته به اینکه ورودی ها و خروجی ها چقدر خوب کار می کنند، کل سیستم یا به سرعت فکر می کند، یا برعکس، می تواند کند شود.

مهم: به طور معمول از اطلاعات آنالوگ در شبکه های عصبی استفاده می شود.

ما تکرار می کنیم که می تواند جریان های ورودی اطلاعات زیادی وجود داشته باشد (در اصطلاح علمی، این ارتباط اطلاعات اولیه و "نرون" ما سیناپس نامیده می شود) و همه آنها ماهیت متفاوتی دارند و اهمیت نابرابر دارند. به عنوان مثال، فرد جهان اطراف خود را از طریق اندام های بینایی، لامسه و بویایی درک می کند. منطقی است که بینایی مهمتر از بویایی است. بر اساس موقعیت های مختلف زندگی، ما از اندام های حسی خاصی استفاده می کنیم: در تاریکی کامل، لامسه و شنوایی به منصه ظهور می رسد. سیناپس ها در شبکه های عصبی با قیاس یکسان در موقعیت های مختلف اهمیت متفاوتی خواهند داشت که معمولاً با وزن اتصال نشان داده می شود. هنگام نوشتن کد، حداقل آستانه برای عبور اطلاعات تعیین می شود. اگر وزن اتصال بیشتر باشد مقدار را تنظیم کنید، سپس نتیجه بررسی توسط نورون مثبت است (و برابر با یکدر سیستم باینری)، اگر کمتر باشد، منفی است. منطقی است که هرچه نوار بالاتر تنظیم شود، کار شبکه عصبی دقیق تر خواهد بود، اما زمان بیشتری می برد.

برای اینکه یک شبکه عصبی به درستی کار کند، باید زمانی را برای آموزش آن صرف کنید - این تفاوت اصلی با الگوریتم های قابل برنامه ریزی ساده است. مانند یک کودک کوچک، یک شبکه عصبی به یک پایگاه اطلاعات اولیه نیاز دارد، اما اگر کد اولیه به درستی نوشته شود، خود شبکه عصبی نه تنها می‌تواند انتخاب درستی از اطلاعات موجود داشته باشد، بلکه مفروضات مستقلی نیز ایجاد می‌کند.

هنگام نوشتن کد اولیه، باید اقدامات خود را به معنای واقعی کلمه روی انگشتان توضیح دهید. اگر مثلاً با تصاویر کار کنیم، در مرحله اول، ارزش برای ما اندازه و کلاس آن خواهد بود. اگر مشخصه اول تعداد ورودی ها را به ما بگوید، دومی به خود شبکه عصبی کمک می کند تا با اطلاعات مقابله کند. در حالت ایده آل، پس از بارگذاری داده های اولیه و مقایسه توپولوژی کلاس ها، شبکه عصبی می تواند خود اطلاعات جدید را طبقه بندی کند. فرض کنید تصمیم داریم یک تصویر 3x5 پیکسل را آپلود کنیم. محاسبات سادهبه ما می گوید که ورودی وجود خواهد داشت: 3*5=15. و خود طبقه بندی تعداد کل خروجی ها را تعیین می کند، یعنی. نورون ها مثال دیگر: یک شبکه عصبی باید حرف C را تشخیص دهد. آستانه مشخص شده مطابقت کامل با حرف است، این به یک نورون با تعداد ورودی برابر با اندازه تصویر نیاز دارد.

بیایید بگوییم که اندازه همان پیکسل 3x5 خواهد بود. تغذیه برنامه تصاویر مختلفحروف یا اعداد، به آن آموزش می دهیم تا تصویر نماد مورد نیاز خود را مشخص کند.

مانند هر آموزشی، دانش آموز برای پاسخ نادرست باید تنبیه شود، اما برای پاسخ درست چیزی نخواهیم داد. اگر برنامه پاسخ صحیح را نادرست دریافت کند، وزن ورودی هر سیناپس را افزایش می دهیم. اگر برعکس، با نتیجه نادرست، برنامه نتیجه را مثبت یا True در نظر گرفت، وزن هر ورودی را به نورون کم می کنیم. منطقی تر است که یادگیری را با شناخت نماد مورد نیاز خود شروع کنیم. نتیجه اول نادرست خواهد بود، اما با کمی تصحیح کد، با کار بیشتربرنامه به درستی کار خواهد کرد مثال داده شده از یک الگوریتم برای ساخت کد برای یک شبکه عصبی، پارسترون نامیده می شود.

همچنین گزینه های پیچیده تری برای عملکرد شبکه های عصبی با بازگشت داده های نادرست، تجزیه و تحلیل آنها و نتیجه گیری های منطقی خود شبکه وجود دارد. به عنوان مثال، یک پیش بینی آنلاین آینده یک شبکه عصبی کاملا برنامه ریزی شده است. چنین برنامه هایی هم با معلم و هم بدون معلم قادر به یادگیری هستند و به آنها رزونانس تطبیقی ​​می گویند. ماهیت آنها در این واقعیت نهفته است که نورون ها از قبل ایده های خود را در مورد انتظار نوع اطلاعاتی که می خواهند دریافت کنند و به چه شکلی دارند، دارند. بین انتظار و واقعیت، آستانه باریکی از به اصطلاح هوشیاری نورون ها وجود دارد که به شبکه کمک می کند تا اطلاعات دریافتی را به درستی طبقه بندی کند و حتی یک پیکسل را از دست ندهد. ویژگی شبکه عصبی AR این است که از همان ابتدا به تنهایی یاد می گیرد و به طور مستقل آستانه هوشیاری عصبی را تعیین می کند. که به نوبه خود در طبقه بندی اطلاعات نقش دارد: هر چه شبکه هوشیارتر باشد، دقیق تر است.

ما اصول اولیه دانش در مورد شبکه های عصبی را دریافت کرده ایم. حال بیایید سعی کنیم اطلاعات دریافتی را خلاصه کنیم. بنابراین، شبکه های عصبینمونه اولیه الکترونیکی تفکر انسان است. آنها از نورون های الکترونیکی و سیناپس ها تشکیل شده اند - اطلاعات در ورودی و خروجی از نورون جریان می یابد. شبکه های عصبی بر اساس اصل یادگیری با معلم (برنامه نویسی که اطلاعات اولیه را بارگذاری می کند) یا به طور مستقل (بر اساس فرضیات و انتظارات از اطلاعات دریافتی که توسط همان برنامه نویس تعیین می شود) برنامه ریزی می شوند. با کمک یک شبکه عصبی، می توانید هر سیستمی را ایجاد کنید: از تعریف سادهاستفاده از تصاویر پیکسلی برای تشخیص روانشناسی و تحلیل اقتصادی.

موضوع هوش مصنوعی و شبکه های عصبی اکنون بیش از هر زمان دیگری محبوب شده است. بسیاری از کاربران به طور فزاینده ای در مورد نحوه عملکرد شبکه های عصبی، چیستی و اصل فعالیت آنها سوال می پرسند؟

این سؤالات، همراه با محبوبیت آنها، پیچیدگی قابل توجهی نیز دارند، زیرا فرآیندها الگوریتم های پیچیده یادگیری ماشینی هستند که برای اهداف مختلف، از تجزیه و تحلیل تغییرات گرفته تا مدل سازی ریسک های مرتبط با اقدامات خاص، طراحی شده اند.

شبکه های عصبی و انواع آنها چیست؟

اولین سوالی که در بین علاقه مندان مطرح می شود این است که شبکه عصبی چیست؟ در تعریف کلاسیک، این توالی خاصی از نورون ها است که توسط سیناپس ها به هم متصل می شوند. شبکه های عصبی یک مدل ساده شده از آنالوگ های بیولوژیکی هستند.

این برنامه که ساختار یک شبکه عصبی را دارد، به ماشین اجازه می دهد تا داده های ورودی را تجزیه و تحلیل کند و نتیجه به دست آمده از منابع خاص را به خاطر بسپارد. متعاقباً، این رویکرد به شما امکان می دهد تا نتیجه مربوط به مجموعه داده های فعلی را از حافظه بازیابی کنید، اگر قبلاً در تجربه چرخه های شبکه موجود بود.

بسیاری شبکه عصبی را شبیه به مغز انسان می دانند. از یک سو، این قضاوت را می توان نزدیک به حقیقت دانست، اما، از سوی دیگر، مغز انسان مکانیزم بسیار پیچیده ای است که نمی تواند آن را با استفاده از یک ماشین، حتی برای کسری از درصد، بازسازی کند. یک شبکه عصبی در درجه اول یک برنامه مبتنی بر اصل مغز است، اما نه مشابه آن.

شبکه عصبی مجموعه‌ای از نورون‌ها است که هر کدام اطلاعات را دریافت کرده، پردازش می‌کنند و به نورون دیگری منتقل می‌کنند. هر نورون سیگنال را دقیقاً به همان روش پردازش می کند.

پس چگونه نتیجه متفاوت است؟ همه چیز در مورد سیناپس هایی است که نورون ها را به یکدیگر متصل می کنند. یک نورون می تواند تعداد زیادی سیناپس داشته باشد که سیگنال را تقویت یا تضعیف می کند، در حالی که آنها توانایی تغییر ویژگی های خود را در طول زمان دارند.

این دقیقاً پارامترهای سیناپسی است که به درستی انتخاب شده است که به دست آوردن نتیجه صحیح از تبدیل داده های ورودی در خروجی را ممکن می کند.

با تعریف کلی شبکه عصبی، می توان انواع اصلی طبقه بندی آنها را تشخیص داد. قبل از اقدام به طبقه بندی، باید یک توضیح ارائه شود. هر شبکه دارای اولین لایه نورون است که به آن ورودی می گویند.

هیچ محاسبه و تبدیلی انجام نمی دهد، وظیفه آن تنها یک است: پذیرش و توزیع به سایر نورون ها سیگنال های ورودی. این تنها لایه ای است که در همه انواع شبکه های عصبی مشترک است و ساختار بعدی آنها ملاک تقسیم بندی اصلی است.

• شبکه عصبی تک لایه این ساختاری از تعامل بین نورون ها است که در آن، پس از ورود داده های ورودی به اولین لایه ورودی، بلافاصله به لایه خروجی نتیجه نهایی منتقل می شود. در این مورد، اولین لایه ورودی در نظر گرفته نمی شود، زیرا هیچ عمل دیگری به جز دریافت و توزیع انجام نمی دهد، قبلاً در بالا ذکر شد. و لایه دوم تمام محاسبات و پردازش های لازم را انجام می دهد و بلافاصله نتیجه نهایی را می دهد. نورون های ورودی توسط سیناپس هایی به لایه اصلی متصل می شوند که دارای ضرایب وزنی متفاوتی هستند که کیفیت اتصالات را تضمین می کند.
• شبکه عصبی چند لایه همانطور که از تعریف مشخص است، این نوع شبکه های عصبی علاوه بر لایه های ورودی و خروجی، دارای لایه های میانی نیز می باشند. تعداد آنها به میزان پیچیدگی خود شبکه بستگی دارد. او در بیشترشبیه ساختار یک شبکه عصبی بیولوژیکی است. این نوع شبکه ها اخیراً توسعه یافته اند، قبل از آن همه فرآیندها با استفاده از شبکه های تک لایه پیاده سازی می شدند. به ترتیب تصمیم مشابهویژگی های بسیار بیشتری نسبت به جد خود دارد. در فرآیند پردازش اطلاعات، هر لایه میانی نشان دهنده مرحله میانی در پردازش و توزیع اطلاعات است.

بسته به جهت توزیع اطلاعات در سیناپس ها از یک نورون به نورون دیگر، شبکه ها را نیز می توان به دو دسته طبقه بندی کرد.

• شبکه های انتشار مستقیم یا تک جهتی، یعنی ساختاری که در آن سیگنال به شدت از لایه ورودی به لایه خروجی حرکت می کند. حرکت سیگنال در جهت مخالف امکان پذیر نیست. چنین تحولاتی کاملاً گسترده است در حال حاضرمشکلاتی مانند تشخیص، پیش‌بینی یا خوشه‌بندی را با موفقیت حل می‌کند.
• شبکه های با بازخوردیا مکرر چنین شبکه هایی به سیگنال اجازه می دهند که نه تنها در جلو، بلکه در جهت مخالف نیز حرکت کند. چه چیزی می دهد؟ در چنین شبکه هایی می توان نتیجه خروجی را بر این اساس به ورودی برگرداند، خروجی نورون با وزن ها و سیگنال های ورودی تعیین می شود و با خروجی های قبلی که دوباره به ورودی بازگشته بودند تکمیل می شود. چنین شبکه هایی با عملکرد حافظه کوتاه مدت مشخص می شوند که بر اساس آن سیگنال ها در طول پردازش بازیابی و تکمیل می شوند.

اینها تنها گزینه های طبقه بندی شبکه ها نیستند.

آنها را می توان بر اساس انواع نورون هایی که شبکه را تشکیل می دهند به همگن و هیبریدی تقسیم کرد. و همچنین در heteroassociative یا autoassociative، بسته به روش آموزش شبکه، با یا بدون معلم. همچنین می توانید شبکه ها را بر اساس هدفشان طبقه بندی کنید.

شبکه های عصبی کجا استفاده می شوند؟

از شبکه های عصبی برای حل مسائل مختلف استفاده می شود. اگر وظایف را با توجه به میزان پیچیدگی در نظر بگیریم، کار معمولی برای حل ساده ترین کارها مناسب است. برنامه کامپیوتری، بیشتر
کارهای پیچیده ای که نیاز به پیش بینی ساده یا حل تقریبی معادلات دارند، از برنامه هایی با استفاده از روش های آماری استفاده می شود.

اما وظایف یک سطح حتی پیچیده تر نیاز به رویکردی کاملاً متفاوت دارد. به ویژه، این امر در مورد تشخیص الگو، گفتار یا پیش بینی پیچیده صدق می کند. در سر یک فرد، چنین فرآیندهایی به طور ناخودآگاه رخ می دهد، یعنی در هنگام شناسایی و به خاطر سپردن تصاویر، فرد متوجه نمی شود که این فرآیند چگونه رخ می دهد و بنابراین نمی تواند آن را کنترل کند.

این وظایف است که شبکه های عصبی به حل آنها کمک می کنند، یعنی برای انجام فرآیندهایی طراحی شده اند که الگوریتم های آنها ناشناخته است.

بنابراین، شبکه های عصبی به طور گسترده در زمینه های زیر استفاده می شوند:

• شناخت، و این جهت در حال حاضر گسترده ترین است.
• پیش بینی مرحله بعدی، این ویژگی در معاملات و بازارهای سهام قابل اجرا است.
• طبقه‌بندی داده‌های ورودی بر اساس پارامترها، این تابع توسط روبات‌های وام انجام می‌شود که می‌توانند با تکیه بر مجموعه ورودی از پارامترهای مختلف، در مورد تأیید وام به شخص تصمیم بگیرند.

توانایی های شبکه های عصبی آنها را بسیار محبوب کرده است. می توان خیلی چیزها را به آنها آموزش داد، مانند بازی کردن، تشخیص صدای خاص و غیره. بر اساس این واقعیت که شبکه های مصنوعی بر اساس اصل شبکه های بیولوژیکی ساخته شده اند، می توان آنها را در تمام فرآیندهایی که شخص به صورت ناخودآگاه انجام می دهد آموزش داد.

نورون و سیناپس چیست؟

بنابراین یک نورون در زمینه شبکه های عصبی مصنوعی چیست؟ این مفهوم به واحدی اشاره دارد که محاسبات را انجام می دهد. اطلاعات را از لایه ورودی شبکه دریافت می کند، محاسبات ساده ای را با آن انجام می دهد و آن را به نورون بعدی می خورد.

سه نوع نورون در شبکه وجود دارد: ورودی، پنهان و خروجی. علاوه بر این، اگر شبکه یک لایه است، آنگاه حاوی نورون های پنهان نیست. علاوه بر این، واحدهای مختلفی به نام نورون سوگیری و نورون زمینه وجود دارد.

هر نورون دارای دو نوع داده است: ورودی و خروجی. در این حالت داده های ورودی لایه اول با داده های خروجی برابر است. در موارد دیگر، ورودی نورون کل اطلاعات لایه های قبلی را دریافت می کند، سپس فرآیند عادی سازی را طی می کند، یعنی تمام مقادیری که از محدوده مورد نظر خارج می شوند توسط تابع فعال سازی تبدیل می شوند.

همانطور که در بالا ذکر شد، سیناپس یک ارتباط بین نورون ها است که هر یک از آنها دارای درجه وزن مخصوص به خود هستند. به دلیل این ویژگی است که اطلاعات ورودی در طول فرآیند انتقال اصلاح می شود. در طول پردازش، اطلاعات منتقل شده توسط سیناپس با یک نشانگر وزن بزرگ غالب خواهد بود.

معلوم می‌شود که نتیجه تحت تأثیر نورون‌ها نیست، بلکه تحت تأثیر سیناپس‌ها قرار می‌گیرد، که مجموعه خاصی از وزن داده‌های ورودی را می‌دهند، زیرا خود نورون‌ها هر بار دقیقاً محاسبات مشابهی را انجام می‌دهند.

وزن ها به صورت تصادفی تنظیم می شوند.

طرح شبکه عصبی

ارائه اصل عملکرد یک شبکه عصبی به مهارت خاصی نیاز ندارد. اطلاعات خاصی وارد لایه ورودی نورون ها می شود. از طریق سیناپس ها به لایه بعدی منتقل می شود و هر سیناپس دارای ضریب وزنی خاص خود است و هر نورون بعدی می تواند چندین سیناپس ورودی داشته باشد.

در نتیجه، اطلاعات دریافت شده توسط نورون بعدی، مجموع تمام داده ها است که هر کدام در ضریب وزن خود ضرب می شود. مقدار حاصل به تابع فعال سازی جایگزین می شود و اطلاعات خروجی به دست می آید که تا رسیدن به آن بیشتر ارسال می شود. خروجی نهایی. اولین اجرای شبکه نتایج درستی به دست نمی دهد، زیرا شبکه هنوز آموزش ندیده است.

تابع فعال سازی برای عادی سازی داده های ورودی استفاده می شود. بسیاری از این توابع وجود دارد، اما چندین مورد اصلی وجود دارد که بیشتر مورد استفاده قرار می گیرند. تفاوت اصلی آنها در محدوده مقادیری است که در آن عمل می کنند.

• تابع خطی f(x) = x، ساده‌ترین تابع ممکن، فقط برای آزمایش شبکه عصبی ایجاد شده یا انتقال داده‌ها به شکل اصلی آن استفاده می‌شود.
• سیگموئید رایج ترین تابع فعال سازی در نظر گرفته می شود و به شکل f(x) = 1/1+e-× است. در حالی که دامنه مقادیر آن از 0 تا 1 است. به آن تابع لجستیک نیز می گویند.
• مماس هذلولی برای پوشش مقادیر منفی نیز استفاده می شود. F(x) = e²× - 1 / e²× + 1 - این تابع دارای چنین شکلی است و محدوده ای که دارد از -1 تا 1 است. اگر شبکه عصبی استفاده از مقادیر منفی را فراهم نکند، شما نباید از آن استفاده کرد.

به منظور تنظیم داده ها برای عملکرد شبکه، مجموعه های آموزشی مورد نیاز است.

ادغام یک شمارنده است که با هر مجموعه آموزشی افزایش می یابد.

یک دوره معیاری است که نشان می دهد یک شبکه عصبی چقدر خوب آموزش داده شده است و هر بار که شبکه در یک مجموعه کامل از مجموعه های آموزشی چرخه می شود، افزایش می یابد.

بر این اساس، برای آموزش صحیح شبکه، باید مجموعه هایی را انجام دهید و به طور مداوم شاخص دوره را افزایش دهید.

در طول آموزش، خطاها شناسایی خواهد شد. این درصد اختلاف بین نتیجه به دست آمده و نتیجه مطلوب است. این اندیکاتور باید در روند افزایش اندیکاتور دوره کاهش یابد، در غیر این صورت در جایی خطای توسعه دهنده وجود دارد.

نورون سوگیری چیست و برای چیست؟

در شبکه های عصبی، نوع دیگری از نورون وجود دارد - نورون سوگیری. تفاوت آن با نوع اصلی نورون ها در این است که ورودی و خروجی آن در هر صورت برابر با یک است. در عین حال، چنین نورون هایی سیناپس ورودی ندارند.

آرایش چنین نورون هایی در هر لایه و نه بیشتر اتفاق می افتد و نمی توانند توسط سیناپس ها به یکدیگر متصل شوند. قرار دادن چنین نورون هایی روی لایه خروجی توصیه نمی شود.

آنها برای چه چیزی مورد نیاز هستند؟ شرایطی وجود دارد که در آن شبکه عصبی به سادگی نمی تواند راه حل مناسبی را پیدا کند، زیرا نقطه مورد نظردور از دسترس خواهد بود. برای این است که چنین نورون هایی مورد نیاز است تا بتوان دامنه تعریف را تغییر داد.

یعنی وزن سیناپس منحنی نمودار تابع را تغییر می‌دهد، در حالی که نورون جابجایی به شما امکان می‌دهد در امتداد محور مختصات X جابه‌جا شوید، به طوری که شبکه عصبی می‌تواند منطقه‌ای را که برای آن غیرقابل دسترس است بدون تغییر جذب کند. در این مورد، جابجایی را می توان هم به راست و هم به چپ انجام داد. به طور شماتیک، نورون های شیفت معمولاً علامت گذاری نمی شوند، وزن آنها به طور پیش فرض هنگام محاسبه مقدار ورودی در نظر گرفته می شود.

همچنین، نورون‌های بایاس به شما امکان می‌دهند در شرایطی که همه نورون‌های دیگر 0 را به عنوان پارامتر خروجی می‌دهند، نتیجه بگیرید. در این حالت، صرف نظر از وزن سیناپس، این مقدار به هر لایه بعدی منتقل می شود.

وجود یک نورون سوگیری وضعیت را اصلاح می کند و نتیجه متفاوتی می گیرد. امکان استفاده از نورون های سوگیری با آزمایش شبکه با و بدون آنها و مقایسه نتایج تعیین می شود.

اما یادآوری این نکته مهم است که برای دستیابی به نتایج، ایجاد یک شبکه عصبی کافی نیست. همچنین نیاز به آموزش دارد که این نیز نیازمند رویکردهای خاصی است و الگوریتم های خاص خود را دارد. این فرآیند را به سختی می توان ساده نامید، زیرا اجرای آن نیاز به دانش و تلاش خاصی دارد.