Co je hluboké učení a proč o něm všichni mluví? Hluboké učení pro automatické zpracování textu

O obchodních trendech se dozvěděl na velké konferenci poblíž Kyjeva. Sobota byla plná postřehů, protože si odnášeli nové poznatky a vědomosti, inspirované melancholií strávenou hodinu. Na konferenci byly k dispozici 4 proudy doplňujících zpráv pro obchodní lídry, top manažery, marketéry, prodej, akademiky a další specialisty. Jedním z řečníků byl ministr infrastruktury Volodymyr Omelyan, který hovořil o rozvoji galerie, renovaci silnic a letišť.

Dobrý den všem, milí iOS kolegové, určitě každý z vás pracoval se sítí a analyzoval data z JSON. Pro tento proces existuje spousta knihoven, všechny druhy nástrojů, které můžete použít. Některé z nich jsou složité a některé jednoduché. Sám jsem po velmi dlouhou dobu poctivě analyzoval JSON rukama, nedůvěřoval tomuto procesu některým knihovnám třetích stran, a to mělo své výhody.

9. září 2014 při další prezentaci, Apple společnost představil vlastní systém mobilní platby— Apple Pay.

S pomocí platby Systémy Apple Plaťte uživatelům a majitelům iPhonu 6 a iPhonu 6+ nejnovější verze Apple Watch můžete nakupovat online, využívat další výhody jablečný plat Pro mobilní aplikace a provádět platby pomocí Technologie NFC(Near Field Communication). Používá se k autorizaci plateb. dotyková technologie ID nebo FaceID.

Technologie nestojí a vývojové procesy se pohybují s nimi. Jestliže dřívější společnosti pracovaly podle modelu „Waterfall“, nyní se například všichni snaží implementovat „Scrum“. Evoluce probíhá také v poskytování služeb vývoje softwaru. Dříve společnosti poskytovaly klientům kvalitní rozvoj v rámci rozpočtu, u toho se zastavily, ale nyní se snaží poskytnout maximální užitek pro klienta a jeho podnikání poskytováním svých odborných znalostí.

Za posledních pár let se objevilo tolik dobrých fontů, včetně těch zdarma, že jsme se rozhodli napsat pokračování toho našeho pro designéry.

Každý designér má k práci sadu oblíbených písem, se kterými je zvyklý pracovat a která odrážejí jeho grafický styl. Návrháři říkají dobré fonty nikdy není příliš“, ale nyní si můžete bezpečně představit situaci, kdy se tato sada skládá pouze z volných písem.

Jak často se projektoví manažeři ocitají mezi skálou a tvrdým místem, když se snaží najít rovnováhu mezi všemi požadavky a termíny zákazníka a duševním zdravím celého týmu? Kolik nuancí je třeba vzít v úvahu, aby na obou stranách odpovědnosti byl klid a pořádek? Jak pochopit, zda jste dobrý manažer, nebo to nutně potřebujete dohnat na všech frontách? Jak zjistit, v jakých aspektech jste to vy jako PM, kdo zaostává a kde jste dobrý a chytrý? Přesně o tom byla další konference Code’n’Coffee.

Technologie rozpoznávání obrázků je v našem každodenním životě stále aktivnější. Firmy a instituce jej využívají k řešení nejvíce různé úkoly: od bezpečnosti po průzkum spokojenosti zákazníků. Investice do produktů založených na − danou funkci, slibují, že do roku 2021 vzrostou na 39 miliard dolarů. Zde je jen několik příkladů toho, jak se rozpoznávání vzorů používá v různých oblastech.

A po částech je tato příručka pro každého, kdo se zajímá o strojové učení, ale neví, kde začít. Obsah článků je určen pro široké publikum a bude značně povrchní. Ale zajímá to někoho? Čím více lidí se o strojové učení zajímá, tím lépe.

Rozpoznávání objektů s hlubokým učením

Tento slavný xkcd komiks jste již možná viděli. Vtip je v tom, že každé 3leté dítě dokáže rozpoznat fotku ptáka, ale dostat k tomu počítač zabralo více než 50 let nejlepších počítačových vědců. V posledních několika letech jsme konečně našli dobrý přístup k rozpoznávání objektů použitím hluboké konvoluční neuronové sítě. Zní to jako snůška vymyšlených slov z fantasy románu Williama Gibsona, ale vše se vyjasní, když si je vezmeme jedno po druhém. Tak pojďme na to – napište program, který rozpozná ptáky!

Začněme jednoduše

Než se naučíme rozpoznávat obrázky ptáků, naučme se, jak rozpoznat něco mnohem jednoduššího - ručně psané číslo "8".

O umělých neuronových sítích se dnes hodně mluví a píše, a to jak v kontextu velkých dat a strojového učení, tak mimo něj. V tomto článku si připomeneme význam tohoto pojmu, ještě jednou nastíníme rozsah jeho aplikace a také si povíme o důležitém přístupu, který je s neuronovými sítěmi spojen – deep learning, popíšeme jeho pojem, stejně jako výhody a nevýhody v konkrétních případech použití.

Co je to neuronová síť?

Jak víte, koncept neuronové sítě (NN) pochází z biologie a je poněkud zjednodušeným modelem struktury lidského mozku. Ale nezabírejme do divočiny přírodní vědy – nejjednodušší je představit si neuron (včetně umělého) jako jakousi černou skříňku s mnoha vstupy a jedním výstupem.

Matematicky umělý neuron provádí vektorovou transformaci vstupní signály(vrazí) X do vektoru výstupních signálů Y pomocí funkce zvané aktivační funkce. V rámci spojení (umělá neuronová síť - ANN) existují tři typy neuronů: vstupní (přijímání informací z vnějšího světa - hodnoty proměnných, které nás zajímají), výstupní (vracející požadované proměnné - například předpovědi). nebo řídící signály), stejně jako mezilehlé - neurony , vykonávající některé vnitřní („skryté“) funkce. Klasická ANN se tedy skládá ze tří nebo více vrstev neuronů a na druhé a dalších vrstvách („skrytá“ a výstupní) je každý z prvků spojen se všemi prvky předchozí vrstvy.

Je důležité si koncept zapamatovat zpětná vazba, která určuje typ struktury ANN: přímý přenos signálu (signály jdou sekvenčně ze vstupní vrstvy přes skrytou vrstvu a vstupují do výstupní vrstvy) a rekurentní struktura, kdy síť obsahuje spojení jdoucí pozpátku, od vzdálenějších k bližším neuronům). Všechny tyto pojmy jsou nutné minimum informace k posunu na další úroveň chápání ANN – trénování neuronové sítě, klasifikace jejích metod a pochopení principů fungování každé z nich.

Trénink neuronové sítě

Neměli bychom zapomínat, k čemu takové kategorie vůbec slouží – jinak hrozí zabřednutí do abstraktní matematiky. Umělé neuronové sítě jsou ve skutečnosti chápány jako třída metod pro řešení určitých praktických problémů, z nichž hlavní jsou problémy rozpoznávání vzorů, rozhodování, aproximace a komprese dat, stejně jako pro nás nejzajímavější problémy shluků. analýzy a prognózování.

Aniž bychom šli do druhého extrému a aniž bychom zacházeli do podrobností o tom, jak metody ANN v každé z nich fungují konkrétní případ, připomeňme, že za každých okolností je to právě schopnost neuronové sítě učit se (s učitelem nebo „sama“), která je klíčovým bodem při jejím využívání k řešení praktických problémů.

Obecně platí, že školení ANN je následující:

1. vstupní neurony přijímají proměnné ("podněty") z vnějšího prostředí;
2. v souladu s přijatými informacemi se mění volné parametry NS (fungují mezivrstvy neuronů);
3. v důsledku změn ve struktuře neuronové sítě síť „reaguje“ na informace jiným způsobem.

Toto je obecný algoritmus pro trénování neuronové sítě (vzpomeňte si na Pavlovova psa - ano, ano, vnitřní mechanismus pro vytvoření podmíněného reflexu je přesně takový - a okamžitě zapomeneme: koneckonců náš kontext zahrnuje práci s technickými koncepty a příklady).

Je jasné, že univerzální algoritmus učení neexistuje a s největší pravděpodobností ani nemůže existovat; Koncepčně se přístupy k učení dělí na učení s učitelem a učení bez učitele. První algoritmus předpokládá, že pro každý vstupní („učící se“) vektor existuje požadovaná hodnota výstupního („cílového“) vektoru – tyto dvě hodnoty tedy tvoří trénovací pár a celá množina takových párů je tréninkový set. V případě neřízeného učení se tréninková množina skládá pouze ze vstupních vektorů – a tato situace je z pohledu reálného života přijatelnější.

Hluboké učení

Pojem hluboké učení (deep learning) odkazuje na jinou klasifikaci a označuje přístup k učení tzv. hlubokých struktur, které zahrnují víceúrovňové neuronové sítě. Jednoduchý příklad z oblasti rozpoznávání obrazu: potřebujete naučit stroj extrahovat stále abstraktnější rysy z hlediska jiných abstraktních rysů, tedy určit vztah mezi výrazem celého obličeje, očí a úst, a nakonec , shluky barevných pixelů matematicky. V hluboké neuronové síti je tedy každá úroveň funkcí zodpovědná za svou vlastní vrstvu; je jasné, že pro výcvik takového „kolosu“ jsou potřeba patřičné zkušenosti výzkumníků a úroveň hardwaru. Podmínky ve prospěch hlubokého učení NN teprve do roku 2006 - a o osm let později můžeme mluvit o revoluci, kterou tento přístup způsobil ve strojovém učení.

Za prvé, v kontextu našeho článku stojí za zmínku následující: ve většině případů není hluboké učení ovládáno člověkem. To znamená, že tento přístup zahrnuje trénink neuronové sítě bez učitele. To je hlavní výhoda „hlubokého“ přístupu: strojové učení pod dohledem, zejména v případě hlubokých struktur, vyžaduje obrovské časové a pracovní náklady. Hluboké učení je na druhé straně přístup, který modeluje lidské abstraktní myšlení (nebo je alespoň pokusem se mu přiblížit), spíše než jej používat.

Myšlenka je jako obvykle skvělá, ale zcela přirozené problémy vyvstávají ve způsobu přístupu - především v jeho nároku na univerzálnost. Ve skutečnosti, pokud přístupy hlubokého učení dosáhly hmatatelného úspěchu v oblasti rozpoznávání obrazu, pak se stejným zpracováním přirozeného jazyka stále existuje mnohem více otázek než odpovědí. Je zřejmé, že v příštích n letech bude stěží možné vytvořit "umělého Leonarda Da Vinci" nebo dokonce - alespoň! - "umělý homo sapiens".

Nicméně před výzkumníky umělá inteligence otázka etiky již vyvstává: obavy vyjádřené v každém seberespektujícím vědeckofantastickém filmu, od Terminátora po Transformery, se již nezdají směšné (moderní sofistikované neuronové sítě lze dobře považovat za věrohodný model hmyzího mozku!), ale zatím jednoznačně nadbytečné.

Ideální technogenní budoucnost se nám jeví jako éra, kdy člověk bude moci delegovat většinu svých pravomocí na stroj – nebo mu alespoň umožní umožnit mu usnadnit významnou část jeho intelektuální práce. Koncept hlubokého učení je jedním krokem k tomuto snu. Je před námi ještě dlouhá cesta – ale už teď je jasné, že neuronové sítě a všechny rozvíjející se přístupy s nimi spojené jsou schopny časem realizovat aspirace autorů sci-fi.

Od doby, kdy se objevil termín „hluboké učení“, uplynulo více než 20 let, ale široce se o něm začalo diskutovat teprve nedávno. Stručně vysvětlujeme, proč se to stalo, co je hluboké učení, jak se liší od strojového učení a proč o něm potřebujete vědět.

Z článku se dozvíte, co je hluboké učení. Článek také obsahuje mnoho zdrojů, které můžete použít k zvládnutí této oblasti.

V moderní svět Od zdravotnictví po výrobu je hluboké učení všudypřítomné. Firmy se obracejí k řešení této technologie obtížné problémy jako je rozpoznávání řeči a objektů, strojový překlad a tak dále.

Jedním z nejpůsobivějších úspěchů tohoto roku bylo, že AlphaGo porazila nejlepšího světového hráče Go. Kromě hry Go překonaly stroje výkony lidí v jiných hrách: dáma, šachy, reversi a hazard.

Možná vítězství desková hra se zdá nepoužitelný při řešení skutečných problémů, ale vůbec tomu tak není. Go byl navržen tak, aby byl nepřekonatelný umělou inteligencí. K tomu by se potřeboval naučit jednu důležitou věc pro tuto hru – lidskou intuici. Nyní je s pomocí tohoto vývoje možné vyřešit mnoho problémů, které byly dříve pro počítač nedostupné.

Je zřejmé, že hluboké učení má ještě daleko k dokonalosti, ale už se blíží komerčnímu využití. Například tato samořídící auta. Známé společnosti jako Google, Tesla a Uber se již snaží přivést autonomní auta do ulic města.

Ford předpovídá do roku 2021 výrazný nárůst podílu bezpilotních vozidel. Americké vládě se pro ně také podařilo vyvinout soubor bezpečnostních pravidel.

Co je hluboké učení?

Chcete-li odpovědět na tuto otázku, musíte pochopit, jak interaguje se strojovým učením, neuronovými sítěmi a umělou inteligencí. K tomu používáme metodu vizualizace pomocí soustředných kružnic:

Vnějším kruhem je umělá inteligence obecně (například počítače). O něco dále – strojové učení, a zcela v centru – hluboké učení a umělé neuronové sítě.

Zhruba řečeno, hluboké učení je jen příhodnější název pro umělé neuronové sítě. „Hluboko“ v tomto slovním spojení označuje stupeň složitosti (hloubky) neuronové sítě, která může být často velmi povrchní.

Tvůrci první neuronové sítě se inspirovali stavbou mozkové kůry. Základní vrstva sítě, perceptron, je v podstatě matematickým protějškem biologického neuronu. A stejně jako v mozku se v neuronové síti mohou objevit perceptrony, které se vzájemně protínají.

První vrstva neuronové sítě se nazývá vstupní vrstva. Každý uzel této vrstvy přijímá nějaké informace jako vstup a přenáší je do následujících uzlů v dalších vrstvách. Nejčastěji mezi uzly jedné vrstvy nejsou žádná spojení a poslední uzel řetězce zobrazuje výsledek neuronové sítě.

Uzly uprostřed se nazývají skryté, protože nemají spojení s vnějším světem jako výstupní a vstupní uzly. Volají se pouze v případě, že jsou aktivovány předchozí vrstvy.

Hluboké učení je v podstatě technika tréninku neuronové sítě, která využívá mnoho vrstev k řešení složitých problémů (jako je rozpoznávání řeči) pomocí vzorů. V 80. letech byla většina neuronových sítí jednovrstvá kvůli vysokým nákladům a omezeným datovým možnostem.

Pokud budeme strojové učení považovat za odnož či variantu práce umělé inteligence, pak je hluboké učení specializovaným typem takové odnože.

Strojové učení využívá počítačovou inteligenci, která nedává odpověď hned. Místo toho poběží kód na testovacích datech a na základě správnosti jejich výsledků upraví svůj průběh. Pro úspěch tohoto procesu se obvykle používají různé techniky, speciální software a informatika, popisující statické metody a lineární algebru.

Metody hlubokého učení

Metody hlubokého učení se dělí na dva hlavní typy:

• Učení s učitelem
• Učení bez učitele

První metoda využívá speciálně vybraná data k dosažení požadovaného výsledku. Vyžaduje to poměrně velký zásah člověka, protože data se musí vybírat ručně. Je však vhodný pro klasifikaci a regresi.

Představte si, že jste vlastníkem společnosti a chcete určit vliv bonusů na dobu trvání smluv s vašimi podřízenými. Za přítomnosti předem shromážděných dat by metoda učení pod dohledem byla nepostradatelná a velmi účinná.

Druhá metoda nezahrnuje předem připravené odpovědi a pracovní algoritmy. Jeho cílem je odhalit skryté vzorce v datech. Běžně se používá pro shlukování a asociativní úlohy, jako je seskupování klientů podle chování. „Také si vybírají s tímto“ na Amazonu je variantou asociativní úlohy.

Zatímco supervidovaná metoda je poměrně často docela pohodlná, její složitější verze je stále lepší. Hluboké učení se etablovalo jako neuronová síť, která nepotřebuje lidský dohled.

Význam hlubokého učení

Počítače již dlouho používají technologii k rozpoznání určitých prvků v obraze. Výsledky však nebyly zdaleka úspěšné. počítačové vidění měl neuvěřitelný dopad na hluboké učení. Právě tyto dvě techniky tento moment vyřešit všechny rozpoznávací úlohy.

Zejména Facebooku se podařilo pomocí hlubokého učení rozpoznat tváře na fotografiích. Nejde o prosté zdokonalení technologie, ale o zlom, který mění všechny dřívější představy: „Člověk dokáže s pravděpodobností 97,53 % určit, zda je na dvou různých fotografiích zastoupena stejná osoba. Program vyvinutý týmem Facebooku to dokáže s pravděpodobností 97,25 % bez ohledu na osvětlení nebo na to, zda se člověk dívá přímo do kamery nebo je k ní otočený bokem.

Výrazných změn doznalo i rozpoznávání řeči. Tým Baidu, jeden z předních čínských vyhledávačů, vyvinul systém rozpoznávání řeči, kterému se podařilo předstihnout lidi v rychlosti a přesnosti psaní textu na mobilní zařízení. V angličtině a mandarínštině.

Zvláště zajímavé je, že napsat společnou neuronovou síť pro dva zcela odlišné jazyky nevyžadovalo mnoho práce: „Historicky se stalo, že lidé viděli čínštinu a angličtinu jako dva zcela odlišné jazyky. různé jazyky, takže přístup ke každému z nich vyžadoval jiný, “říká vedoucí výzkumného centra Baidu Andrew Ng. „Učební algoritmy jsou nyní tak zobecněné, že můžete Prostě Učit se."

Google využívá hluboké učení k řízení energie v datových centrech společnosti. Dokázali snížit náklady na zdroje chlazení o 40 %. To je asi 15% zlepšení energetické účinnosti a miliony dolarů úspor.

Mikroslužby pro hluboké učení

Tady krátká recenze služby hlubokého učení.

Ilustrace Tagger. Tato služba doplněná o Illustration2Vec vám umožňuje označit obrázky jako „chráněné“, „sporné“, „nebezpečné“, „autorské právo“ nebo „obecné“, abyste předem porozuměli obsahu obrázku.

• Doplněk pro Theano od Googlu
• Upraveno v Pythonu a Numpy
• Často se používá k řešení konkrétního okruhu problémů

• Ne obecný účel. Hlavní důraz je kladen na strojové vidění
• Upraveno v C++
• Má rozhraní Python

Online kurzy hlubokého učení

Google a Udacity se spojily, aby vytvořily bezplatný kurz hlubokého učení, který je součástí kurzu Udacity Machine Learning. Tento program vedou zkušení vývojáři, kteří chtějí rozvíjet oblast strojového učení a zejména hlubokého učení.

Další oblíbenou možností je kurz strojového učení Andrewa Nga, který podporují Coursera a Stanford.

1. Strojové učení – Stanford od Andrew Ng na Coursera (2010-2014)
2. Strojové učení – Caltech od Yasera Abu-Mostafy (2012–2014)
3. Strojové učení – Carnegie Mellon od Toma Mitchella (jaro 2011)
4. Neuronové sítě pro strojové učení – Geoffrey Hinton na Coursera (2012)
5. Třída neuronové sítě– Hugo Larochelle z Université de Sherbrooke (2013

Deep Learning Books

Zatímco zdroje v předchozí části čerpají z poměrně rozsáhlé znalostní báze, Grokking Deep Learning je naopak zaměřen na začátečníky. Jak říkají autoři: „Pokud jste dokončili 11 lekcí a zhruba rozumíte psaní v Pythonu, naučíme vás hlubokému učení.“

Oblíbenou alternativou k této knize je příhodně nazvaná Kniha hlubokého učení. Je obzvláště dobrý, protože popisuje veškerou matematiku, kterou budete potřebovat, abyste se do této oblasti ponořili.

1. Hluboké učení od Yoshua Bengio, Ian Goodfellow a Aaron Courville (2015)
2. „Neurální sítě a hluboké učení“ od Michaela Nielsena (2014)
3. "Deep Learning" od Microsoft Research (2013)
4. "Deep Learning Tutorials" od LISA Lab, University of Montreal (2015)
5. "neuraltalk" od Andreje Karpathy
6. „Úvod do genetických algoritmů“
7. "Moderní přístup k umělé inteligenci"
8. „Přehled hlubokého učení a neuronových sítí“

Videa a přednášky

Deep Learning Simplified je skvělý kanál YouTube. Zde je jejich první video: