Co jsou neuronové sítě a jak fungují?

Pokud budete držet krok s technologickými zprávami, pravděpodobně jste narazili na koncept neuronové sítě (také známý jako neuronové sítě).

Například v roce 2016 porazila neuronová síť Google AlphaGo jednoho z nejlepších profesionálních hráčů Go na světě v sérii 4-1. YouTube také oznámila, že bude používat neuronové sítě k lepšímu pochopení svých videí. YouTube bude používat neuronové sítě k tomu, aby skutečně porozuměl videím YouTube bude používat neuronové sítě k tomu, aby skutečně porozuměl videím Hledání YouTube může být frustrující, protože YouTube nevidí videa tak, jak člověk ano. Google v poslední době podá patent, který by to mohl změnit. . Na mysli mohou přijít desítky dalších příběhů.

Ale co přesně je neuronová síť? Jak to funguje? A proč je tak populární ve strojovém učení?

Počítač jako mozek

Moderní neurovědci často diskutují o mozku jako o typu počítače. Cílem neuronových sítí je udělat opak: postavte počítač, který funguje jako mozek.

Samozřejmě máme jen zběžnou znalost extrémně složitých funkcí mozku, ale vytvořením zjednodušené simulace toho, jak mozek zpracovává data, můžeme vytvořit typ počítače, který funguje velmi odlišně od standardního..

Počítačové procesory zpracovávají data sériově (“v pořádku”). Provádějí mnoho operací na souboru dat, jeden po druhém. Paralelní zpracování (“zpracování několika proudů najednou”) výrazně urychluje počítač pomocí několika procesorů v sérii.

Na obrázku níže vyžaduje příklad paralelního zpracování pět různých procesorů:

Image Credit: VysvětleteThatStuff

Umělá neuronová síť (tzv. Odlišující ji od skutečných neuronových sítí v mozku) má zásadně odlišnou strukturu. Je to vysoce propojené. To mu umožňuje zpracovávat data velmi rychle, poučit se z nich a aktualizovat svou vlastní vnitřní strukturu, aby se zlepšil výkon.

Vysoký stupeň vzájemného propojení má však určité ohromující účinky. Například neuronové sítě jsou velmi dobré v rozpoznávání nejasných vzorců v datech.

Schopnost učit se

Schopnost neuronové sítě učit se je její největší síla. Se standardní výpočetní architekturou musí programátor vyvinout algoritmus, který řekne počítači, co s příchozími daty, aby se ujistil, že počítač vydává správnou odpověď.

Odezva vstup-výstup může být stejně jednoduchá jako “po stisknutí tlačítka A se na obrazovce zobrazí „A“” nebo složité jako provádění složitých statistik. Na druhé straně neuronové sítě nepotřebují stejný druh algoritmů. Prostřednictvím výukových mechanismů mohou v zásadě navrhovat své vlastní algoritmy. 4 Algoritmy strojového učení, které tvarují váš život 4 Algoritmy strojového učení, které tvarují váš život Možná si to neuvědomujete, ale strojové učení je již všude kolem vás a může mít překvapivý stupeň vlivu nad tvým životem. Nevěříš mi? Možná vás překvapí. které zajišťují správnou funkci.

Je důležité si uvědomit, že protože neuronové sítě jsou softwarové programy psané na počítačích, které používají standardní hardware pro sériové zpracování, současná technologie stále omezuje. Vlastně budování hardwarové verze neuronové sítě je dalším problémem.

Od neuronů k uzlům

Nyní, když jsme položili základy pro fungování neuronových sítí, se můžeme začít zabývat některými zvláštnostmi. Základní struktura umělé neuronové sítě vypadá takto:

Každý z kruhů se nazývá a “uzel” a simuluje jediný neuron. Vlevo jsou vstupní uzly, uprostřed jsou skryté uzly a vpravo jsou výstupní uzly.

Zjednodušeně řečeno, vstupní uzly přijímají vstupní hodnoty, což může být binární 1 nebo 0, část hodnoty barvy RGB, stav šachové figurky nebo cokoli jiného. Tyto uzly představují informace proudící do sítě.

Každý vstupní uzel je spojen s několika skrytými uzly (někdy s každým skrytým uzlem, někdy s podmnožinou). Vstupní uzly vezmou získané informace a předají je do skryté vrstvy.

Například vstupní uzel může odeslat signál (“oheň,” v řeči neurovědy), pokud obdrží 1, a zůstane spící, pokud obdrží nulu. Každý skrytý uzel má práh: Pokud všechny jeho součtové vstupy dosáhnou určité hodnoty, spustí se.

Od synapsí k připojení

Každému spojení, ekvivalentu anatomické synapse, je dána také specifická váha, která umožňuje síti klást větší důraz na činnost konkrétního uzlu. Zde je příklad:

Jak vidíte, hmotnost spojení B je vyšší než hmotnost připojení A a C. Řekněme, že skrytý uzel 4 se spustí, pouze pokud obdrží celkový vstup 2 nebo větší. To znamená, že pokud 1 nebo 3 vystřelí samy o sobě, 4 se nespustí, ale 1 a 3 společně by spustily uzel. Uzel 2 by také mohl sám spustit uzel prostřednictvím spojení B.

Vezměme si počasí jako praktický příklad. Řekněme, že navrhujete jednoduchou neuronovou síť, abyste určili, zda by mělo být varování před bouří v zimě.

Při použití výše uvedených spojení a hmotností může uzel 4 střílet, pouze pokud je teplota pod 0 ° F a vítr je nad 30 MPH, nebo by došlo k požáru, pokud existuje více než 70% šance na sníh. Teplota by byla přiváděna do uzlu 1, vítr do uzlu 3 a pravděpodobnost sněhu do uzlu 2. Nyní uzel 4 může všechny tyto faktory vzít v úvahu při určování signálu, který se má odeslat do výstupní vrstvy..

Lepší než jednoduchá logika

Samozřejmě by tato funkce mohla být jednoduše uzpůsobena jednoduchými logickými branami AND / OR. Ale složitější neuronové sítě, jako ta dole, jsou schopny výrazně složitějších operací.

Image Credit: Neuronové sítě a hluboké učení Michaela A. Nielsena

Uzly výstupní vrstvy fungují stejným způsobem jako ty skryté vrstvy: výstupní uzly sečtou vstup ze skryté vrstvy, a pokud dosáhnou určité hodnoty, výstupní uzly se aktivují a vysílají specifické signály. Na konci procesu bude výstupní vrstva posílat sadu signálů, které indikují výsledek vstupu.

Zatímco výše uvedená síť je jednoduchá, hluboké neuronové sítě mohou mít mnoho skrytých vrstev a stovky uzlů.

Image Credit: Neuronové sítě a hluboké učení Michaela A. Nielsena

Oprava chyb

Tento proces je zatím poměrně jednoduchý. Ale tam, kde se nervové sítě opravdu lesknou, je učení. Většina neuronových sítí používá proces zvaný backpropagation, který vysílá signály pozpátku přes síť.

Než programátoři nasadí neuronovou síť, proběhnou ve fázi školení, ve které obdrží sadu vstupů se známými výsledky. Například programátor může naučit neuronovou síť rozpoznávat obrázky 8 Nifty aplikací pro identifikaci všeho pomocí fotoaparátu telefonu 8 Nifty aplikací pro identifikaci všeho pomocí fotoaparátu telefonu Tyto aplikace pro rozpoznávání obrázků vám umožňují identifikovat mince, rostliny, produkty a mnohem více pomocí fotoaparát vašeho telefonu. . Vstupem by mohl být obrázek automobilu a správným výstupem by bylo slovo “auto.”

Programátor poskytuje obraz jako vstup a vidí, co vychází z výstupních uzlů. Pokud síť odpoví “letoun,” programátor řekne počítači, že je nesprávný.

Síť pak provádí úpravy svých vlastních připojení a mění váhy různých propojení mezi uzly. Tato akce se řídí specifickým algoritmem učení přidaným do sítě. Síť pokračuje v nastavování hmotnosti připojení, dokud neposkytuje správný výstup.

Toto je zjednodušení, ale neuronové sítě se mohou naučit velmi složité operace pomocí podobných principů.

Neustálé zlepšování

I po tréninku, backpropagation pokračuje - a to je místo, kde nervové sítě opravdu ochladit. Neustále se učí, jak jsou používány, integrují nové informace a vylepšují váhy různých spojení, čím dál tím účinněji a efektivněji plní úkol, pro který byly navrženy..

To by mohlo být stejně jednoduché jako rozpoznávání obrazu nebo složité jako přehrávání Go.

Tímto způsobem se nervové sítě neustále mění a zlepšují. A to může mít překvapivé účinky, což má za následek sítě, které upřednostňují věci, které by si programátor nepředpokládal.

Kromě výše uvedeného procesu, který se nazývá učení pod dohledem, existuje také další metoda: učení bez dozoru.

V této situaci neuronové sítě vstupují a pokoušejí se je znovu vytvořit přesně ve svém výstupu, pomocí backpropagation aktualizovat svá připojení. Může to znít jako neplodné cvičení, ale tímto způsobem se sítě učí extrahovat užitečné funkce a zobecňovat je pro vylepšování svých modelů.

Problémy hloubky

Backpropagation je velmi efektivní způsob, jak učit neuronové sítě ... když jsou hluboké jen několik vrstev. Se zvyšujícím se počtem skrytých vrstev se snižuje účinnost zpětného šíření. To je problém pro hluboké sítě. Při použití backpropagation nejsou často efektivnější než jednoduché sítě.

Vědci přišli s řadou řešení tohoto problému, jehož specifika jsou poměrně komplikovaná a přesahují rámec tohoto úvodního díla. Mnoho z těchto řešení se pokouší jednoduchým způsobem snížit složitost sítě jejím školením “komprimovat” data.

Image Credit: Song Han

Za tímto účelem se síť učí extrahovat menší počet identifikačních znaků vstupu, a nakonec se stává účinnějším ve svých výpočtech. Síť ve skutečnosti vytváří zobecnění a abstrakce, podobně jako se lidé učí.

Po tomto učení může síť proříznout uzly a připojení, které považuje za méně důležité. Díky tomu je síť efektivnější a učení se stává snadnějším.

Neuronové síťové aplikace

Neuronové sítě tak simulují, jak se mozek učí, pomocí více vrstev uzlů - vstupů, skrytých a výstupů - a jsou schopny se učit jak ve sledovaných, tak bez dohledových situacích. Složité sítě jsou schopny vytvářet abstrakce a zobecňovat, aby byly efektivnější a lépe se učit.

K čemu můžeme tyto fascinující systémy použít?

Teoreticky můžeme použít neuronové sítě pro téměř cokoli. A pravděpodobně jste je používali, aniž byste si to uvědomovali. Jsou velmi běžné v rozpoznávání řeči a vizuálu, protože se mohou naučit vybírat specifické rysy, které mají zvuky nebo obrázky společné.

Takže když se zeptáte Siriho 8 věcí, které jste si pravděpodobně neuvědomili, Siri by mohl udělat 8 věcí, které jste si pravděpodobně neuvědomili, Siri by mohl udělat Siri se stal jednou z definujících funkcí iPhone, ale pro mnoho lidí to není vždy nejužitečnější. I když je to částečně kvůli omezením rozpoznávání hlasu, zvláštnosti používání… tam, kde je nejbližší čerpací stanice, váš iPhone přenáší řeč prostřednictvím neuronové sítě, aby zjistil, co říkáte. Může existovat další neuronová síť, která se učí předpovídat druhy věcí, o které budete pravděpodobně žádat.

Auta s vlastním pohonem mohou používat neuronové sítě ke zpracování vizuálních dat, a tak dodržovat pravidla silničního provozu a vyhýbat se kolizím. Roboti všech typů mohou těžit z neuronových sítí, které jim pomáhají naučit se efektivně dokončovat úkoly. Počítače se mohou naučit hrát hry jako šachy, Go a Atari klasika. Pokud jste někdy mluvili s chatbotem, existuje šance, že pomocí neuronové sítě nabídl vhodné odpovědi.

Vyhledávání na internetu může mít z neuronových sítí značný prospěch, protože vysoce účinný model paralelního zpracování může rychle přivést spoustu dat. Neuronová síť by se také mohla naučit vašim zvyklostem přizpůsobit výsledky vyhledávání nebo předpovídat, co budete hledat v blízké budoucnosti. Tento predikční model by byl zjevně velmi cenný pro obchodníky (a kohokoli jiného, ​​kdo musí předpovídat komplexní lidské chování).

Rozpoznávání obrázků, optické rozpoznávání znaků 5 nejlepších OCR nástrojů pro extrahování textu z obrázků 5 nejlepších OCR nástrojů pro extrakci textu z obrázků Když máte kopy papíru, jak lze veškerý tištěný text převést na něco, co bude digitální program schopen rozpoznat a indexovat? Udržujte dobrý software OCR v blízkosti. , predikce akciového trhu, vyhledávání tras, zpracování velkých dat, analýza zdravotních nákladů, prognózy prodeje, videohry AI ... možnosti jsou téměř nekonečné. Schopnost neuronových sítí učit se vzorcům, generalizovat a úspěšně předpovídat chování je činí cennými v nesčetných situacích.

Budoucnost neuronových sítí

Neuronové sítě postupovaly od velmi jednoduchých modelů k vysoce komplexním simulacím učení. Jsou v našich telefonech, tabletech a provozují mnoho webových služeb, které používáme. Existuje mnoho dalších systémů strojového učení.

Ale neuronové sítě, kvůli jejich podobnosti (velmi zjednodušeným způsobem) s lidským mozkem, jsou některé z nejvíce fascinujících. Jak pokračujeme ve vývoji a zdokonalování modelů, nelze říci, čeho budou schopni.

Znáte nějaké zajímavé využití neuronových sítí? Máte s nimi zkušenosti sami? Co je pro tuto technologii nejzajímavější? Podělte se o své myšlenky v komentářích níže!