Ako už z názvu vyplýva, spätné šírenie je algoritmus že späť šíri chyby z výstupných uzlov do vstupných uzlov. Preto sa jednoducho označuje ako „spätné šírenie chýb“. Tento prístup bol vyvinutý na základe analýzy ľudského mozgu. Rozpoznávanie reči, rozpoznávanie znakov, overenie podpisu, rozpoznávanie ľudskej tváre sú niektoré zo zaujímavých aplikácií neurónových sietí. Neurónové siete prechádzajú kontrolovaným učením, vstupný vektor prechádzajúci sieťou produkuje výstupný vektor. Tento výstupný vektor sa overuje oproti požadovanému výstupu. Ak sa výsledok nezhoduje s výstupným vektorom, vygeneruje sa chybové hlásenie. Na základe chybového hlásenia sa váhy upravia tak, aby sa získal požadovaný výstup.
Čo je to umelá neurónová sieť?
An Umelá neurónová sieť zamestnáva pravidlo pod dohľadom, aby sa stalo efektívnym a výkonným. Informácie v neurónových sieťach prúdia dvoma rôznymi spôsobmi. Primárne, keď sa model trénuje alebo sa učí a keď model funguje normálne - buď na testovanie, alebo na vykonanie akejkoľvek úlohy. Informácie v rôznych formách sú do modelu dodávané prostredníctvom vstupných neurónov, ktoré spúšťajú niekoľko vrstiev skrytých neurónov a dostávajú sa k výstupným neurónom, ktoré sú známe ako dopredná sieť.
Pretože sa všetky neuróny nespúšťajú súčasne, neuróny, ktoré prijímajú vstupy zľava, sa pri cestovaní skrytými vrstvami vynásobia váhami. Teraz spočítajte všetky vstupy z každého neurónu a keď suma prekročí určitú prahovú hladinu, neuróny, ktoré zostali tiché, sa spustia a spoja.
Spôsob, akým sa umelá neurónová sieť učí, je, že sa učí z toho, čo urobila zle, a robí správne, čo sa nazýva spätná väzba. Umelé neurónové siete používajú spätnú väzbu na to, aby zistili, čo je správne a čo zlé.
Čo je backpropagation?
Definícia: Spätné šírenie je základný mechanizmus, pomocou ktorého sa nervové siete školia. Jedná sa o mechanizmus používaný na doladenie váh neurónovej siete (v tomto článku sa inak označuje ako model), pokiaľ ide o chybovosť vyprodukovanú v predchádzajúcej iterácii. Je to podobné ako s messengerom, ktorý informuje model, či sieť urobila chybu alebo nie, akonáhle to predpovedala.
spätná propagácia-neurónová sieť
Spätná propagácia v neurónových sieťach je o prenos informácií a vzťahujúcich sa na tieto informácie s chybou generovanou modelom pri odhadovaní. Táto metóda sa snaží znížiť chybu, ktorá sa inak označuje ako stratová funkcia.
Ako funguje spätné šírenie - jednoduchý algoritmus
Spätné šírenie v hlbokom učení je štandardný prístup k tréningu umelých neurónových sietí. Funguje to tak, že - spočiatku, keď je navrhnutá neurónová sieť, sú náhodné hodnoty priradené ako váhy. Užívateľ si nie je istý, či sú priradené hodnoty hmotnosti správne alebo či sa hodia k modelu. Výsledkom je, že model vydáva hodnotu, ktorá sa líši od skutočného alebo očakávaného výstupu, čo je chybová hodnota.
Ak chcete získať vhodný výstup s minimálnou chybou, model by mal byť trénovaný na príslušnom súbore údajov alebo parametroch a monitorovať jeho pokrok zakaždým, keď predpovedá. Neurónová sieť má vzťah k chybe, takže vždy, keď sa zmenia parametre, zmení sa aj chyba. Backpropagation používa na zmenu parametrov v modeli techniku známu ako pravidlo delta alebo gradientné klesanie.
Vyššie uvedený diagram ukazuje fungovanie spätného šírenia a jeho fungovanie je uvedené nižšie.
- „X“ na vstupoch dosahuje z vopred pripojenej cesty
- „W“, na modelovanie vstupu sa používajú skutočné váhy. Hodnoty W sú náhodne pridelené
- Výstup pre každý neurón sa počíta pomocou šírenia dopredu - vstupná vrstva, skrytá vrstva a výstupná vrstva.
- Chyba sa na výstupoch počíta pomocou rovnice Šírenie dozadu cez výstup a skryté vrstvy sa váhy upravujú tak, aby sa chyba znížila.
Znova sa šírite dopredu a vypočítajte výstup a chybu. Ak je chyba minimalizovaná, tento proces končí, alebo sa šíri dozadu a upravuje hodnoty hmotnosti.
Tento proces sa opakuje, kým sa chyba nezníži na minimum a nedosiahne sa požadovaný výstup.
Prečo potrebujeme spätné šírenie?
Toto je mechanizmus používaný na trénovanie neurónovej siete týkajúcej sa konkrétneho súboru údajov. Niektoré z výhody spätného šírenia sú
- Je to jednoduché, rýchle a ľahko programovateľné
- Naladia sa iba čísla vstupu, a nie žiadny iný parameter
- Nie je potrebné mať predchádzajúce znalosti o sieti
- Je flexibilný
- Štandardný prístup a funguje efektívne
- Nevyžaduje, aby sa používateľ naučil špeciálne funkcie
Typy siete na spätné šírenie
Existujú dva druhy sietí na spätné šírenie. Je rozdelený do nasledujúcich kategórií:
Statická spätná propagácia
Statická spätná propagácia je jedným typom siete, ktorej cieľom je vytvorenie mapovania statického vstupu na statický výstup. Tieto druhy sietí sú schopné vyriešiť problémy so statickou klasifikáciou, ako je optické rozpoznávanie znakov (OCR).
Opakovaná spätná propagácia
Opakovaná spätná propagácia je ďalším typom siete používanej pri výučbe s pevným bodom. Aktivácie v opakovanej spätnej propagácii sa napájajú dopredu, kým nedosiahne pevnú hodnotu. Potom sa vypočíta chyba a šíri sa dozadu. A softvér , NeuroSolutions má schopnosť vykonávať opakovanú spätnú propagáciu.
Hlavné rozdiely: Statická spätná propagácia ponúka okamžité mapovanie, zatiaľ čo mapovanie opakovanej spätnej propagácie nie je okamžité.
Nevýhody spätného šírenia
Nevýhody spätného šírenia sú:
- Spätné šírenie môže byť citlivé na hlučné údaje a nepravidelnosti
- Jeho výkon je veľmi závislý od vstupných údajov
- Potrebuje nadmerný čas na tréning
- Potreba maticovej metódy spätného šírenia namiesto mini-dávky
Aplikácie spätného šírenia
Aplikácie sú
- Neurónová sieť je trénovaná tak, aby vyslovovala každé písmeno slova a vetu
- Používa sa v oblasti rozpoznávanie reči
- Používa sa v oblasti rozpoznávania znakov a tváre
Časté otázky
1). Prečo potrebujeme spätné šírenie v neurónových sieťach?
Toto je mechanizmus používaný na trénovanie neurónovej siete týkajúcej sa konkrétneho súboru údajov
2). Aký je cieľ algoritmu spätného šírenia?
Cieľom tohto algoritmu je vytvoriť tréningový mechanizmus pre neurónové siete, aby sa zabezpečilo, že sieť je trénovaná na mapovanie vstupov na príslušné výstupy.
3). Aká je rýchlosť učenia v neurónových sieťach?
Rýchlosť učenia je definovaná v kontexte optimalizácie a minimalizácie stratovej funkcie neurónovej siete. Vzťahuje sa na rýchlosť, akou sa neurónová sieť môže naučiť nové údaje prepísaním starých údajov.
4). Je neurónová sieť algoritmus?
Áno. Neurónové siete sú radou učebných algoritmov alebo pravidiel určených na identifikáciu vzorcov.
5). Aká je aktivačná funkcia v neurónovej sieti?
Aktivačná funkcia neurónovej siete rozhoduje o tom, či by sa mal neurón aktivovať / spustiť alebo nie, na základe celkového súčtu.
V tomto článku koncept spätného šírenia neurónových sietí je vysvetlený pomocou jednoduchého jazyka pre čitateľa na pochopenie. V tejto metóde sú neurónové siete trénované z generovaných chýb, aby sa stali sebestačnými a zvládali zložité situácie. Neurónové siete majú schopnosť učiť sa presne na príklade.
