Formální definice

Přehled

Neuron
Neuronová síť (NN)

Neuron

Hrubá matematická aproximace biologického neuronu.

$x_{i}$ — inputy
$w_{i}$ — váhy
$ξ = w_{0} + \sum_{i = 1}^{n} w_{i} x_{i}$ — vnitřní potenciál
$y$ — výstup
$y = σ (ξ)$ — aktivační funkce udávající výstup
bias — udává "jak těžké" je pro neuron se aktivovat (čím vyšší číslo, tím těžší je pro neuron vydat nenulový výstup)
$x_{0}$ — pro snažší implementaci se závádí dodatečný vstup, který má vždy hodnotu 1 a váhu rovnu -bias

Note	Vnitřní potenciál funguje jako nadrovina (čára při 2D, rovina při 3D, nepředstavitelný mostrum ve vyšších dimenzí), která rozděluje prostor vstupů na část, kde je $ξ < 0$ a kde $ξ > 0$ .

Note	Vnitřní potenciál se u některých typů sítí počítá jako vzdálenost od vstupu od vah: $ξ = ∥ x - w ∥$

Note	Jedním neuronem neuronem nelze oddělit spočítat XOR (oddělit nuly od jedniček) v: (Přinejmenším pokud je $σ$ unit step function a ani jinak si nejsem jistý.)

Neuronová síť (NN)

Neuronová síť je množina propojených neuronů, jejíž chování je zakódováno do spojení mezi neurony. Je primitivním modelem biologických neuronových sítí a silně se zaměřuje na oblasti jako: samořídicí auta, hry, finanční trhy, zpracování medicinálních obrazů, zpracování textu, rozpoznání hlasu, atd.

Typ neuronové sítě je dán její architekturou (způsobem zapojení), aktivitou (transformací vstupů na výstupy) a učením (metodou změny vah při trénování).

Architektura

Neuron může být input, output nebo hidden. Může být dokonce input i output najednou. Hidden je, právě když není input ani output.

Síť být cyklická — recurrent — nebo acyklická — feed-forward.

Stav síťe

Vektor výstupů všech neuronů sítě (nejen output).

Stavový prostor sítě

Množina všech možných stavů sítě.

Vstup sítě

Vektor reálných čísel (prvek $R^{n}$ ), kde $n$ je počet vstupů.

Vstupní prostor sítě

Množina všech vstupů sítě.

Iniciální stav

Input neuronům je za výstup ( $y$ ) dán vektor vstupů ( $x$ ). Všem ostatním neuronům je výstup ( $y$ ) nastaven na 0.

Výstup sítě

Vektor výstupů ( $y$ ) output neuronů. Výstup se v průběhu výpočtu může měnit.

Výpočet

Typicky po diskrétních krocích:

Zvolí se množina neuronů (vybrané podle pravidla daného architekturou).
Zvoleným neuronům je nastaven výstup — prostě se vyhodnotí aktivační funkce.
Vrať se ke kroku 1.

Výpočet je konečný, pokud se stav sítě dále nemění po konečném množství opakování postupu výše.

Konfigurace

Vektor hodnot všech vah.

Vahový prostor

Množina všech konfigurací.

Iniciální konfigurace

Počáteční hodnoty vah (než začne trénování).

Supervised learning

Síť se učí na základě vstupů, pro které známe správnou odpověď. Minimalizací chyby (odchylky výstupu od požadovaného výstupu) se hledá "správná" konfigurace.

Unsupervised learning

Síť se učí na základě vstupů, pro které neznáme správnou odpověď. Cílem je zjistit něco o distribuci vstupů.

Note

Mějmě síť s

n

neurony, z toho

k

input a

l

output. Nechť

A \subseteq R^{k}

B \subseteq R^{l}

. Předpokládejme, že výpočet je na každém prvku

A

konečný. Pak řekneme, že ta síť počítá funkci

F : A \to B

, pokud pro každý vstup

x

platí, že

F (x) \in B

je výstupem sítě po té, co výpočet na

x

zastaví.