Optimalizace

Při SGD vyvstává řada praktických otázek:

Jak velká má být minibatch?
Jak zvolit learning rate?
Jak před-zpracovat vstupy?
Jak inicializovat váhy?
Jak si vlastně vybrat, co má být výstup neuronky?
Kdy trénování zastavit?
Jak velká by ta neuronka měla být?

Přehled

Problémy s trénováním
Momentum
Learning rate
Volba aktivační funkce
Inicializace vah
Generalizace a regularizace

Problémy s trénováním

Mnoho lokálních maxim a minim u malých sítí.
Weight space symmetry — prohození dvou vah nezmění síť, takže se blbě identifikuje, která váha, co dělá.
- (Pozn.: Vůbec nevím.)
Ploché regiony (malý gradient, pomalé učení).
Sedlové body (kterým směrem mám jít?).
Strmé útesy (shit, přeskočil jsem důležitý bod).
Vanishing gradient (malý gradient, příliš pomalé učení způsobené např. derivací sigmoidu).
Exploding gradient (velký, nestabilní gradient, učení nemusí zkonvergovat).
Nepřesný gradient (minibatch je přece jenom aproximace).

Velikost minibatch

Velká minibatch znamená přesnější gradient, ale s méně než lineárním ziskem.
Příliš malá minibatch naopak nevyužije všechna jádra procesoru.
Pokud chceš všechny samply v minibatch zpracovat paralelně, pak tě limituje i pamět tvého HW.
Typicky to bývá mocnina dvou kvůli architektuře GPU.
Malá minibatch má vlivem své nepřesnosti regularizační efekt.

Note

Věta

Mějme NN, kde:

aktivační funkce $σ$ je "smooth" ReLU — $σ (ξ) = lo g (1 + exp (ξ))$ ,
input vektory $x_{k}$ mají velikost 1,
pro očekávané výstupy platí $∣ d_{k} ∣ \in O (1)$ ,
má "dost" hidden neuronů v každé vrstvě,
learning rate je konstatní a "dost" malý,

pak gradient descent lineárně konverguje (s velkou pravděpodobností) v globalním minimu s nulovou chybou.

Momentum

Může se stát, že gradient se sice zmenšuje ale neustále mění směr tam a zpátky. Řešením je přidat "hybnost" nebo "paměť", zkrátka započítat předchozí weight update to aktuálního.

Δ w^{(t)} = - ε (t) \cdot k \in T \sum \nabla E_{k} (w^{(t)}) + α \cdot Δ w^{(t - 1)}

kde $0 < α < 1$ je "vliv" hybnosti.

Learning rate

Hlavní parametr ovlivnující trénování NN. Pokud nevíš, jakou hodnotou začít:

podívej se, co funguje jinde, nebo
začni něčím blízko 0, třeba 0.001, a postupně mocni dvěma, nebo
můžeš navíc sledovat křivky učení pomocí cross-validation, nebo
použít některou z metod adaptive learning rate.

⁂

Power scheduling

S přibývajícími iteracemi se zmenšuje.

ε (t) = \frac{ε _{0}}{( 1 + \frac{t}{s} )}

kde $ε_{0}$ je počáteční learning rate a $s$ je počet kroků.

⁂

Exponential scheduling

S přibývajícími iteracemi se zmenšuje ještě ryhleji.

ε (t) = ε_{0} \cdot 0. 1^{\frac{t}{s}}

⁂

Adaptive Gradient (AdaGrad)

Adaptuje learning rate pro každou váhu zvlášť.

Δ w_{ji}^{(t)} r_{ji}^{(t)} = - \frac{η}{r _{ji}^{(t)} + δ} \cdot k \in T \sum \frac{\partial E _{k}}{\partial w _{ji}} (w^{(t)}) = r_{ji}^{(t - 1)} + (k \in T \sum \frac{\partial E _{k}}{\partial w _{ji}} (w^{(t)}))^{2}

$η$ — konstanta vyjadřující vliv learning ratu (typicky 0.01)
$δ$ — bývá okolo 1e-8 a je tam, abys náhodou nedělil nulou

AdaDelta: Vylepšení AdaGradu — nebere v potaz celou historii ale jen "moving window".

⁂

Root Mean Square Propagation (RMSProp)

Vylepšuje AdaGrad tím, že zahazuje historii, která je příliš vzdálená (exponential decay).

r_{ji}^{(t)} = ρ \cdot r_{ji}^{(t - 1)} + (1 - ρ) \cdot (k \in T \sum \frac{\partial E _{k}}{\partial w _{ji}} (w^{(t)}))^{2}

$ρ$ — vliv historie vs aktuální weight update
Hinton doporučuje $ρ = 0.9$ a $η = 0.001$

Adam: Přibližně RMSProp + momentum.

Volba aktivační funkce

Požadované vlastnosti

Diferencovatelnost

Jinak by gradient descent nefungoval.

Nelineárnost

Lineární (třeba pass-through) vícevrstvé NN jsou ekvivaletní jednovrstvé NN.

Note	Unit step function není lineární. Ty důkazy dávají smysl.

Monotónnost

Kdyby měla aktivační funkce extrémy, error function jich bude mít víc, což nechceme.

"Lineárnost"

Lineární funkci nejsnáze napasuješ.

Některé aktivační funkce

Hyperbolic tangens (tanh): Konstanta 1.7159 je zvolena tak, aby byla ta funkce na intervalu $[- 1, 1]$ "lineární".

$σ (ξ) = 1.7159 \cdot tanh (\frac{2}{3} \cdot ξ)$
Rectified Linear Unit (ReLU): Nejčastěji používaná a doporučovaná aktivační funkce pro feed-forward NN.

$σ (ξ) = max (ξ, 0)$
Leaky ReLU: Jako ReLU, ale pro negativní vnitřní potenciál není mrtvá úplně.
ELU — "Smoothed" ReLU: $σ (ξ) = {α \cdot (exp (ξ) - 1) ξ ξ < 0 ξ \geq 0$

Pro negativní vnitřní potenciál konverguje k parametru $α$
Scaled ELU (SELU): $σ (ξ) = λ \cdot {α \cdot (exp (ξ) - 1) ξ ξ < 0 ξ \geq 0$

Je sebe-normalizující — výstup vrstvy zachová střední hodnotu 0 a rozptyl 1 pro $λ \approx 1.050$ a $α \approx 1.673$ , pokud jsou váhy správně inicializovány a vstupy správně předzpracovány.
Softmax: Používá se v output vrstvě při multi-class klasifikaci společně s cross-entropy jako error function.

$y_{j} E (w) = σ_{j} (ξ_{j}) = \frac{e ^{ξ_{j}}}{\sum _{i \in Y} e _{i}^{ξ}} = - \frac{1}{p} k = 1 \sum p j \in Y \sum d_{kj} ln (y_{j})$

Jak vybrat?

Default je ReLU.
Prý platí SELU > ELU > leakyReLU > ReLU > tanh > logistic
U výstupních neuronů záleží na aplikaci:
- Pro aproximaci funkcí typicky lineární.
- Pro binarní klasifikaci logistic sigmoid.
- Pro nebinární klasifikaci softmax.

Inicializace vah

Předpokládejme, že vstupy zpracováváme tak, aby nebyly příliš velké. Velké vstupy totiž mají větší vliv na učení, než ty malé. Navíc mohou způsobit přetečení atd. Proto je standardizujeme tak, aby:

střední hodnota byla 0
rozptyl byl 1

Toto předzpracování bereme v úvahu při inicializaci vah. Inicializuje je tak, aby spadaly do intervalu $[- w, w]$ , kde $w$ závisí na počtu vstupů neuronu.

Například u tanh, chceme hodnotu $w$ zvolit tak, aby spadala té části tanh, která není příliš lineární ( $[- 1, 1]$ ) ani saturovaná (mimo $[- 4, 4]$ ). Pro neuron $j$ tedy $w$ volíme tak, aby směrodatná odchylka $ξ_{j}$ — $o_{j}$ — byla blízko hranice, na níž je $σ$ lineární. Pro náš tanh tak vychází:

y_{j} y_{j} Var (y_{j}) Var (W) = σ (ξ) = 1.7159 \cdot tanh (\frac{2}{3} \cdot ξ) = σ (ξ) \approx ξ \approx Var (ξ_{j}) = Var (i = 1 \sum n w_{ji} y_{i}) = i = 1 \sum n Var (w_{ji} y_{i}) = i = 1 \sum n Var (w_{ji}) \cdot Var (y_{i}) = n Var (W) \cdot Var (Y) = \frac{1}{n}

kde $n$ je počet neuronů o vrstvu níže. Jelikož váhy taháme z normálního rozdělení z intervalu $[- w, w]$ , kde odchylka je $\frac{w ^{2}}{3}$ platí:

\frac{1}{n} w = \frac{w ^{2}}{3} = \frac{3}{n}

Glorot & Bengio pro tanh: Za $w$ zvol $- \frac{6}{m + n}$ , kde $n$ je počet neuronů o vrstvů níže a $m$ je počet neuronů v aktuální vrstvě.
Glorot & Bengio s normálním rozdělením (2010): Váhu zvol náhodně podle normálního rozdělení, kde $μ = 0$ a $σ = \frac{2}{n + m}$ . Vhodné pro pro neurony s pass-through, tanh, logistic, nebo softmax aktivační funkcí.
He (2015): $μ = 0$ a $σ = \frac{2}{n}$ . Vhodné pro ReLu a leaky ReLU.
LeCun (1990): $μ = 0$ a $σ = \frac{1}{n}$ . Vhodné pro SELU.

Generalizace a regularizace

Generalizace je schopnost NN srovnat se s novými daty. Data obsahují šum. Formálně:

d_{kj} = g_{j} (x_{k}) + Θ_{kj}

kde $g_{j}$ je funkce, která generuje "opravdová" data a $Θ_{kj}$ je šum. Neuronka by se měla snažit naučit data, ne šum.

Regularizační metody zlepšují schopnost neuronky generalizovat.

Early stopping

Naschvál zastavíme učení dřív, než najde minimum gradientu. Můžeme místo toho rozdělit dataset na

training set (třeba 60 %) — na tom se neuronka učí
validation set (třeba 20 %) — použijeme na zastavení trénování
možná i test set (třeba 20 %) — na porovnání natrénovaných modelů

Ensemble methods

Natrénuj víc modelů a nech je hlasovat o výsledku.

Bagging

Ensemble metoda, kdy z trénovacího setu uděláme $k$ trénovacích setů nahodným výběrem s tím, že vybrané samply vracíme zpátky "do pytle". Pro každý set natrénujeme model. Necháme je hlasovat buď průměrováním nebo hlasováním v závislosti na aplikaci.

Dropout

V každém kroku gradient descentu vyber množinu neuronů, které s určitou pravděpodobností vypneš — nebudou se účastnit forward ani backward průchodu. Je to skoro jako trénovat vícero modelů najednou, které ale sdílí paměť.

Weight decay a L2 regularizace

V každém kroku gradient descentu zmenšíme váhy:

w_{ji}^{(t + 1)} = (1 - ζ) (w_{ji}^{(t)} + Δ w_{ji}^{(t)})

Což je ekvivalentní L2 regularizaci — gradient descentu s konstantním $ε$ a error function:

\hat{E} (w) = E (w) + \frac{2 ζ}{ε} w \cdot w

Note	L2 = squared magnitude $w$