Vizualizace

Je užitečný vizualizovat váhy, nejdůležitější inputy, dopad drobných změn inputů na output.

Přehled

Filtry
Maximalizace inputu
Saliency maps
Occlusion
Local Interpretable Model-Agnostic Explanations (LIME)

Filtry

Každý filtr má 3 kanály (RGB), které jsou zkombinované do jednoho obrázku.

Filtry první konvoluční vrstvy AlexNetu

Maximalizace inputu

Mějme síť, která klasifikuje obrázky tím, že každé třídě obrazků přiřadí pravděpodobnost. Nechť je $y_{j} (I)$ pravděpodobnost, že obrázek $I$ patří do třídy $j$ . Chceme získat obrázek $I$ "typický" pro třídu $j$ .

Zafixujeme váhy a maximalizujeme:

y_{j} (I) - λ ∥ I ∥_{2}^{2}

kde $λ ∥ I ∥_{2}^{2}$ znamená L2 regularizaci:

λ ∥ I ∥_{2}^{2} = λ k = 1 \sum s p_{k}^{2}

kde $s$ je velikost $I$ a $p_{1}, ..., p_{s}$ jsou pixely $I$ .

Saliency maps

Pro fixní output neuron $i$ a obrázek $I_{0}$ nás zajímá, které inputy mají největší vliv na $y_{i} (I_{0})$ . Hodnotu $y_{i} (I_{0})$ aproximujeme lokálně pomocí lineárního členu Taylorova polynomu:

y_{i} (I) w \approx y_{i} (I_{0}) + w^{T} (I - I_{0}) = w^{T} I + (y_{i} (I_{0}) - w^{T} I_{0}) = \frac{\partial y _{i}}{\partial I} (I_{0})

Ta derivace indikuje, které vstupy stačí změnit nejméně, aby to ovlivnilo $y_{i} (I_{0})$ nejvíce.

SmoothGrad: Vytvoř několik zašumělých kopií $I_{0}$ a zprůměruj jejich saliency mapy.

Occlusion

Systematicky zakrývej části obrázku a sleduj, co se bude dít.

Local Interpretable Model-Agnostic Explanations (LIME)

Mějme fixní obrázek $I_{0}$ , kde $P_{1}, ... P_{l}$ jsou jeho superpixely. Uvažme vektory $x = (x_{1}, ..., x_{l}) \in {0, 1}^{l}$ udávající "podobraz" $I [x]$ , který vznikne odebráním superpixelů $P_{k}$ z $I_{0}$ , kde $x_{k} = 0$ .

Zafixujme output neuron $i$ . Mějme trénovací set:

T = {(x_{1}, y_{i} (I_{0} [x_{1}])), ... (x_{p}, y_{i} (I_{0} [x_{p}]))}

kde $x_{h}$ jsou náhodné binarní vektory.

Natrénuj lineární model (ADALINE) s váhami $w_{1}, ... w_{l}$ na $T$ minimalizací squared erroru (a regularizace). Tento model aproximuje původní síť — vrací pravděpodobnost, že vybrané superpixely podle aproximované sítě odpovídají třídě $i$ .

Hlavně nás však zajímají váhy tohoto lineárního modelu. Čím větší váha, tím důležitější superpixel pro klasifikaci $I_{0}$ jako $i$ .