-
zpracování raw dat ze senzorů ve foťácích,
-
odstranění šumu,
-
zvýraznění hran,
-
zvýšení kontrastu,
-
detekci tváří,
-
rozpoznávání objektů,
-
rozpoznávání textu — optical character recognition (OCR).
Zpracování rastrového obrazu
Editovat
Note
|
Bodové transformace. Histogram, vyrovnání histogramu, analýza histogramu. Lineární a nelineární filtry. Detekce hran. Fourierova transformace. Vzorkovací teorém, převzorkování, geometrické transformace. Vlnková transformace. Houghova/Radonova transformace. PB130/PV131 |
- Rastr / bitmapa
-
Obraz reprezentovaný pomocí 2D pole pixelů. Každý pixel obsahuje jednu (pokud je obraz černobílý) nebo více (typicky RGB nebo CMYK) intenzit. Intenzity jsou zakódovány na bity. [3]
Je to 2D mapa bitů… bitmapa. Get it?
- Zpracování obrazu / digital image processing
-
Oblast informatiky zabývající se manipulací s obrazy pomocí počítače. Obsahuje třeba: [4]
- Klasifikace transformací
-
-
Neměnící geometrii obrazu
-
Bodové
-
Lokální
-
Globální
-
-
Geometrické
-
Bodové transformace
Transformace hodnot pixelů nezávisle na jejich okolí. Nemění velikost obrazu.
Homogenní
Bodové transformace, které nezávisí na pozici pixelu v obraze. Je definována pomocí převodní funkce . Patří sem třeba:
-
úprava jasu,
-
úprava kontrastu,
-
hue, saturation, atd.,
-
gama korekce,
-
globální prahování.
Lineární transformace
Převodní funkce je lineární, definována, jako .
-
Identita:
-
Inverze intenzit (negativ):
-
Zvýšení jasu:
-
Snížení jasu:
-
Zvýšení kontrastu:
-
Snížení kontrastu:
-
Lineární roztažení: viz dále
-
(Percentilové roztažení: viz dále)
- Negativ
-
Inverze hodnot pixelů. Nejvyšší hodnota se změní na nejnižší a naopak.
Pokud maximální intenzita je 255 pak negativ je definován jako:
- Lineární roztažení
-
Přemapování rozsahu intenzit na rozsah pomocí lineární interpolace. Často ke zvýraznění kontrastu.
kde je nejnižší hodnota a nejvyšší hodnota v obraze. Obvykle a .
Alternativně lze použít percentilové roztažení, které převede procent nejnižších a nejvyšších hodnot na a (tedy "uřízne" extrémy). není striktně řečeno lineární.
Nelineární transformace
Převod nelze vyjádřit v lineárním tvaru
- Gama korekce
-
Nelineární bodová transformace kompenzující vlastnosti lidského oka pro lepší využití bitové hloubky.
-
Vstupní obraz je normalizován na rozsah .
-
Každá hodnota je transformována typicky pomocí .
-
Výsledný obraz je přeškálován na původní rozsah.
-
- Kvantizace
-
Nelineární bodová transformace, která snižuje bitovou hloubku obrazu. Výsledkem je obraz s menším počtem barev.
Může vypadat cool. Viz toon shading.
- Prahování / thresholding
-
Nelineární bodová transformace, která rozdělí obraz na dvě skupiny podle intenzity. Výsledkem je binární obraz.
kde je práh. Pokud je konstanta, pak se jedná o globální prahování.
ImportantPrahování se pořádně věnuje otázka Analýza rastrového obrazu.
- Paleta
-
Můžeme použít funkci či vyhledávácí tabulku pro přemapování existujících hodnot v obrazu na jiné (viz barevné škály u vizualizací).
Nehomogenní
Bodové transformace, které závisí na pozici pixelu v obraze. Je definována pomocí převodní charakteristiky . Patří sem třeba:
-
korekce nerovnoměrného osvětlení,
-
vignette,
-
přechodové filtry.
Histogramy
Histogram kvantifikuje množství a frekvenci barev obsažených v obraze. Ve statické terminologii je to aproximace hustoty pravděpodobnosti.
-
Hodnota histogramu v indexu odpovídá počtu pixelů v obraze s intenzitou .
-
Šedotónní obraz má jeden histogram. RGB obraz má tři.
- Kumulativní histogram
-
Kumulativní histogram bbsahuje množství pixelů s intenzitou menší nebo rovnou než . Ve statické terminologii je to aproximace distribuční funkce.
- Vyrovnání histogramu / histogram equalization
-
Změna obrazu tak, aby jeho kumulativní histogram měl konkrétní tvar, obvykle aby byl lineární. [20]
Typicky k tomu využíváme funkci , kde je kumulativní histogram pro barvu v bodě x, je maximální intenzita a je velikost obrazu.
- Analýza histogramu
-
Z histogramu lze vysledovat řadu věcí jak manuálně tak automaticky. Často se proto používá jako mezikrok v jiných algoritmech. Lze z něj například zjistit: [19] [21]
-
průměrný jas,
-
kontrast,
-
vztah mezi mediánem a střední hodnotou,
-
přepaly a podexponované oblasti,
-
šikmost / skewness.
-
Konvoluční filtry
- Filtr
-
Filtr je termín ze zpracování signálů (kterýmžto obraz z jisté perspektivy je). Je to zařízení, postup, či transformace, která ze signálu odstraňuje nechtěnné informace. [5]
- Šum / noise
-
Šum je informace, která v obrazu vznikla kvůli nedokonalosti snímače, přenosu, uložení dat, atd. Ač někdy může vypadat docela cool, obvykle je to nechtěná informace. Podle frekvenční charakteristiky se dělí na:
-
bílý šum: má stejnou energii ve všech frekvencích; je to jen matematická abstrakce,
-
Poissonův šum / photon noise: vzniká při náhodném procesu, jako je například dopad světla na snímač,
-
Aditivní: přidává se k signálu; , kde je originální funkce signálu a je šum,
-
Impulzní: nahrazuje některé hodnoty signálu jinými hodnotami; patří sem například sůl a pepř / salt and pepper noise.
-
- Konvoluce
-
Matematická operace, která vezme dvě funkce a a produkuje třetí funkci popisující, jak jedna funkce mění tvar té druhé. Je komutativní, takže je jedno, která je první a která je druhá. Ve spojité doméně je definována jako: [6]
Pokud jsou funkce a diskrétní a navíc je doména (množina povolených vstupů) konečná a je třeba , pak se používá diskrétní konvoluce:
Obrazy však mají dvě dimenze, takže se používá dvourozměrná diskrétní konvoluce:
kde je kernel / konvoluční jádro dáno jako matice velikosti .
WarningVšimni si, že kvůli se jádro při aplikaci na obraz překlápí. Kdyby to bylo , tak jde o korelaci, ne o konvoluci. Konvoluce má složitost , kde je velikost obrazu a je velikost jádra. Pro velká jádra se složitost blíží .
Konvoluce je komutativní, asociativní, xy separabilní (lze ji rozdělit na dvě jednorozměrné konvoluce, pokud platí, že ), a lineární (tedy lze ji násobit skalárem a sčítat).
- Okrajové hodnoty
-
Je důležité si uvědomit, že na okrajích obrazu nelze aplikovat konvoluci tak, jak je definována. Existuje několik způsobů, jak s tímto problémem pracovat:
-
Doplnění nulami: okraje se doplní nulami,
-
Doplnění nejbližší hodnotou: okraje se doplní hodnotou nejbližšího pixelu,
-
Doplnění zrcadlením: okraje se doplní hodnotami jako podle zrcadla,
-
Doplnění periodickým opakováním: okraje se doplní hodnotami z opačné strany obrazu.
-
Zmenšení okolí pro pixely u krajů obrazu: pixely mimo obraz se ignorují.
-
Lineární
- Lineární filtr
-
Je takový filtr , kde je množina povolených hodnot pixelů v obraze a je množina všech obrazů s šířkou a výškou . Musí splňovat podmínky linearity:
kde jsou obrazy a je skalární hodnota.
- Posunutí
-
Jednoduchý lineární filtr, který posune obraz o nějaký vektor.
- Box filtr / box blur
-
Rozmazání pomocí okolních pixelů.
- Gaussian filtr / Gaussian blur
-
Rozmazání pomocí okolních pixelů s Gaussovským váhováním, kde je parametr určující šířku Gaussova zvonu.
- Rozdílové filtry
-
Filtry, které počítají rozdíly mezi okolními pixely. Často se využívají pro detekci hran (viz dále).
Nelineární
Nelineární filtry jsou takové filtry, které nejsou lineární. (Duh.) Tedy nesplňují podmínky linearity.
Detekce hran
Proces, kdy hledání hran v obraze. Hrana je křivka, podél níž pixely výrazně mění intenzitu — výrazně se mění gradient.
-
Detekce hran je důležitá při identifikaci objektů a počítačovém vidění.
-
Bývá implementováná pomocí (první, druhé) derivace (resp. numerické diferenciace).
-
Hrany lze detekovat pomocí konvoluce.
Important
|
Numerické diferenciaci se věnuje otázka Numerické metody. |
Podle první derivace (gradientu)
- Prewittové operátor / Prewitt operator
-
Aproximuje velikost gradientu pomocí centrálních konečných diferencí. Skládá se ze dvou konvolucí s jádry:
Které se dají odseparovat na:
Aproximace je pak dána jako:
kde je vstupní obraz.
NoteVšimni si podobnosti s Sobelovým operátorem. Jen místo Gaussovského rozmazání používá box filtr.
- Sobelův operátor
-
Aproximuje velikost gradientu pomocí centrálních konečných diferencí. Skládá se ze dvou konvolucí s jádry:
Tato jádra se dají odseparovat na:
NoteVšimni si, že jeden kernel je Gaussovo rozmázání a druhý jsou centrální diference.
Aproximace je pak dána jako:
kde je vstupní obraz.
- Robertsův operátor / Roberts cross
-
Aproximuje velikost gradientu pomocí konečných diferencí. Detekuje především hrany se sklonem 45°.
kde barevné výrazy získa dvěma konvolucemi s jádry:
- Robinsonův operátor / Robinson compass mark
-
Detekuje hrany pomocí centrální diferencí. Používá osm různých jader, jedno prokaždý směr na kompasu. To mu umožňuje snadno aproximovat nejen velikost ale i směr gradientu.
- Canny edge detector
-
Algoritmus pro detekci hran. [23] [24]
-
Má nízké procento chyb.
-
Přesně lokalizuje hrany.
-
Má jednoznačnou odezvu (hrana prostě buď je nebo není).
-
Ale neprodukuje nutně spojité hrany.
Zjednodušený postup:
-
Aplikuj Gaussovo rozmazání na vstupní obraz, pro odstranění šumu.
-
Spočítej gradient intenzity obrazu (pomocí Roberts, Sobela, …).
-
Non-maximum suppression: zuž hrany na jednopixelovou šířku.
-
Double threshold: urči, které pixely jsou strong, weak a non-relevant.
-
Aplikuj hysterezní prahování: spoj strong pixely s weak pixely, pokud je kolem nich strong pixel.
-
Podle druhé derivace
Hrany lze detekovat pomocí druhé derivace obrazu. Nacházejí se v nulových bodech / zero crossings (tedy v maximech a minimech první derivace).
- Divergence
-
Divergence je operátor, který vrací skalární hodnotu. Popisuje zda gradient roste či klesá. Je definován jako: [25]
- Laplaceův operátor / Laplacian
-
Laplaceův operátor hledá hrany pomocí divergence gradientu.
-
Produkuje spojité hrany.
-
Uzavřené kontury.
-
Invariantní k otáčení o násobky .
-
Ale je velmi citlivý na šum.
-
Nedetekuje orientaci hrany.
kde je vstupní obraz.
Jeho diskrétní aproximace v maticové podobě potom vypadá jako:
-
- Laplacian of Gaussian (LoG)
-
Kombinace Gaussovského rozmazání a Laplacianu.
Laplaceův operátor je velmi citlivý na šum. Proto se před jeho použítím obraz často prožene Gaussovským rozmazáním.
Matice pro LoG je potom dána jako:
Říká se mu Mexican hat.
Integrální transformace
Transformace, která mapuje funkci z jejího původního funkčního prostoru do nějakého jiného funkčního prostoru . Používá se, protože s některými vlastnostmi funkcí je snazší pracovat v jiném prostoru. [18]
Patří sem transformace jako:
-
Fourierova transformace,
-
vlnková transformace,
-
Houghova transformace,
-
Radonova transformace.
Fourierova transformace
Fourierka je ako more. Je to hromada vlniek.
Tip
|
3Blue1Brown má skvělý video o Fourierově transformaci, ze kterého to pochopíš! (a evidentně je tak dobrý, že mi Copilot sám nabídl správný link…) |
Je operace (integrální transformace) při níž je obraz převeden z prostorové do frekvenční domény. A při inverzní Fourierově transformaci obráceně. [8]
-
Frekvenční doména je složena ze sinusoid s různými frekvencemi a fázemi (indikovaných pomocí polárních souřadnic).
-
Intenzita pixelu v obrazu frekvenční domény pak udává amplitudu dané sinusoidy.
-
Roztažení (stretch) funkce v prostorové doméně odpovídá opakování funkce (repetition) ve frekvenční doméně.
-
Posun (shift) v prostorové doméně ovlivňuje jenom fázi.
- Eulerova formule
-
Eulerova formule je vztah mezi komplexními čísly a goniometrickými funkcemi.
Lidskými slovy říká (viz 3b1b), že komplexní číslo popisuje pohyb po jednotkové kružnici v komplexní rovině proti směru hodinových ručiček. Jedna otáčka je radianů.
- 1D Fourierova transformace
-
Eulerovu formuli využijeme při popisu Fourierovy transformace:
Forward (z prostorové do frekvenční domény): [8]
Inverse (z frekvenční do prostorové domény):
- 2D Fourierova transformace
-
Forward (z prostorové do frekvenční domény): [8]
Inverse (z frekvenční do prostorové domény):
- Fast Fourier Transform (FFT)
-
Algoritmus pro rychlé výpočty diskrétní Fourierovy transformace (DFT). [9]
- Konvoluční teorém
-
Říká, že běžné násobení ve frekvenční doméně odpovídá konvoluci v prostorové doméně a obráceně. To je cool, protože konvoluce je pomalá, ale násobení je rychlé. [6]
kde je Fourierova transformace.
Sampling / vzorkování
Samplování je převod spojitého signálu na diskrétní. [sampling]
- Převzorkování
-
Je proces, kdy na vstupu je diskrétní signál s nějakou vzorkovací frekvencí a na výstupu je diskrétní signál s jinou vzorkovací frekvencí.
V případě 2D obrazů to může ale nemusí znamenat změnu velikosti obrazu. [image-scaling]
- Vzorkovací teorém / Nyquist-Shannon sampling theorem
-
Říká, že chceme-li spojitý signál převést na diskrétní a pak z tohoto diskrétního signálu zrekonstruovat původní spojitý signál, můsíme samplovat s alespoň dvojnásobnou frekvencí než je nejvyšší frekvence v původním signálu. [12]
-
Původní spojitý signál musí být frekvenčně omezený (band-limited), aby bylo možné v něm určit nejvyšší frekvenci.
-
Při nesplnění těchto podmínek vzniká aliasing.
TipAliasingu se věnuje část otázky Renderování s využitím GPU.
TipIntuitivně je signál hromádka kopečků. Abychom poznali i ty nejužší kopečky — s nejvyšší frekvencí — musíme mít dostatečně jemné síto — koukat na kopečky s dvakrát takovou frekvencí, abychom si všimli, že někde začíná a končí. -
- Rekonstrukce
-
Proces, kdy z diskrétního signálu zpět získáme spojitý signál. [14]
- Rekonstrukční filtr
-
Filtr pro rekonstrukci signálu.
-
box: nejbližší soused,
-
tent: lineární interpolace,
-
sinc,
-
Lanczos,
-
Gaussian.
-
Geometrické transformace
Geometrická transformace je bijekce mezi body dvou obrazů a . Díky tomu, že je to bijekce, k ní musí vždy existovat inverze. [13]
Patří sem operace jako:
-
posunutí / translace,
-
rotace,
-
škálování,
-
zkosení / shear,
-
zrcadlení / flip,
-
deformace / warping (na rozdíl od operací výše není lineární).
- Dopředné mapování / forward mapping
-
Procházíme pixely v a hledáme jejich umístění v (metoda "Kam s ním?").
- Zpětné mapování / backward mapping
-
Pro každý pixel počítáme jeho původní umístění v (metoda "Kde je?").
Vlnková transformace / wavelet transform
Tip
|
Opět výborné video, bohužel ne od 3b1b, ale obdobně kvalitně zpracované: Wavelets: a mathematical microscope. |
- Vlnka / wavelet
-
Funkce , která je omezená v čase. Je to "brief oscillation". [15]
-
Má konečnou energii:
-
Splňuje podmínku přípustnosti:
kde je Fourierova transformace . Tato podmínka zajišťuje invertibilitu vlnkové transformace.
-
Z podmínky přípustnosti plyne, že vlnka musí mít nulovou střední hodnotu:
-
Vlnková transformace je integrální transformace, která popisuje funkci v čase a frekvenci zároveň. Popis v čase je dán tím, že vlnky (narozdíl od sinusoid u Fourierky) jsou časově omezené. [15]
Používá se k:
-
Detekci nespojitosti signálu a jeho derivaci.
-
Identifikaci okamžitých frekvencí.
-
Odstranění šumu.
-
Extrakci příznaků.
-
Kompresi signálu.
Základní myšlenka je:
-
Zvolíme mateřskou vlnku (je spousta různých, ale nejznámnější je Morletova vlnka
-
Tuto vlnku můžeme posouvat a škálovat pomocí parametrů a - .
-
Posouváme naši vlnkovou funkci po signálu oběma parametry a pro každý bod sledujeme shodu s funkcí. Tu získáme intuitivně, jako integrál součinu vlnky a signálu . Pokud se ale podíváme na to, co to znamená ve frekvenční doméně, zjistíme, že to je skalární součin mezi Fourierovou transformací signálu a vlnky .
-
Pokud toto uděláme pro každý bod časové () a frekvenční () domény, dostaneme výsledný obraz vlnkové transformace.
-
Ale co to? V reálné části výsledku vidíme podivné vlnky! To je proto, že vlnková funkce je komplexní a ve skutečnosti nám dot product nevrací jednu hodnotu, ale komplexní číslo. Pokud zkoumáme to, pak vidíme, že rotuje kolem středu imaginární roviny. Stačí nám tedy změřit jeho vzdálenost od středu (absolutní hodnotu komplexního čísla) a dostáváme vlnkovou transformaci.
Ve výsledku je to fakt jen dot product funkce s upravenou vlnkou !
kde:
-
je mateřská vlnka,
-
je škálovaná a posunutá mateřská vlnka,
-
je škálovací parametr,
-
je posunutí.
-
je Fourierova transformace funkce ,
-
je Fourierova transformace vlnky ,
-
je skalární součin,
-
u je komplexně sdružená funkce,
-
je spojitá konvoluce,
-
je spojitý filtr, který odpovídá vlnce , pro dané měřítko .
Dále platí:
-
Vlnky jsou konstruovány, aby měly vhodné vlastnosti například pro zpracování signálů.
-
Vlnková transformace je v podstatě konvoluce signálu s vlnkou.
Představme si například vlnku, která má frekvenci tónu střední C a krátké trvání odpovídající osminové notě. Provedeme-li v pravidelných intervalech konvoluci takovéto vlnky se signálem - nahrávkou písně - pak nám výsledky této konvoluce napoví, kdy byla nota „osminové střední C“ v nahrávce použita.
Matematicky vzato, k vysoké korelaci vlnky se signálem (vysokému korelačnímu koeficientu) dojde v těch místech (intervalech), kde signál obsahuje informaci o podobné frekvenci, tedy tam, kde je námi zvolené vlnce nejpodobnější. Tento koncept je jádrem mnoha aplikací vlnkové transformace. [27]
Houghova transformace
Integrální transformace, která identifikuje přímky v obraze. V rozšířené podobě hledá libovolné tvary zadané parametricky. [16]
-
Dlouho byla používána pro detekci čar na silnici pro autonomní řízení aut. (Už ne. Dnes se používají neuronové sítě.)
-
Pracuje nad binárním obrazem.
-
Mapuje tvar na bod v parametrickém prostoru.
- Houghův prostor
-
Prostor je definován jednoduchou rovnicí .
Bod v prostoru obrázku je reprezentován jako křivka v Houghově prostoru. Bod v Houghově prostoru je reprezentován jako přímka v obrázku.
Můžeme promítnout všechny body z obrázku do Houghova prostoru s intenzitou odpovídající intenzitě bodu v obrázku. Pak hledáme body v Houghově prostoru, které mají největší intenzitu. To jsou body, které reprezentují přímky v obrázku.
Radonova transformace
Tip
|
Jako je již tradicí, mám pro vás video… |
Integrální transformace, která integruje funkci přes přímky. Tedy rozkládá funkci na hromádku parametrů, které definují přímky.
Užitečná je především inverzní Radonova transformace, která se používá v tomografii ("CTčko"). [17]
Mějme 3D objekt, který chceme "proskenovat" z různých úhlů . Pro každý úhel chceme získat 1D projekci objektu . Tato projekce je dána integrálem funkce přes přímku.
Uvažme, že nejprve celý prostor otočíme o úhel a potom provedeme jednoduchou projekci všech bodů na této přímce.
Pokud vezmeme všechny hodnoty z této projekce, získáme tzv. Sinogram:
Inverzní funkce je velice užitečná, ale poměrně složitá, takže doufám, že stačí tato obecná myšlenka.
Radon | Hough |
---|---|
Vyvinuta v 1917 |
Vyvinuta v 1962 |
Nejčastěji hledá přímky |
Hledá nějaký tvar zadaný parametricky (přímky, kružnice, elipsy, …) |
Dopředná transformace nás moc nezajímá tu provádí CT skener kontinuálně |
Dopředná transformace je implementovaná diskrétně |
Hlavním cílem je rekonstrukce obrazu — inverzní transformace |
Hlavním cílem je detekce tvarů |