Zpracování rastrového obrazu

Editovat
Note

Bodové transformace. Histogram, vyrovnání histogramu, analýza histogramu. Lineární a nelineární filtry. Detekce hran. Fourierova transformace. Vzorkovací teorém, převzorkování, geometrické transformace. Vlnková transformace. Houghova/Radonova transformace.

PB130/PV131

Rastr / bitmapa

Obraz reprezentovaný pomocí 2D pole pixelů. Každý pixel obsahuje jednu (pokud je obraz černobílý) nebo více (typicky RGB nebo CMYK) intenzit. Intenzity jsou zakódovány na bity. [3]

Je to 2D mapa bitů…​ bitmapa. Get it?

Zpracování obrazu / digital image processing

Oblast informatiky zabývající se manipulací s obrazy pomocí počítače. Obsahuje třeba: [4]

  • zpracování raw dat ze senzorů ve foťácích,

  • odstranění šumu,

  • zvýraznění hran,

  • zvýšení kontrastu,

  • detekci tváří,

  • rozpoznávání objektů,

  • rozpoznávání textu — optical character recognition (OCR).

Klasifikace transformací
  • Neměnící geometrii obrazu

    • Bodové

    • Lokální

    • Globální

  • Geometrické

Bodové transformace

Transformace hodnot pixelů nezávisle na jejich okolí. Nemění velikost obrazu.

Homogenní

Bodové transformace, které nezávisí na pozici pixelu v obraze. Je definována pomocí převodní funkce . Patří sem třeba:

  • úprava jasu,

  • úprava kontrastu,

  • hue, saturation, atd.,

  • gama korekce,

  • globální prahování.

Lineární transformace

Převodní funkce je lineární, definována, jako .

  • Identita:

  • Inverze intenzit (negativ):

  • Zvýšení jasu:

  • Snížení jasu:

  • Zvýšení kontrastu:

  • Snížení kontrastu:

  • Lineární roztažení: viz dále

  • (Percentilové roztažení: viz dále)

    Negativ

    Inverze hodnot pixelů. Nejvyšší hodnota se změní na nejnižší a naopak.

    Pokud maximální intenzita je 255 pak negativ je definován jako:

    Lineární roztažení

    Přemapování rozsahu intenzit na rozsah pomocí lineární interpolace. Často ke zvýraznění kontrastu.

    kde je nejnižší hodnota a nejvyšší hodnota v obraze. Obvykle a .

    Alternativně lze použít percentilové roztažení, které převede procent nejnižších a nejvyšších hodnot na a (tedy "uřízne" extrémy). není striktně řečeno lineární.

Nelineární transformace

Převod nelze vyjádřit v lineárním tvaru

Gama korekce

Nelineární bodová transformace kompenzující vlastnosti lidského oka pro lepší využití bitové hloubky.

  1. Vstupní obraz je normalizován na rozsah .

  2. Každá hodnota je transformována typicky pomocí .

  3. Výsledný obraz je přeškálován na původní rozsah.

szp09 gamma
Kvantizace

Nelineární bodová transformace, která snižuje bitovou hloubku obrazu. Výsledkem je obraz s menším počtem barev.

Může vypadat cool. Viz toon shading.

Prahování / thresholding

Nelineární bodová transformace, která rozdělí obraz na dvě skupiny podle intenzity. Výsledkem je binární obraz.

kde je práh. Pokud je konstanta, pak se jedná o globální prahování.

Important

Prahování se pořádně věnuje otázka Analýza rastrového obrazu.

Paleta

Můžeme použít funkci či vyhledávácí tabulku pro přemapování existujících hodnot v obrazu na jiné (viz barevné škály u vizualizací).

Nehomogenní

Bodové transformace, které závisí na pozici pixelu v obraze. Je definována pomocí převodní charakteristiky . Patří sem třeba:

  • korekce nerovnoměrného osvětlení,

  • vignette,

  • přechodové filtry.

Histogramy

Histogram kvantifikuje množství a frekvenci barev obsažených v obraze. Ve statické terminologii je to aproximace hustoty pravděpodobnosti.

  • Hodnota histogramu v indexu odpovídá počtu pixelů v obraze s intenzitou .

  • Šedotónní obraz má jeden histogram. RGB obraz má tři.

Kumulativní histogram

Kumulativní histogram bbsahuje množství pixelů s intenzitou menší nebo rovnou než . Ve statické terminologii je to aproximace distribuční funkce.

Vyrovnání histogramu / histogram equalization

Změna obrazu tak, aby jeho kumulativní histogram měl konkrétní tvar, obvykle aby byl lineární. [20]

Typicky k tomu využíváme funkci , kde je kumulativní histogram pro barvu v bodě x, je maximální intenzita a je velikost obrazu.

Před vyrovnáním histogramu

szp09 histogram eq before 01 szp09 histogram eq before 02

Po vyrovnání histogramu

szp09 histogram eq after 01 szp09 histogram eq after 02

Note
Původní fotku vyfotil Phillip Capper.
Analýza histogramu

Z histogramu lze vysledovat řadu věcí jak manuálně tak automaticky. Často se proto používá jako mezikrok v jiných algoritmech. Lze z něj například zjistit: [19] [21]

  • průměrný jas,

  • kontrast,

  • vztah mezi mediánem a střední hodnotou,

  • přepaly a podexponované oblasti,

  • šikmost / skewness.

Konvoluční filtry

Filtr

Filtr je termín ze zpracování signálů (kterýmžto obraz z jisté perspektivy je). Je to zařízení, postup, či transformace, která ze signálu odstraňuje nechtěnné informace. [5]

Šum / noise

Šum je informace, která v obrazu vznikla kvůli nedokonalosti snímače, přenosu, uložení dat, atd. Ač někdy může vypadat docela cool, obvykle je to nechtěná informace. Podle frekvenční charakteristiky se dělí na:

  • bílý šum: má stejnou energii ve všech frekvencích; je to jen matematická abstrakce,

  • Poissonův šum / photon noise: vzniká při náhodném procesu, jako je například dopad světla na snímač,

  • Aditivní: přidává se k signálu; , kde je originální funkce signálu a je šum,

  • Impulzní: nahrazuje některé hodnoty signálu jinými hodnotami; patří sem například sůl a pepř / salt and pepper noise.

Konvoluce

Matematická operace, která vezme dvě funkce a a produkuje třetí funkci popisující, jak jedna funkce mění tvar té druhé. Je komutativní, takže je jedno, která je první a která je druhá. Ve spojité doméně je definována jako: [6]

Pokud jsou funkce a diskrétní a navíc je doména (množina povolených vstupů) konečná a je třeba , pak se používá diskrétní konvoluce:

Obrazy však mají dvě dimenze, takže se používá dvourozměrná diskrétní konvoluce:

kde je kernel / konvoluční jádro dáno jako matice velikosti .

Warning
Všimni si, že kvůli se jádro při aplikaci na obraz překlápí. Kdyby to bylo , tak jde o korelaci, ne o konvoluci.

Konvoluce má složitost , kde je velikost obrazu a je velikost jádra. Pro velká jádra se složitost blíží .

Konvoluce je komutativní, asociativní, xy separabilní (lze ji rozdělit na dvě jednorozměrné konvoluce, pokud platí, že ), a lineární (tedy lze ji násobit skalárem a sčítat).

Okrajové hodnoty

Je důležité si uvědomit, že na okrajích obrazu nelze aplikovat konvoluci tak, jak je definována. Existuje několik způsobů, jak s tímto problémem pracovat:

  • Doplnění nulami: okraje se doplní nulami,

  • Doplnění nejbližší hodnotou: okraje se doplní hodnotou nejbližšího pixelu,

  • Doplnění zrcadlením: okraje se doplní hodnotami jako podle zrcadla,

  • Doplnění periodickým opakováním: okraje se doplní hodnotami z opačné strany obrazu.

  • Zmenšení okolí pro pixely u krajů obrazu: pixely mimo obraz se ignorují.

szp09 okraje

Lineární

Lineární filtr

Je takový filtr , kde je množina povolených hodnot pixelů v obraze a je množina všech obrazů s šířkou a výškou . Musí splňovat podmínky linearity:

kde jsou obrazy a je skalární hodnota.

Posunutí

Jednoduchý lineární filtr, který posune obraz o nějaký vektor.

Box filtr / box blur

Rozmazání pomocí okolních pixelů.

Gaussian filtr / Gaussian blur

Rozmazání pomocí okolních pixelů s Gaussovským váhováním, kde je parametr určující šířku Gaussova zvonu.

Rozdílové filtry

Filtry, které počítají rozdíly mezi okolními pixely. Často se využívají pro detekci hran (viz dále).

Nelineární

Nelineární filtry jsou takové filtry, které nejsou lineární. (Duh.) Tedy nesplňují podmínky linearity.

Detekce hran

Proces, kdy hledání hran v obraze. Hrana je křivka, podél níž pixely výrazně mění intenzitu — výrazně se mění gradient.

  • Detekce hran je důležitá při identifikaci objektů a počítačovém vidění.

  • Bývá implementováná pomocí (první, druhé) derivace (resp. numerické diferenciace).

  • Hrany lze detekovat pomocí konvoluce.

Important
Numerické diferenciaci se věnuje otázka Numerické metody.

Podle první derivace (gradientu)

Prewittové operátor / Prewitt operator

Aproximuje velikost gradientu pomocí centrálních konečných diferencí. Skládá se ze dvou konvolucí s jádry:

Které se dají odseparovat na:

Aproximace je pak dána jako:

kde je vstupní obraz.

Note

Všimni si podobnosti s Sobelovým operátorem. Jen místo Gaussovského rozmazání používá box filtr.

Sobelův operátor

Aproximuje velikost gradientu pomocí centrálních konečných diferencí. Skládá se ze dvou konvolucí s jádry:

Tato jádra se dají odseparovat na:

Note

Všimni si, že jeden kernel je Gaussovo rozmázání a druhý jsou centrální diference.

Aproximace je pak dána jako:

kde je vstupní obraz.

Robertsův operátor / Roberts cross

Aproximuje velikost gradientu pomocí konečných diferencí. Detekuje především hrany se sklonem 45°.

kde barevné výrazy získa dvěma konvolucemi s jádry:

Robinsonův operátor / Robinson compass mark

Detekuje hrany pomocí centrální diferencí. Používá osm různých jader, jedno prokaždý směr na kompasu. To mu umožňuje snadno aproximovat nejen velikost ale i směr gradientu.

Canny edge detector

Algoritmus pro detekci hran. [23] [24]

  • Má nízké procento chyb.

  • Přesně lokalizuje hrany.

  • Má jednoznačnou odezvu (hrana prostě buď je nebo není).

  • Ale neprodukuje nutně spojité hrany.

Zjednodušený postup:

  1. Aplikuj Gaussovo rozmazání na vstupní obraz, pro odstranění šumu.

  2. Spočítej gradient intenzity obrazu (pomocí Roberts, Sobela, …​).

  3. Non-maximum suppression: zuž hrany na jednopixelovou šířku.

  4. Double threshold: urči, které pixely jsou strong, weak a non-relevant.

  5. Aplikuj hysterezní prahování: spoj strong pixely s weak pixely, pokud je kolem nich strong pixel.

Podle druhé derivace

Hrany lze detekovat pomocí druhé derivace obrazu. Nacházejí se v nulových bodech / zero crossings (tedy v maximech a minimech první derivace).

Divergence

Divergence je operátor, který vrací skalární hodnotu. Popisuje zda gradient roste či klesá. Je definován jako: [25]

Laplaceův operátor / Laplacian

Laplaceův operátor hledá hrany pomocí divergence gradientu.

  • Produkuje spojité hrany.

  • Uzavřené kontury.

  • Invariantní k otáčení o násobky .

  • Ale je velmi citlivý na šum.

  • Nedetekuje orientaci hrany.

kde je vstupní obraz.

Jeho diskrétní aproximace v maticové podobě potom vypadá jako:

Laplacian of Gaussian (LoG)

Kombinace Gaussovského rozmazání a Laplacianu.

Laplaceův operátor je velmi citlivý na šum. Proto se před jeho použítím obraz často prožene Gaussovským rozmazáním.

Matice pro LoG je potom dána jako:

Říká se mu Mexican hat.

szp09 mexican hat

Integrální transformace

Transformace, která mapuje funkci z jejího původního funkčního prostoru do nějakého jiného funkčního prostoru . Používá se, protože s některými vlastnostmi funkcí je snazší pracovat v jiném prostoru. [18]

Patří sem transformace jako:

  • Fourierova transformace,

  • vlnková transformace,

  • Houghova transformace,

  • Radonova transformace.

Fourierova transformace

Fourierka je ako more. Je to hromada vlniek.

— Nika Kunzová
Tip

3Blue1Brown má skvělý video o Fourierově transformaci, ze kterého to pochopíš! (a evidentně je tak dobrý, že mi Copilot sám nabídl správný link…​)

Je operace (integrální transformace) při níž je obraz převeden z prostorové do frekvenční domény. A při inverzní Fourierově transformaci obráceně. [8]

  • Frekvenční doména je složena ze sinusoid s různými frekvencemi a fázemi (indikovaných pomocí polárních souřadnic).

  • Intenzita pixelu v obrazu frekvenční domény pak udává amplitudu dané sinusoidy.

  • Roztažení (stretch) funkce v prostorové doméně odpovídá opakování funkce (repetition) ve frekvenční doméně.

  • Posun (shift) v prostorové doméně ovlivňuje jenom fázi.

Eulerova formule

Eulerova formule je vztah mezi komplexními čísly a goniometrickými funkcemi.

Lidskými slovy říká (viz 3b1b), že komplexní číslo popisuje pohyb po jednotkové kružnici v komplexní rovině proti směru hodinových ručiček. Jedna otáčka je radianů.

1D Fourierova transformace

Eulerovu formuli využijeme při popisu Fourierovy transformace:

Forward (z prostorové do frekvenční domény): [8]

Inverse (z frekvenční do prostorové domény):

2D Fourierova transformace

Forward (z prostorové do frekvenční domény): [8]

Inverse (z frekvenční do prostorové domény):

Fast Fourier Transform (FFT)

Algoritmus pro rychlé výpočty diskrétní Fourierovy transformace (DFT). [9]

Konvoluční teorém

Říká, že běžné násobení ve frekvenční doméně odpovídá konvoluci v prostorové doméně a obráceně. To je cool, protože konvoluce je pomalá, ale násobení je rychlé. [6]

kde je Fourierova transformace.

Sampling / vzorkování

Samplování je převod spojitého signálu na diskrétní. [sampling]

Převzorkování

Je proces, kdy na vstupu je diskrétní signál s nějakou vzorkovací frekvencí a na výstupu je diskrétní signál s jinou vzorkovací frekvencí.

V případě 2D obrazů to může ale nemusí znamenat změnu velikosti obrazu. [image-scaling]

Vzorkovací teorém / Nyquist-Shannon sampling theorem

Říká, že chceme-li spojitý signál převést na diskrétní a pak z tohoto diskrétního signálu zrekonstruovat původní spojitý signál, můsíme samplovat s alespoň dvojnásobnou frekvencí než je nejvyšší frekvence v původním signálu. [12]

  • Původní spojitý signál musí být frekvenčně omezený (band-limited), aby bylo možné v něm určit nejvyšší frekvenci.

  • Při nesplnění těchto podmínek vzniká aliasing.

    Tip
    Aliasingu se věnuje část otázky Renderování s využitím GPU.
Tip
Intuitivně je signál hromádka kopečků. Abychom poznali i ty nejužší kopečky — s nejvyšší frekvencí — musíme mít dostatečně jemné síto — koukat na kopečky s dvakrát takovou frekvencí, abychom si všimli, že někde začíná a končí.
Rekonstrukce

Proces, kdy z diskrétního signálu zpět získáme spojitý signál. [14]

Rekonstrukční filtr

Filtr pro rekonstrukci signálu.

  • box: nejbližší soused,

  • tent: lineární interpolace,

  • sinc,

  • Lanczos,

  • Gaussian.

Geometrické transformace

Geometrická transformace je bijekce mezi body dvou obrazů a . Díky tomu, že je to bijekce, k ní musí vždy existovat inverze. [13]

Patří sem operace jako:

  • posunutí / translace,

  • rotace,

  • škálování,

  • zkosení / shear,

  • zrcadlení / flip,

  • deformace / warping (na rozdíl od operací výše není lineární).

Dopředné mapování / forward mapping

Procházíme pixely v a hledáme jejich umístění v (metoda "Kam s ním?").

Zpětné mapování / backward mapping

Pro každý pixel počítáme jeho původní umístění v (metoda "Kde je?").

Vlnková transformace / wavelet transform

Tip

Opět výborné video, bohužel ne od 3b1b, ale obdobně kvalitně zpracované: Wavelets: a mathematical microscope.

Vlnka / wavelet

Funkce , která je omezená v čase. Je to "brief oscillation". [15]

szp09 wavelet
  • Má konečnou energii:

  • Splňuje podmínku přípustnosti:

    kde je Fourierova transformace . Tato podmínka zajišťuje invertibilitu vlnkové transformace.

  • Z podmínky přípustnosti plyne, že vlnka musí mít nulovou střední hodnotu:

Vlnková transformace je integrální transformace, která popisuje funkci v čase a frekvenci zároveň. Popis v čase je dán tím, že vlnky (narozdíl od sinusoid u Fourierky) jsou časově omezené. [15]

Používá se k:

  • Detekci nespojitosti signálu a jeho derivaci.

  • Identifikaci okamžitých frekvencí.

  • Odstranění šumu.

  • Extrakci příznaků.

  • Kompresi signálu.

Základní myšlenka je:

  1. Zvolíme mateřskou vlnku (je spousta různých, ale nejznámnější je Morletova vlnka

    szp09 wavelet steps1
  2. Tuto vlnku můžeme posouvat a škálovat pomocí parametrů a - .

    szp09 wavelet steps2
  3. Posouváme naši vlnkovou funkci po signálu oběma parametry a pro každý bod sledujeme shodu s funkcí. Tu získáme intuitivně, jako integrál součinu vlnky a signálu . Pokud se ale podíváme na to, co to znamená ve frekvenční doméně, zjistíme, že to je skalární součin mezi Fourierovou transformací signálu a vlnky .

    szp09 wavelet steps3
  4. Pokud toto uděláme pro každý bod časové () a frekvenční () domény, dostaneme výsledný obraz vlnkové transformace.

    szp09 wavelet steps4
  5. Ale co to? V reálné části výsledku vidíme podivné vlnky! To je proto, že vlnková funkce je komplexní a ve skutečnosti nám dot product nevrací jednu hodnotu, ale komplexní číslo. Pokud zkoumáme to, pak vidíme, že rotuje kolem středu imaginární roviny. Stačí nám tedy změřit jeho vzdálenost od středu (absolutní hodnotu komplexního čísla) a dostáváme vlnkovou transformaci.

    szp09 wavelet steps5

Ve výsledku je to fakt jen dot product funkce s upravenou vlnkou !

kde:

  • je mateřská vlnka,

  • je škálovaná a posunutá mateřská vlnka,

  • je škálovací parametr,

  • je posunutí.

  • je Fourierova transformace funkce ,

  • je Fourierova transformace vlnky ,

  • je skalární součin,

  • u je komplexně sdružená funkce,

  • je spojitá konvoluce,

  • je spojitý filtr, který odpovídá vlnce , pro dané měřítko .

Dále platí:

  • Vlnky jsou konstruovány, aby měly vhodné vlastnosti například pro zpracování signálů.

  • Vlnková transformace je v podstatě konvoluce signálu s vlnkou.

Představme si například vlnku, která má frekvenci tónu střední C a krátké trvání odpovídající osminové notě. Provedeme-li v pravidelných intervalech konvoluci takovéto vlnky se signálem - nahrávkou písně - pak nám výsledky této konvoluce napoví, kdy byla nota „osminové střední C“ v nahrávce použita.

Matematicky vzato, k vysoké korelaci vlnky se signálem (vysokému korelačnímu koeficientu) dojde v těch místech (intervalech), kde signál obsahuje informaci o podobné frekvenci, tedy tam, kde je námi zvolené vlnce nejpodobnější. Tento koncept je jádrem mnoha aplikací vlnkové transformace. [27]

Houghova transformace

Integrální transformace, která identifikuje přímky v obraze. V rozšířené podobě hledá libovolné tvary zadané parametricky. [16]

  • Dlouho byla používána pro detekci čar na silnici pro autonomní řízení aut. (Už ne. Dnes se používají neuronové sítě.)

  • Pracuje nad binárním obrazem.

  • Mapuje tvar na bod v parametrickém prostoru.

Houghův prostor

Prostor je definován jednoduchou rovnicí .

Bod v prostoru obrázku je reprezentován jako křivka v Houghově prostoru. Bod v Houghově prostoru je reprezentován jako přímka v obrázku.

szp09 hough space

Můžeme promítnout všechny body z obrázku do Houghova prostoru s intenzitou odpovídající intenzitě bodu v obrázku. Pak hledáme body v Houghově prostoru, které mají největší intenzitu. To jsou body, které reprezentují přímky v obrázku.

szp09 hough transform

Radonova transformace

Tip

Jako je již tradicí, mám pro vás video…​

Integrální transformace, která integruje funkci přes přímky. Tedy rozkládá funkci na hromádku parametrů, které definují přímky.

Užitečná je především inverzní Radonova transformace, která se používá v tomografii ("CTčko"). [17]

szp09 radon

Mějme 3D objekt, který chceme "proskenovat" z různých úhlů . Pro každý úhel chceme získat 1D projekci objektu . Tato projekce je dána integrálem funkce přes přímku.

Uvažme, že nejprve celý prostor otočíme o úhel a potom provedeme jednoduchou projekci všech bodů na této přímce.

szp09 radon space

Pokud vezmeme všechny hodnoty z této projekce, získáme tzv. Sinogram:

szp09 sinogram

Inverzní funkce je velice užitečná, ale poměrně složitá, takže doufám, že stačí tato obecná myšlenka.

Tabulka 1. Radon vs Hough
Radon Hough

Vyvinuta v 1917

Vyvinuta v 1962

Nejčastěji hledá přímky

Hledá nějaký tvar zadaný parametricky (přímky, kružnice, elipsy, …​)

Dopředná transformace nás moc nezajímá tu provádí CT skener kontinuálně

Dopředná transformace je implementovaná diskrétně

Hlavním cílem je rekonstrukce obrazu — inverzní transformace

Hlavním cílem je detekce tvarů