Statistika

Note

Diskrétní a spojité náhodné veličiny (NV), základní rozložení. Číselné charakteristiky NV. Centrální limitní věta. Bodové odhady, intervaly spolehlivosti, testování statistických hypotéz, hladina významnosti. Základní parametrické a neparametrické testy, ANOVA, testy nezávislosti NV. Lineární regrese, celkový F-test, dílčí t-testy.

MV013

Příklad 1. Opakování

Tip	Viz bakalářské otázky Kombinatorika a pravděpodobnost a Statistika.

Statistika

Zabývá se sbíráním, organizací, analýzou, interpretací a prezentací dat. [1]

Popisná / decriptive: shrnuje data, která máme,
Inferenční / inferential: předpokládá, že data která máme jsou jen součástí celku; pracuje s modely celé populace a hypotézami o ní.

Základní prostor $Ω$

Konečná množina možných jevů. Např ${1, 2, 3, 4, 5, 6}$ pro možné hody šestistěnkou.

Možný výsledek (elementární náhodný jev) $ω_{k}$

Prvek základního prostoru $Ω$ .

Náhodný jev (event) $A$

Podmnožina $A \subseteq Ω$ , která nás zajímá. Např. "Na šestistěnce padne sudé číslo."

Náhodné veličiny

Náhodná veličina (NV) / random variable: Něco, co se dá u každého možného výsledku změřit. Zobrazení z prostoru elementárních jevů do měřitelného prostoru $E$ (třeba $R$ ).

$X : Ω \to E$

Diskrétní

Diskrétní NV je náhodná veličina, která nabývá konečně nebo spočetně mnoha hodnot. $E$ je konečná nebo spočetná, např. $N$ .

Příklad: hodnota na šestistěnce.

Jinými slovy, NV $X : Ω \to R$ je diskrétní, pokud se prvky $Ω$ zobrazí do $R$ jako izolované body ${x_{1}, x_{2}, \dots}$ .

Rozdělení pravděpodobnosti: Funkce $P (X) : E \to R$ , která každé hodnotě popsané veličinou $X$ přiřazuje pravděpodobnost jejího výskytu.

Každá $x_{i}$ má nenulovou pravděpodobnost:

$P (x_{i}) > 0$
Součet pravděpodobností všech možných hodnot $x_{i}$ je $1$ :

$x \sum P (x_{i}) = 1$

Spojité

Spojitá NV je náhodná veličina, která nabývá až nespočetně nekonečně mnoha hodnot. Tedy $E$ je nespočetná, např. $R$ .

Příklad: doba čekání na šalinu, analogový signál, výška člověka (pokud máme fakt dobrej metr).

Jinými slovy, NV $X : Ω \to R$ je spojitá, pokud se prvky $Ω$ zobrazí do $R$ jako interval $[a, b]$ .

Hustota pravděpodobnosti / probability density function (PDF): Funkce $f (x) : E \to R$ , která každé hodnotě popsané veličinou $X$ přiřazuje pravděpodobnost jejího výskytu.

Každý bod tohoto intervalu má nulovou pravděpodobnost:

$f (x) = 0$
Nicméně integrál pravděpodobnostní funkce $f (x)$ je $1$ :

$\int_{- \infty}^{\infty} f (x) d x = 1$
Pravděpodobnost, že NV nabývá hodnoty z intervalu $[a, b]$ je pak:

$P (a \leq X \leq b) = \int_{a}^{b} f (x) d x$

Základní rozložení

Distribuční funkce / cumulative distribution function (CDF): Funkce $F (X) : E \to R$ udává pravděpodobnost, že NV $X$ nabývá hodnoty menší než $x$ .

$F (x) F (x) = P (X \leq x) = \int_{- \infty}^{x} f (x) d x pro diskr \overset{e}{ˊ} tn \overset{ı}{ˊ} NV pro spojit \overset{e}{ˊ} NV$

Charakterizuje rozdělení, kterému náhodná veličina $X$ podléhá.

Pro spojité NV je to plocha pod křivkou pravděpodobnostní funkce. A taky se dá použít k vyjádření pravdepodobnosti:

$P (a \leq X \leq b) = F (b) - F (a)$

Tabulka 1. Diskrétní rozložení
Název	Definice	Popis	Příklad
Bernoulliho / alternativní	$P (x) = {1 - p p x \neq = 1 x = 1$	Náhodný pokus, kde jsou jen dva možné výsledky.	Hod mincí.
Binomické	$P (x, n, p) = (x n) p^{x} (1 - p)^{n - k}$	Sekvence $n$ pokusů. Popisuje pravděpodobnost, že $x$ bude úspěšných.	Hod mincí $n$ krát.
Poissonovo	$P (k, λ) = \frac{λ ^{k} e ^{- λ}}{k !}$	Pokud se něco děje průměrně $λ$ -krát za jednotku času, jaká je pravděpodobnost, že se to stane $k$ -krát za stejnou jednotku času? Výskyt jednoho jevu nesmí ovlivnit pravděpodobnost následujícího výskytu a také se nemohou stát dva jevy najednou.	Kolik lidí přijde do obchodu za hodinu. (Za předpokladu, že je pandemie a dovnitř může jen jeden člověk.)
Geometrické	$P (k, p) = {p (1 - p)^{k} 0 k = 0, 1, ... jinak$	Když tě zajímá, jaká je šance, že se něco pokazí $k$ krát, než to konečně uspěje.	Kolikrát musíš hodit mincí, než padne poprvé hlava.
(Diskrétní) rovnoměrné / uniformní	$P (x) = {\frac{1}{∣ A ∣} 0 x \in A jinak$	Když jsou všechny jevy $x$ z dané množiny $A$ stejně pravděpodobné.	Hod d20.

Tabulka 2. Spojité rozložení
Název	Definice	Popis	Příklad
(Spojité) rovnoměrné / uniformní	$f (x) = {\frac{1}{b - a} 0 a \leq x \leq b x < a \lor x > b$	Všechny jevy v daném intervalu $(a, b)$ (může být otevřený nebo uzavřený) jsou stejně pravděpodobné.	Bod na kružnici.
Exponenciální	$f (x, λ) = {λ e^{- λ x} 0 x \geq 0 x < 0$	Čas mezi jevy v Poissonově procesu.	Jak dlouho budeš čekat na šalinu.
Normální / Gaussovo	$f_{N} (x, μ, σ^{2}) = \frac{1}{σ 2 π} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}}$	Používá se jako default, když nevíš, jakou má proměnná distribuci, kvůli centrální limitní větě. ( $μ$ je mean, $σ^{2}$ je rozptyl).	Výška lidí.
Standardní normální	$f (x) = f_{N} (x, 0, 1) = \frac{1}{2 π} e^{- \frac{x ^{2}}{2}}$	Je fajn, protože má standardní odchylku rovnu jedné, takže člověku stačí si pamatovat, že: 68 % je v intervalu $(- 1, 1)$ , 95 % je v intervalu $(- 2, 2)$ , 99,7 % je v intervalu $(- 3, 3)$ .	Výška lidí (ale přeškálovaná).
Cauchy	$f (x) = \frac{1}{πσ [ 1 + ( \frac{x - μ}{σ} ) ^{2} ]}$	Poměr dvou spojitých náhodných proměnných s normálním rozdělením. Expected value ani rozptyl na ní nejsou definované.	Poměr výšky k šířce obličeje.
Gamma	$f (x, α, β) = {\frac{β ^{α}}{Γ ( α )} x^{α - 1} e^{- β x} 0 x > 0 jinak$	Když máš sekvenci jevů, kde čekací doba na každý má exponenciální rozdělení s rate $β$ , pak čekací doba na $n$ -tý jev má Gamma rozdělení s $α = n$ .	Jak dlouho budeš čekat na $n$ -tou šalinu.
$χ^{2}$ (Chi-square)	$f (x, n) = ⎩ ⎨ ⎧ \frac{x ^{\frac{n}{2} - 1} e ^{- \frac{x}{2}}}{2 ^{\frac{n}{2}} Γ ( \frac{k}{2} )} 0 x > 0 jinak$	Používá se při testování hypotéz. Nechť $Z_{1}, Z_{2}, ..., Z_{n}$ jsou nezávislé náhodné proměnné se standardním normálním rozdělením a $X = \sum_{i = 1}^{n} Z_{i}^{2}$ , pak $X$ má $χ^{2}$ rozdělení s $n$ stupni volnosti.	Testování, jestli je mince férová.
Studentovo $t$	$f (x, n) = \frac{Γ ( \frac{n + 1}{2} )}{nπ Γ ( \frac{n}{2} )} (1 + \frac{x ^{2}}{n})^{- \frac{n + 1}{2}}$	Používá se na odhadování meanu normálně distribuované populace, jejíž rozptyl neznáš (což je skoro vždycky), ale máš z ní samply.	Odhadování průměru výšky lidí.

Číselné charakteristiky

Stejně jako náhodné veličiny popisují jevy, číselné charakteristiky popisují chování náhodných veličin… pomocí čísel.

Míry polohy

Střední hodnota / mean / expected value

Průměr hodnot veličiny vážený jejich pravděpodobností. Značí se $\overline{X}$ nebo $E (X)$ .

Note	Taky někdy označovaný jako obecný moment prvního řádu / první obecný moment. [17]

$α$ -kvantil $Q_{α}$

Dělí statický soubor na stejně velké části.

Medián

Prostřední prvek uspořádaného statistického souboru. Kvantil $Q_{0.5}$ .

\tilde{x} = {x_{\frac{n + 1}{2}} \frac{1}{2} (x_{\frac{n}{2}} + x_{\frac{n}{2} + 1}) pro lich \overset{e}{ˊ} n pro sud \overset{e}{ˊ} n

Percentil

Výběrový kvantil ( $p$ -tý kvantil, kde $0 < p < 1$ ) $Q_{p}$ .

Modus

Hodnota s největší četností.

Míry variability

Jak moc se od sebe prvky liší (nezávisle na konstantním posunutí)?

Rozpyl / variance

Vyjadřuje, jak moc se NV odchyluje od své střední hodnoty. Značí se $σ^{2}$ , $var (X)$ nebo $D (X)$ .

var (X) = E ((x_{i} - E (X))^{2})

Note	Taky někdy označovaný jako centrální moment druhého řádu / druhý centrální moment. [17]

Směrodatná odchylka / standard deviation

Míra variability NV. Značí se $σ$ nebo $SD (X)$ . Je definovaná jako $σ^{2}$ .

ovariance veličin $X$ a $Y$

Měří určitou podobnost mezi $X$ a $Y$ .

cov (X, Y) = E ((X - E (X)) \cdot (Y - E (Y)))

Ze vzorce výše plyne

cov (X, X) cov (X, Y) cov (X, Y) = var (X) = cov (Y, X) = E (X \cdot Y) - E (X) \cdot E (Y)

Korelace

Míra podobnosti $ρ_{X, Y}$ náhodných veličin $X$ a $Y$ . Pokud $X = X$ , pak $ρ_{X, X} = 1$ . Pokud jsou $X$ a $Y$ nezávislé, pak $ρ_{X, Y} = 0$ .

ρ_{X, Y} = \frac{cov ( X , Y )}{var ( X ) \cdot var ( Y )} = \frac{E (( X - E ( X )) \cdot ( Y - E ( Y )))}{var ( X ) \cdot var ( Y )}

Míry tvaru

Koeficient šikmosti / skewness: Vztah polohy meanu vůči mediánu. Vyjadřuje symetrii dat.
Koeficient špičatosti / kurtosis: Jak vysoký je peak? Jak moc je to rozpláclé.

Centrální limitní věta (CLV) / Central limit theorem (CLT)

S rostoucím počtem sample výsledků $X_{i}$ se jejich distribuce blíží normálnímu rozdělení bez ohledu na jejich původní rozdělení.

Popisuje chování výběrového průměru pro velké soubory vzorků a umožňuje tak sestrojení intervalových odhadů.

Moivreova-Laplacova věta

Mějme NV $X$ . Pokud je $X$ součtem $n$ vzájemně nezávislých NV $X_{1}, X_{2}, ..., X_{n}$ s Bernoulliho rozdělením s parametrem $π$ , má $X$ binomické rozdělení s parametry $n$ a $π$ , pak s $n \to \infty$ :

\frac{X - nπ}{nπ ( 1 - π )} \approx N (0, 1)

Lévyho-Lindenbergova věta

Tip	Zobecnění Moivreovy-Laplacovy věty.

Mějme NV $X$ . Pokud je $X$ součtem $n$ vzájemně nezávislých NV $X_{1}, X_{2}, ..., X_{n}$ se shodným rozdělením libovolného typu, s konečnou střední hodnotou $E (X_{i}) = μ$ a konečným rozptylem $D (X_{i}) = σ^{2}$ , pak pro normovanou NV $U$ asymptoticky s $n \to \infty$ platí:

\overline{X} = \frac{1}{n} i = 1 \sum n X_{i} n \frac{X - μ}{σ ^{2}} \frac{\sum _{i = 1}^{n} X _{i} - n μ}{n σ ^{2}} \approx N (μ, \frac{σ ^{2}}{n}) \approx N (0, 1) \approx N (0, 1)

Příklad 2. Výpočet s CLV

Nechť $X$ je náhodná proměnná popisují jak padá 6, když hodíme kostkou 100krát. Tedy:

X \approx Binomial (100, \frac{1}{6})

Podle CLV má $X$ asymptoticky $X \approx N (\frac{100}{6}, \frac{500}{36})$ .

Pak například pravděpodobnost, že šestka padne méně než 16krát je:

P (X < 16) P (X < 16) = P (X \leq 15) ≐ P (X \leq 16) = 0.429 ≐ F (X \leq 15) = 0.327

S continuity correction (opravou v důsledku změny z diskrétní na spojitou NV) je to:

P (X < 16) = P (X \leq 15.5) ≐ F (15.5) = 0.377

Odhady

Odhad parametru / parameter estimation

Když se snažíš vymyslet, jaké asi hodnoty mají parametery té které distribuce mít, aby co nejlíp pasovala na tvoje samply.

Cílem odhadu je určit parametry rozdělení NV $X$ na základě informace z výběrového souboru (realizaci NV, datasetu). Chceme hodnotu a přesnost odhadu.

Metoda odhadu / estimator

Popisuje, jak odhad získat.

Nestranný odhad / unbiased estimator

Metoda odhadu parametru $θ$ taková, že střední hodnota odhadu je rovna $θ$ . Nestrannost je celkem rozumné omezení, protože nechceme, aby byl odhad odchýlený.

Nejlepší nestranný odhad / best unbiased estimator

Nestranný odhad, který má nejmenší rozptyl ze všech nestranných odhadů.

Konzistentní odhad / consistent estimator

Metoda odhadu parametru $θ$ taková, že s počtem vzorků $n$ konverguje k $θ$ pro $n \to \infty$ . [6]

(Výběrová) statistika / (sample) statistic

Náhodná veličina dána funkcí, která bere výběrový soubor a vrací číslo. Máme například:

Výběrový průměr / sample mean,
Výběrový rozptyl / sample variance,
Výběrovou směrodatnou odchylku / sample standard deviation,
Výběrovou (empirickou) distribuční funkci / sample distribution function.

Náhodná veličina $T_{n}$ , která vznikne aplikací funkce $T$ na náhodný výběr o velikosti $n$ $X = (X_{1}, X_{2}, \dots, X_{n})$ se nazývá statistika.

$T_{n} = T (X_{1}, X_{2}, \dots, X_{n})$

Tip	Estimator je funkce počítající statistiku použitá k odhadu parametru. [7]

Bodový odhad / point estimate / pointwise estimate

Odhad parametru daný jednou hodnotou, která hodnotu parametru aproximuje.

Intervalový odhad / interval estimate

Odhad parametru daný pomocí intervalu hodnot, který hodnotu parametru s velkou pravděpodobností obsahuje. Délka intervalu vypovídá o přesnosti odhadu.

Interval spolehlivosti / confidence interval

Interval spolehlivosti parametru $θ$ s hladinou spolehlivosti $1 - α$ , kde $α \in [0, 1]$ je dvojice statistik $[θ_{L}, θ_{U}]$ taková, že:

P (θ_{L} < θ < θ_{U}) = 1 - α

kde $θ_{L}$ je dolní mez intervalu a $θ_{U}$ je horní mez intervalu.

Hladina významnosti a spolehlivosti / significance and confidence level

Hladina významnosti $α$ je pravděpodobnost, že parametr nespadá do intervalového odhadu.
Hladina spolehlivosti $1 - α$ je pravděpodobnost, že parametr spadá do intervalového odhadu.

Levostranný, pravostranný a oboustranný interval / left-tailed, right-tailed and two-tailed interval

Levostranný (dolní): $P (θ \leq θ_{L}) = 1 - α$ .
Pravostranný (horní): $P (θ \geq θ_{U}) = 1 - α$ .
Oboustranný: $P (θ \leq θ_{L}) = P (θ \geq θ_{U}) = \frac{α}{2}$ .

Příklad 3. Tvorba intervalového odhadu

Máme vzorek velikosti $n$ s výběrovým průměrem $\overline{X}$ a výběrovým rozptylem $S^{2}$ . Odhadněte střední hodnotu $μ$ s hladinou spolehlivosti 0.95, pokud víte, že $X \approx N (μ, σ^{2})$ , kde rozptyl $σ^{2}$ je neznámý.

Zvolíme vhodnou výběrovou statistiku $T (X)$ jejíž rozdělení závislé na $μ$ známe. V tomhle případě Studentův t-test:

$T (X) = \frac{X - μ}{S / n} \sim t_{n - 1}$

Tedy víme, že $T (X) \sim t (n - 1)$
Určíme kvantily $t_{\frac{α}{2}} = t_{0.025}$ a $t_{1 - \frac{α}{2}} = t_{0.975}$ z $T (X)$ :

$P (t_{0.025} (n - 1) < T (X) < t_{0.975} (n - 1)) t_{0.025} (n - 1) P (t_{0.025} (n - 1) < T (X) < - t_{0.025} (n - 1)) P (\overline{X} - t_{0.025} (n - 1) \frac{S}{n} < μ < \overline{X} + t_{0.025} (n - 1) \frac{S}{n}) = 1 - α = 0.95 = - t_{0.975} (n - 1) = 0.95 = 0.95$
Vyčíslíme interval z poslední rovnice.

Věrohodnost / likelihood

Říká, jak dobře náš model (rozdělení pravděpodobnosti náhodné veličiny dané parametry) sedí na naměřená data.

Note	Pravděpodobnost je funkce jevů. Likelihood je funkce parametrů modelu.

Note	Likelihood nemusí nutně vracet čísla z intervalu $[0, 1]$ .

Maximum likelihood estimation (MLE)

Metoda odhadu parametru založená na maximalizaci likelihoodu, že model sedí na naměřená data. [8]

Method of moments (MOM)

Metoda odhadu parametru založená na rovnosti teoretického a výběrového momentu. [9]

Testování statistických hypotéz

Hypotéza

Nějaký předpoklad o datech, který chceme ověřit. Často je formulovaná pomocí parametrů modelu. Např. "střední hodnota je 5."

Testování hypotézy

Cílem testování hypotéz je ověřit, že data nepopírají nějakou hypotézu.

Null hypothesis $H_{0}$ : "výchozí nastavení"; často tvrdí, že nějaká vlastnost neexistuje.
Alternative hypothesis $H_{1}$ : "to co, chceme dokázat"; opak $H_{0}$ .

Alternativní hypotézu potvrzujeme tak, že vyvracíme nulovou hypotézu. Pokud se nám nepodaří vyvrátit $H_{0}$ , pak o $H_{1}$ nevíme nic. [10]

Na testování použijeme statistiku $T_{n} = T (X)$ , kterou nazýváme testovací statistikou. Množinu hodnot, které může testovací statistika nabýt, rozdělíme na dvě disjunktní oblasti. Jednu označíme $W_{α}$ , a nazveme ji kritickou oblastí (nebo také oblastí zamítnutí hypotézy (region of rejection, critical region)) a druhá je doplňkovou oblastí (oblast nezamítnutí testované hypotézy).

Na základě realizace náhodného výběru $x = (x_{1}, ..., x_{n})^{'}$ vypočítáme hodnotu testovací statistiky $t_{n} = T (x)$ .

Pokud hodnota testovací statistiky $t_{n}$ nabude hodnoty z kritické oblasti, t.j. $t_{n} = T (x) \in W_{α}$ , pak nulovou hypotézu zamítáme.

Pokud hodnota testovací statistiky $t_{n}$ nabude hodnoty z oblasti nezamítnutí, t.j. $t_{n} = T (x) \neq \in W_{α}$ , pak nulovou hypotézu nezamítáme.

— MV013

Příklad 4. Metafora se soudem

Platí presumpce nevinny. Předpokládáme, že člověk zločin nespáchal, dokud tuhle hypotézu nevyvrátíme.

$H_{0}$ : "Obžalovaný neukradl papamobil."
$H_{1}$ : "Obžalovaný ukradl papamobil."

Chyby v testování hypotéz

Typ I: zamítnutí $H_{0}$ , i když je pravdivá — false positive.
Typ II: nezamítnutí $H_{0}$ , i když je nepravdivá — false negative.

Note

Positive = zamítnutí $H_{0}$ , tedy potvrzení $H_{1}$ .

Negative = nezamítnutí $H_{0}$ , tedy o $H_{1}$ nevíme nic.

$p$ -hodnota (hladina významnosti)

Nejmenší hladina významnosti $α$ , při které ještě zamítáme $H_{0}$ . [11]

Pravděpodobnost, že došlo k chybě typu I — zavrhnuli jsme $H_{0}$ , ačkoli platí.

$p = P (type I error) = P (we reject H_{0} ∣ H_{0})$

Tip	Pokud $p$ -value vyjde menší než požadovaná hladina významnosti $α$ , pak pravděpodobnost, že došlo k chybě typu I je dostatečně malá na to, abychom mohli tvrdit, že zavrhujeme $H_{0}$ , protože $H_{0}$ neplatí, a tedy akceptujeme $H_{1}$ .

Parametrické testy

Parametrické testy jsou založené na parametrech pravděpodobnostních rozdělení.

Studentův T-test: Umožňuje ověřit zda normální rozdělení má danou střední hodnotu. Taky umožňuje ověřit zda dvě normální rozdělení mají stejnou střední hodnotu, za předpokladu, že mají stejný (byť neznámý) rozptyl. [15]
Analysis of variance (ANOVA): Testuje rozdíly mezi středními hodnotami dvou a více skupin. Používá se k ověření, zda rozptyly dvou nebo více množin dat jsou stejné až na konstantní posun a škálování. [13]

Neparametrické testy

Neparametrické testy nejsou založené (jen) na parametrech pravděpodobnostních rozdělení. Používají se, když neznáme rozdělení dat, nebo je těžké splnit předpoklady parametrických testů.

Sign test: Testuje, zda se dvě náhodné veličiny při pozorování liší konzistentně. Jinými slovy, zda stření hodnota jejich rozdílu má nulový medián.
One-sample Wilcoxon signed-rank test: Testuje, zda vzorky patří do symetrického rozdělení s daným mediánem.
Pearsonův chi-squared ( $χ^{2}$ ) test: Umožňuje ověřit, že dvě kategorické NV jsou nezávislé. [16]

Testy (ne)závislosti náhodných veličin

Příklad 5. Opakování

Statistická / stochastická nezávislost

Náhodné jevy $A$ a $B$ jsou stochasticky nezávislé, pokud $P (A \cap B) = P (A) \cdot P (B)$ .

Výskyt $A$ nemá vliv na výskyt $B$ .

"Při při prvním hodu padne 6" a "při druhém hodu padne 6" jsou nezávislé jevy.
Naproti tomu jev, že padne 6 při prvním hodu kostkou a jev, že součet čísel zaznamenaných v prvním a druhém pokusu je 8, jsou závislé jevy. [14]

Nezávislost diskrétních NV: Pokud $X$ , $Y$ a $Z$ jsou diskrétní náhodné veličiny, pak definujeme $X$ a $Y$ jako podmíněně nezávislé vzhledem k $Z$ , pokud:

$P (X \leq x, Y \leq y ∣ Z = z) = P (X \leq x ∣ Z = z) \cdot P (Y \leq y ∣ Z = z)$

pro všechny $x$ , $y$ a $z$ takové, že $P (Z = z) > 0$ .
Nezávislost spojitých NV: Pokud $X$ , $Y$ a $Z$ jsou spojité náhodné veličiny a mají společnou hustotu pravděpodobnosti $f_{X Y Z} (x, y, z)$ , pak definujeme $X$ a $Y$ jako podmíněně nezávislé vzhledem k $Z$ , pokud:

$f_{X, Y ∣ Z} (x, y ∣ z) = f_{X ∣ Z} (x ∣ z) \cdot f_{Y ∣ Z} (y ∣ z)$

pro všechna $x$ , $y$ a $z$ takové, že $f_{Z} (z) > 0$ .

To neformálně řečeno znamená, že jakmile máme k dispozici informaci obsaženou v Z, není už další informace A užitečná pro přesnější poznání B ani znalost B nepřidá nic pro pochopení A, i kdyby A a B byly vzájemně závislé.

— Wikipedia: Statistická nezávislost

Regrese

Analýza vztahu mezi dvěma závislými NV.

Lineární regrese

Regrese s předpokladem, že vztah dvě NV jsou závislé lineárně. Rovnici regresní přímky zapisujeme jako:

Y_{i} = β_{0} + β_{1} \cdot X_{i} + ε_{i}

Kde:

$Y$ je NV závislá na $X$ ,
$β_{0}$ je konstanta,
$β_{1}$ je směrnice (slope),
$ε_{i}$ je $i$ -tá pozorovaná hodnota chyby — náhodná složka / šum.

Platí:

$E (ε_{i}) = 0$ ,
$D (ε_{i}) = σ^{2}$ ,
$cov (ε_{i}, ε_{j}) = 0$ pro $i \neq = j$ ,
$ε_{i} \sim N (0, σ^{2})$ — náhodná složka má normální rozdělení,
regresní parametry $β_{0}$ a $β_{1}$ mohou mít libovolnou hodnotu.

Celkový F-test

Pracuje s nulovou hypotézou ve tvaru:

H_{0} : β_{1} = β_{2} = \dots = β_{k} = 0

Tedy testujeme, zda hodnota analyzované NV závisí na lineární kombinaci vysvětlujících NV. Pokud je $H_{0}$ zamítnuta, pak alespoň jedna závislost existuje. Pokud je $H_{0}$ nezamítnuta, pak je množina vysvětlujících NV úplně blbě.

Testová statistika má F-rozdělení.

Dílčí t-testy

Umožňují otestovat, že dává smysl použít $i$ -tou vysvětlující NV. Testujeme nulovou hypotézu:

H_{0} : β_{i} = 0

Pokud nelze zamítnout, pak $i$ -tá vysvětlující NV nemá vliv na analyzovanou NV a můžeme ji vynechat.

Testová statistika má Studentovo t-rozdělení.