Inferential statistics

Když chceš z data něco odvodit, musíš je modelovat. Jak ale zvolit parametry modelu? Máš dva hlavní přístupy:

Parameter estimation — spočítej odhad té hodnoty, nebo interval, do kterého patří,
Hypothesis testing — něco si vymysli a pak otestuj, jestli to na tvoje data sedí.

Parameter estimation

Parameter estimation

Když se snažíš vymyslet, jaké asi hodnoty mají parametery té které distribuce mít, aby co nejlíp pasovala na tvoje samply.

Point estimate

Počítáš jeden konkrétní nejlepší odhad — jedno číslo. Jak? Třeba pomocí Maximum likelihood estimate nebo Method of moments.

Likelihood

Číslo, které udává, jak dobře náš model (zvolení rozdělení se zvolenými parametry $f (x, θ)$ ) sedí na dané samply. Nemá jednotku a není to pravděpodobnost. Je to funkce parametrů modelu, ne jevů. Pro fixní dataset samplů $x_{1}, x_{2}, ..., x_{n}$ :

$L (θ) = \prod_{i = 1}^{n} f (x_{i}, θ)$

Note	Tenhle součin se obvykle logaritmuje, protože sčítat je snazší a stejně to nemá jednotku.

Maximum likelihood estimate (MLE)

Takové $\hat{θ}$ , že $\hat{θ} = arg max_{θ \in Θ} L (θ)$ .

Method of moments

Alternativa k maximum likelihood. Víš jak chceš, aby $μ (θ) = \overline{X}$ ? Tak si vyrobil tolik takových rovnic, kolik máš parametrů modelu v $θ$ a vyřeš soustavu rovnic:

μ_{1} (θ) μ_{2} (θ) μ_{p} (θ) = \frac{1}{n} i = 1 \sum n X_{i}^{1} = \frac{1}{n} i = 1 \sum n X_{i}^{2} ... = \frac{1}{n} i = 1 \sum n X_{i}^{p}

Note	Pokud ti některé rovnice vyjdou lineárně závislé, přihoď další!

Confidence interval

Když ti jedno číslo nestačí a chceš interval, do kterého odhad spadá s nějakou mírou jistoty.

Confidence level $α$

Confidence interval má confidence level $α$ , pro který byl spočítán. Pokud $α = 0.05$ , pak 95% intervalů, které pro $α$ můžeš spočítat, obsahují opravdovou hledanou hodnotu.

One-sided confidence interval

$[L (X_{1}, ..., X_{n}), \infty)$ , kde $P (L (X_{1}, ..., X_{n}) \leq θ) = 1 - α$ , nebo
$(- \infty, U (X_{1}, ..., X_{n})]$ , kde $P (θ \leq U (X_{1}, ..., X_{n})) = 1 - α$ .

Note
$L$ a $U$ jsou náhodné proměnné, které vyjadřují Lower bound a Upper bound.

Two-sided confidence interval

$[L (X_{1}, ..., X_{n}), U (X_{1}, ..., X_{n})]$ ,

kde $P (L (X_{1}, ..., X_{n}) \leq θ \leq U (X_{1}, ..., X_{n})) = 1 - α$

a $θ \in Θ$ — tedy musí to platit pro všechny možné hodnoty parametru $θ$ .

Model selection

Q-Q plot: Pokud veličina je rozdělená normálně, pak je v Q-Q plotu 45° čára. Q because it’s quantil.
P-P plot: Jako Q-Q plot, ale probability.
Histogram: Z něj taky poznáš, co je to za distribuci.
Kernel density estimator: Histogram, but smooth.
Empirical distribution function: Vezmeš samply a uděláš z nich distribution function.
Shapiro-Wilk test: Test na to, jestli je náhodná veličina rozdělená normálně.
Kolmogorov-Smirnov (K-S) test: Jsou tyhle dvě proměnné rozdělené stejně?
Lilliefors test: Upgrade K-S testu, který si dopočítá $μ$ a $σ$ .
Cramer-von Mises test: Test, co porovnává CDF s empirickou DF nebo dvě empirické DF.
Anderson-Darling test: Jak dobře data sedí na danou distribuci?
Pearson’s $χ^{2}$ goodness of fit test: Dá se použít na testování goodness of fit, homogeneity a nezávislosti kategorické náhodné proměnné.
Score-based principle: Model s vyšším likelihood je lepší než model s nižším likelihood.
Akaike’s information criterion (AIC): Když modely s mrakem parametrů nejsou až tak cool, tak uprav likelihood takto:

$AIC = - 2 l (\hat{θ}) + 2 p$

Hypothesis testing

Hypotézy vyjadřují očekávání o nějakém parametru populace. Significance test nám říká, jestli hypotéza dává smysl pro sample data, která máme.

Null hypothesis $H_{0}$: Parametr má specifickou hodnotu. Bude vyvrácena, pokud data dostatečně dokazují, že tomu tak není.
Alternative hypothesis $H_{1}$: Parametr spadá do nějakého intervalu hodnot. $H_{0}$ a $H_{1}$ se vždy vzájemně vylučují.
Metafora se soudem: Podobně jako u soudu tu platí presumpce nevinný. Předpokládáme, že $H_{0}$ je pravda, dokud nedokážeme opak. Nicméně, pokud se nám nepodaří vyvrátit $H_{0}$ , tak nevíme jestli $H_{0}$ nebo $H_{1}$ platí.
Type I error: Když zavrhneš $H_{0}$ , ačkoli je pravdivá.
Type II errror: Když nezavrhneš $H_{0}$ , ačkoli $H_{1}$ je pravdivá.
$p$ -value: Pravděpodobnost, že došlo k chybě typu I — zavrhnuli jsme $H_{0}$ , ačkoli platí.

$p = P (type I error) = P (we reject H_{0} ∣ H_{0})$

Pokud $p$ -value vyjde menší než significance level $α$ , pak pravděpodobnost, že došlo k chybě typu I je dostatečně malá na to, abychom mohli tvrdit, že zavrhujeme $H_{0}$ , protože $H_{0}$ neplatí, a tedy akceptujeme $H_{1}$ .

Exact test
Asymptotic test
Welch’s $t$ -test
two-sample $t$ -test
$F$ -test
paired $t$ -test
ANOVA
Levene’s test
Bartlett’s test
Tukey’s HSD
Pearson’s $χ^{2}$ test of independence
Nonparametric tests
- Sign test
- One-sample Wilcoxon test
- Two-sample Wilcoxon test
- Two-sample Kolmogorov-Smirnov test
- Spearman’s correlation coefficient
- Kendall’s tau

Linear regression models

Least squares estimate
Coefficient of determination
Stepwise regression