Descriptive statistics

Když máš nějaký data set a stručně popsat, co v něm je a jaký to má tvar (třeba co se tam vyskytuje nejčastěji).

Exploratory data analysis: Fancy název pro sadu postupů, jak přemýšlet o a vizualizovat data.

Measures of location

Mean
Median
Mode
Trimmed mean
Winsorized mean
Quantile
Quartile

Measures of variability

Variance
Standard deviations
Range
Interquartile range (IQR)
Median absolute deviation (MAD)

Measures of shape

Skewness: Vztah polohy meanu vůči mediánu. Vyjadřuje symetrii dat.
Kurtosis: Jak vysoký je peak? Jak moc je to rozpláclé.

Plots

Box plot
Histogram
Kernel density estimator
Table of relative (cumulative) frequencies
Plot of relative frequencies (bar chart)

Multiple dimensions

Correlation matrix
Scatter plot
Scatter plot matrix
Covariance and correlation
Correlogram
Anscombe’s quartet
Flury faces
Principal component analysis
Spearman’s correlation coefficient, Kendall’s tau

Theory of probability

Probability space
Conditional probability
Random variables and vectors
- Discrete
- Continuous
Cumulative distribution function (CDF)
Probability mass function (PMF)
Quantile function
Variance
Skewness
Kurtosis
Covariance
Correlation coefficient
Law of large numbers
Central limit theorem
- Lindeberg-Lévy
- Moivre-Laplace
Continuity correction

Expected value (mean) $E (X), μ$: Zobecnění váženého průměru, kde váhy jsou pravděpodobnosti jednotlivých možných výsledků.
Sample mean $\overline{X}$: Aritmetický průměr proměnné $X$ spočítaný z nějaké množiny vzorků.
Probability density function $f (x)$ (PDF): Pokud ji zintegruješ, zjistíš jaká je pravděpodobnost, že náhodná spojitá proměnná nabude hodnoty z daného intervalu.
Law of Large Numbers: S rostoucím počtem sample výsledků $X_{i}$ se jejich aritmetický průměr $\overline{X}$ blíží k expected value $μ$ .
Central limit theorem: S rostoucím počtem sample výsledků $X_{i}$ se jejich distribuce blíží normálnímu rozdělení bez ohledu na jejich původní rozdělení.

Probability distributions

Discrete univariate

Bernoulli: Používá se při náhodném pokusu, kde jsou jen dva možné výsledky (třeba hod mincí). Pokusy musí být nezávislé. Výsledek "1" má pravděpodobnost $p$ .

$P (x) = {1 - p p x \neq = 1 x = 1$
Binomial: Používá se u sekvence Bernoulliho pokusů. Zajímá nás pravděpodobnost toho, že $x$ pokusů z $n$ bude úspěšných.

$P (x, n, p) = (x n) p^{x} (1 - p)^{n - k}$
Poisson: Když víš, jak často se něco děje — průměrně $λ$ -krát za jednotku času — a zajímá tě, jaká ja pravděpodobnost, že se to stane $k$ -krát za stejnou jednotku času. Výskyt jednoho jevu však nesmí ovlivnit pravděpodobnost následujícího výskytu a také se nemohou stát dva jevy najednou.

$P (k, λ) = \frac{λ ^{k} e ^{- λ}}{k !}$
Geometric: Když tě zajímá, jaká je šance, že se něco pokazí $k$ krát, než to konečně uspěje u Bernoulliho pokusu.

$P (k, p) = {p (1 - p)^{k} 0 k = 0, 1, 2, ... jinak$
Discrete uniform: Když jsou všechny jevy $x$ z dané množiny $A$ stejně pravděpodobné (fair d20).

$P (x) = {\frac{1}{∣ A ∣} 0 x \in A jinak$

Continuous univariate

Continuous uniform

Všechny jevy v daném intervalu $(a, b)$ (může být otevřený nebo uzavřený) jsou stejně pravděpodobné.

$f (x) = {\frac{1}{b - a} 0 a \leq x \leq b x < a \lor x > b$

Exponential

Čas mezi jevy v Poissonově procesu.

$f (x, λ) = {λ e^{- λ x} 0 x \geq 0 x < 0$

Normal

Používá se jako default, když nevíš, jakou má proměnná distribuci. ( $μ$ je mean, $σ^{2}$ je rozptyl).

$f_{N} (x, μ, σ^{2}) = \frac{1}{σ 2 π} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}}$

Standard normal

Je fajn, protože má standardní odchylku rovnu jedné, takže člověku stačí si pamatovat, že:

68 % je v intervalu $(- 1, 1)$ ,
95 % je v intervalu $(- 2, 2)$ ,
99,7 % je v intervalu $(- 3, 3)$ .

$f (x) = f_{N} (x, 0, 1) = \frac{1}{2 π} e^{- \frac{x ^{2}}{2}}$

Cauchy

Poměr dvou spojitých náhodných proměnných s normálním rozdělením. Expected value ani rozptyl na ní nejsou definované.

$f (x) = \frac{1}{πσ [ 1 + ( \frac{x - μ}{σ} ) ^{2} ]}$

Warning

The Hannibal Lecter of probability distributions.

$χ^{2}$ (Chi-square)

Používá se při testování hypotéz. Nechť $Z_{1}, Z_{2}, ..., Z_{n}$ jsou nezávislé náhodné proměnné se standardním normálním rozdělením a $X = \sum_{i = 1}^{n} Z_{i}^{2}$ , pak $X$ má $χ^{2}$ rozdělení s $n$ stupni volnosti.

$f (x, n) = ⎩ ⎨ ⎧ \frac{x ^{\frac{n}{2} - 1} e ^{- \frac{x}{2}}}{2 ^{\frac{n}{2}} Γ ( \frac{k}{2} )} 0 x > 0 jinak$

Student’s $t$

Používá se na odhadování meanu normálně distribuované populace, jejíž rozptyl neznáš (což je skoro vždycky), ale máš z ní samply. Měj samply $X_{1}, X_{2}, ..., X_{k}$ , jejich mean $\overline{E} = \frac{1}{k} \sum_{i = 1}^{k} X_{i}$ a jejich rozpyl $S^{2} = \frac{1}{k - 1} \sum_{i = 1}^{k} (X - \overline{X})^{2}$ . Pak $\frac{X - μ}{S / k}$ je náhodná proměnná s $t$ rozdělením o $n = k - 1$ stupních volnosti.

$f (x, n) = \frac{Γ ( \frac{n + 1}{2} )}{nπ Γ ( \frac{n}{2} )} (1 + \frac{x ^{2}}{n})^{- \frac{n + 1}{2}}$

Fisher-Snedecor $F$

Používá se při testování hypotéz souvisejících s rozptylem. Pokud $U$ a $V$ jsou proměnné s $χ^{2}$ rozdělením s $d_{1}$ , resp. $d_{2}$ stupni volnosti, pak $X = \frac{U / d _{1}}{V / d _{2}}$ má $F$ rozdělení.

Discrete multivariate

Multinomial

Continous multivariate

Bivariate continous uniform
Multivariate normal
Bivariate normal