Основные понятия математической статистики

Случайная выборка. Несмещённые оценки.¶

Definition 1

Пусть $X_1,\ldots, X_n$ — независимые случайные величины, которые имеют одинаковые функции распределения:

F_{x_1}(x)=F_{x_2}(x)=\cdots=F_{x_n}(x)=F(x),\quad \forall x\in\RR^1

Пусть функция распределения $F(x)$ зависит от некоторого вектора неизвестных параметров $\theta=(\theta_1,\ldots,\theta_r)$ /

$F(x;\theta)=F(x)$ , где $x$ — аргумент функции распределения, а $\theta$ — вектор параметров.

$\Theta$ — множество допустимых значений вектора неизвестных параметров $\theta$ .

\theta=(\mu,\sigma^2),\quad [X_i\sim N(\mu,\sigma^2)]

\Theta=\{(\mu,\sigma^2)\colon \mu\in\RR^1,\sigma^2>0\}=\RR^1\times(0,+\infty)

See Also

Если $X=(X_1,\ldots,X_n)$ — случайная выборка и $\exists \Var(X_i)$ , то

$\exists\EE[X_1]=\ldots=\EE[X_n]$
$\exists\Var(x_1)=\ldots=\Var(X_n)$
$\exists\cov(X_i,X_j)=0,i\neq j$

Реализация случайной выборки

$X(\omega)=(X_1(\omega),\ldots,X_n(\omega))$ , где $\omega\in\Omega$ — сама случайная выборка (случайный вектор)
$\underbrace{X(\omega_1)}_{x}=(\underbrace{X_1(\omega_0)}_{x_1},\ldots,\underbrace{X_n(\omega_0)}_{x_1})$ — реализация случайной выборки, то есть числовой вектор

Example 2

$\Omega=\{a,b,c,\ldots h\}$ , $\FF=2^\Omega$ .

$\omega$	$a$	$b$	$c$	$d$	$e$	$f$	$g$	$h$
$\PP(\{w\})$	$p^3$	$p^2q$	$p^2q$	$pq^2$	$p^2q$	$pq^2$	$pq^2$	$q^3$
$X_1(\omega)$	1	1	1	1	0	0	0	0
$X_2(\omega)$	1	1	0	0	1	1	0	0
$X_3(\omega)$	1	0	1	0	1	0	1	0

p^3+p^2q+p^2q+pq^2+p^2q+pq^2+pq^2+q^3=p^3+3p^2q+3pq^2+q^3=(p+q)^3=1

$X_1\sim\operatorname{Be}(p)$ . Докажем, что

\PP(\{X_1=1\})=\PP(\{\omega\in\Omega\colon X_1(\omega)=1\})=\PP(\{a,b,c,d\})=p^3+p^2q+p^2q+pq^2=p(p^2+2pq+q^2)=p(p+q)^2=p

$X_2\sim\operatorname{Be}(p)$ . Докажем, что

\PP(\{X_2=1\})=\PP(\{a, b, e, f\})=p^3+p^2q+pq^2+p^2q=p(p+q)^2=p

Докажем независимость случайных величин. Сначала проверим попарно $X_1, X_2$ .

\PP(\{X_1=1\}\cap\{X_2=1\})=\PP(\{a, b\})=p^3+p^2q=p^2(p+q)=p^2

\PP(\{X_1=1\})=p,\PP(\{X_2=1\})=p,\quad \PP(\{X_1=1\}\cap\{X_2=1\})=\PP(\{X_1=1\})\cdot\PP(\{X_2=1\})

$X_1,X_2,X_3$ — независимые $\xLeftrightarrow{\text{def}}\forall B_1,B_2,B_3\in\BB(\RR)$ выполняется равенство

\PP(\{X_1\in B_1\}\cap\{X_2\in B_2\}\cap\{X_3\in B_3\})=\PP(\{X_1\in B_1\})\cdot\PP(\{X_2\in B_2\})\cdot\PP(\{X_3\in B_3\})

Надо проверить это для 8 вариантов

$B_1=\{0\}, B_2=\{0\}, B_3=\{0\}$
$B_1=\{0\}, B_2=\{0\}, B_3=\{1\}$
$B_1=\{0\}, B_2=\{1\}, B_3=\{0\}$

...

$B_1=\{1\}, B_2=\{1\}, B_3=\{1\}$

Definition 3

Пусть $X=(X_1,\ldots, X_n)$ — случайная выборка.

Для каждого фиксированного исхода $\omega\in\Omega$ расположим числа $X_1(\omega),\ldots,X_n(\omega)$ в порядке возрастания.

В результате получим набор чисел $X_{(1)}(\omega)\leq\ldots\leq X_{(n)}(\omega)$

Тогда набор случайных величин $X_{(1)}(\omega),X_{(2)}(\omega),\ldots,X_{(n)}(\omega)$ , определённых таким образом, называется вариационным рядом, а $i$ -й его член называется $i$ -й порядковой статистикой.

Ясно, что $X_{(1)}(\omega)=\min(X_1(\omega),\ldots,X_n(\omega))$ и $X_{(n)}(\omega)=\max(X_1(\omega),\ldots,X_n(\omega))$ . Продолжим таблицу

$\omega$	$a$	$b$	$c$	$d$	$e$	$f$	$g$	$h$
$\PP(\{w\})$	$p^3$	$p^2q$	$p^2q$	$pq^2$	$p^2q$	$pq^2$	$pq^2$	$q^3$
$X_1(\omega)$	1	1	1	1	0	0	0	0
$X_2(\omega)$	1	1	0	0	1	1	0	0
$X_3(\omega)$	1	0	1	0	1	0	1	0
$X_{(1)}(\omega)$	1	0	0	0	0	0	0	0
$X_{(2)}(\omega)$	1	1	1	0	1	0	0	0
$X_{(3)}(\omega)$	1	1	1	1	1	1	1	0
$\bar X(\omega)$	1	$2/3$	$2/3$	$1/3$	$2/3$	$1/3$	$1/3$	0

Выборочное среднее: $\bar X(\omega)=\dfrac{X_1(w)+\ldots+X_n(\omega)}{n}$

\EE[\bar X]=1\cdot p^3+\frac{2}{3}p^2q+\frac{2}{3}p^q+\frac{1}{3}pq^2+\frac{2}{3}p^2q+\frac{1}{3}pq^2+\frac{1}{3}pq^2+0\cdot q^3=p^3+2p^2q+pq^2=p(p^2+2pq+q^2)=p

Получили свойство несмещённости: оценка $\hat\theta$ называется несмещённой оценкой параметра $\theta\in\Theta$ , если $\EE[\hat\theta]=\theta,\forall \theta\in\Theta$ . (Unbiased estimator)

estimate vs estimator