Loi de grands nombres

Comme d'habitude, on a un article sur Wikipedia et une vidéo de l'Académie Khan.

$$\begin{aligned} \bar{X}_n &= \frac{X_1 + X_2 + \cdots + X_n}{n} \\ \bar{X}_n &\rightarrow E(X) \quad &\text{quand }n\rightarrow\infty \end{aligned}$$

La Loi faible des grands nombres

La preuve mathématique de la loi faible est vraiment moins difficile que celle de la loi forte.

$$\forall \varepsilon > 0, \lim_{n\rightarrow +\infty}{P\left(\left|\frac{X_1 + X_2 + \cdots + X_n}{n} - E(X)\right|\geqslant \varepsilon\right)} = 0$$

Pour prouver cette loi, il nous faudra l'Inégalité de Bienaymé-Techebychev :

$$P(|Y-E(Y)| \geqslant \varepsilon) \leqslant \frac{V(Y)}{\varepsilon^2}$$

Et pour prouver ça, on aurait besoin de l'Inégalite de Markov. Mais une chose à la fois.

On va introduire $\bar{X}_n$ comme suit :

$$\begin{aligned} Y &= \bar{X}_n \\ \bar{X}_n &= \frac{X_1 + X_2 + \cdots + X_n}{n} \\ E(\bar{X}_n) &= E(X) \quad &\text{(ci-dessous)} \\ V(\bar{X}_n) &= \frac{V(X)}{n} \quad &\text{(dans le notebook « Écart type »)} \end{aligned}$$

Ainsi, on a :

$$P\left(\left|\frac{X_1 + X_2 + \cdots + X_n}{n} - E(X)\right|\geqslant \varepsilon\right) \leqslant \frac{V(X)}{n\varepsilon^2}$$

Si on veut diviser $\varepsilon$ par 2, il faut multiplier $n$ par 4 !

Et plusieurs détails pour me convaincre :

$$\begin{aligned} E(\bar{X}_n) &= E\left[\frac{X_1 + X_2 + \cdots + X_n}{n}\right] \\ &= \frac{E(X_1) + E(X_2) + \cdots + E(X_n)}{n} \\ &= \frac{nE(X)}{n} \\ &= E(X) \end{aligned}$$

L'Inégalite de Markov

Comme d'habitude, on a un article sur Wikipedia. Mail il utilise une notation qui n'est m'est pas familière. J'ai trouvé plusieurs explications sur la page anglaise. Soit $Z$ une variable aléatoire positive ou nulle.

$$P(Z \geqslant a) \leqslant \frac{E(Z)}{a}$$

On défine $1_X$ comme

$$\begin{aligned} 1_X &= 1 \quad &\text{quand X se produit} \\ 1_X &= 0 \quad &\text{quand X ne se produit pas} \end{aligned}$$

On peut voir que

$$\begin{aligned} \forall \omega\in\Omega, Z(\omega) &\geqslant a1_{Z(\omega) \geqslant a} \\ E(Z) &\geqslant E(a1_{Z \geqslant a}) \\ &\geqslant aP(Z \geqslant a) \\ P(Z \geqslant a) &\leqslant \frac{E(Z)}{a} \end{aligned}$$

Un corollaire de l'inégalite de Markov

Soit $phi$ une function positive ou nulle, et croissante, telle que si $x \geq y$, $\phi(x) \geq \phi(y)$. Soit $Z$ égal à $\phi(Y)$, et $a$ égal à $\phi(b)$. Donc

$$P(\phi(Y) \geqslant \phi(b)) \leqslant \frac{E(\phi(Y))}{\phi(b)}$$

quand $\phi(b) \neq 0$. Mais $x \geq y$ quand $\phi(x) \geq \phi(y)$, et donc $P(\phi(x) \geq \phi(y)) \leqslant P(x \geq y)$. Cela nous donne

$$P(Y \geqslant b) \leqslant \frac{E(\phi(Y))}{\phi(b)}$$

Inégalité de Bienaymé-Techebychev

Soit $Y = X-E(X)$, $b = \varepsilon$ et $\phi(x) = x^2$.

$$\begin{aligned} P(X-E(X) \geqslant \varepsilon) &\leqslant \frac{E\left[(X-E(X))^2\right]}{\varepsilon^2} \\ &\leqslant \frac{Var(X)}{\varepsilon^2} \end{aligned}$$

La Loi forte des grands nombres

La voilà, mais elle est vraiment plus difficile à prouver :