En comparant biais et variance de deux estimateurs ponctuels du même paramètre

Décider entre deux estimateurs ponctuels $T_n^{(1)}$ et $T_n^{(2)}$ du même paramètre $g(\theta)$ en comparant leur biais et leur variance.

Que ferais-tu face à un exercice de ce type ?

Soit $(X_i)$ i.i.d. $\mathcal{U}([0,\theta])$ , $\theta > 0$ . On considère $T_n^{(1)}= 2\overline{X}_n$ et $T_n^{(2)}= \dfrac{n+1}{n}\max(X_1,\dots,X_n)$ . Comparer ces deux estimateurs de $\theta$ .

L'objectif

Décider entre deux estimateurs ponctuels $T_n^{(1)}$ et $T_n^{(2)}$ du même paramètre $g(\theta)$ en comparant leur biais et leur variance.

Le principe

Un estimateur $T_n$ est sans biais si $E_\theta(T_n) = g(\theta)$ pour tout $\theta$ ; à biais nul ou négligeable, l'estimateur de variance la plus faible est préférable car plus concentré autour de $g(\theta)$ .

La méthode

1
Je calcule pour chaque estimateur $T_n^{(i)}$ l'espérance $E_\theta(T_n^{(i)})$ puis le biais $b_i(\theta) = E_\theta(T_n^{(i)}) - g(\theta)$ , en précisant les hypothèses d'existence.
2
Je calcule la variance $V_\theta(T_n^{(i)})$ en exploitant l'indépendance des $X_j$ et la bilinéarité.
3
Si les deux estimateurs sont sans biais (ou de biais comparable tendant vers $0$ ), je compare leurs variances et je retiens celui de variance minimale.
Comment montrer qu'un estimateur est sans biais en vérifiant $E_\theta(T_n) = g(\theta)$ ?Voir
4
Je conclus en justifiant le choix : moindre dispersion autour de $g(\theta)$ , éventuellement meilleure vitesse de convergence en probabilité via Bienaymé-Tchebychev.
Comment appliquer l'inégalité de Bienaymé-Tchebychev pour contrôler $P(|X-E(X)| \geq \varepsilon)$ ?Voir

Pour comprendre, fais des exercices !

0/5 validés

Exercice d'exemple

Étape 1 —

Je calcule pour chaque estimateur

T_n^{(i)}

l'espérance

E_\theta(T_n^{(i)})

puis le biais

b_i(\theta) = E_\theta(T_n^{(i)}) - g(\theta)

, en précisant les hypothèses d'existence.

On a $E(X_i)=\theta/2$ donc $E(T_n^{(1)}) = \theta$ (sans biais). On admet que $E(M_n) = \dfrac{n}{n+1}\theta$ (avec $M_n = \max X_i$ ) donc $E(T_n^{(2)}) = \theta$ (sans biais).

Étape 2 —

Je calcule la variance

V_\theta(T_n^{(i)})

en exploitant l'indépendance des

X_j

et la bilinéarité.

On calcule $V(T_n^{(1)}) = \dfrac{4}{n}V(X_1) = \dfrac{4}{n}\cdot \dfrac{\theta^2}{12} = \dfrac{\theta^2}{3n}$ et (admis) $V(T_n^{(2)})= \dfrac{\theta^2}{n(n+2)}$ .

Étape 3 —

Si les deux estimateurs sont sans biais (ou de biais comparable tendant vers

0

), je compare leurs variances et je retiens celui de variance minimale.

Les deux estimateurs sont sans biais ; on compare $\dfrac{\theta^2}{n(n+2)}$ à $\dfrac{\theta^2}{3n}$ , soit $\dfrac{1}{n+2}$ contre $\dfrac{1}{3}$ .

Étape 4 —

Je conclus en justifiant le choix : moindre dispersion autour de

g(\theta)

, éventuellement meilleure vitesse de convergence en probabilité via Bienaymé-Tchebychev.

Pour $n\geq 2$ , $\dfrac{1}{n+2} \leq \dfrac{1}{3}$ donc $V(T_n^{(2)})\leq V(T_n^{(1)})$ : $T_n^{(2)}$ est préférable (concentration bien plus forte autour de $\theta$ ).

$T_n^{(2)} = \dfrac{n+1}{n}\max X_i$ domine $T_n^{(1)}= 2\overline{X}_n$ : même biais nul, variance nettement plus faible.

Application guidée

Soit $(X_i)$ i.i.d. d'espérance $m$ et de variance $\sigma^2$ . Comparer $\overline{X}_n$ à $T_n = X_1$ (première observation seulement) comme estimateurs de $m$ .

Application autonome 1

Soit $(X_i)$ i.i.d. de loi $\mathcal{N}(m,\sigma^2)$ avec $\sigma^2$ inconnu. Comparer $S_n^2 = \dfrac{1}{n}\sum (X_i - \overline{X}_n)^2$ à $\hat{S}_n^2 = \dfrac{1}{n-1}\sum (X_i - \overline{X}_n)^2$ comme estimateurs de $\sigma^2$ .

Application autonome 2

Soit $(X_i)$ i.i.d. de loi $\mathcal{P}(\lambda)$ . Comparer $\overline{X}_n$ et $T_n = \dfrac{1}{n}\sum_{i=1}^n X_i^2 - \overline{X}_n^{\,2}$ (variance empirique) comme estimateurs de $\lambda$ .

Application autonome 3

Soit $(X_i)$ i.i.d. d'espérance $m$ et de variance $\sigma^2$ finies. Comparer $\overline{X}_n$ à $T_n = \dfrac{X_1 + X_n}{2}$ comme estimateurs de $m$ .

Crée ton compte pour accéder à la fiche et aux exercices