Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ? | MetMat

Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ?

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant

Approfondissement

Hors programme — Cette méthode va au-delà du B.O. officiel. Proposée pour aller plus loin.

L'objectif

Approfondissement — Résoudre $\min_{X\in\mathbb{R}^p}\|AX-B\|$ pour $A\in\mathcal{M}_{n,p}(\mathbb{R})$ de rang $p$ , $B\in\mathcal{M}_{n,1}(\mathbb{R})$ .

Le principe

Minimiser $\|AX-B\|$ revient à projeter orthogonalement $B$ sur $F=\mathrm{Im}(A)$ ; l'optimum $X^*$ est caractérisé par $B-AX^*\perp \mathrm{Im}(A)$ , ce qui s'écrit ${}^t\!AAX^*={}^t\!AB$ et admet une unique solution si $A$ est de rang $p$ .

La méthode

1
Je pose $F=\mathrm{Im}(A)=\{AX,\ X\in\mathbb{R}^p\}$ et je remarque que $\min_X\|AX-B\|=\min_{Y\in F}\|Y-B\|=\|p_F(B)-B\|$ .
2
J'écris la condition d'optimalité $B-AX^*\in F^{\perp}$ , c'est-à-dire $\langle AX,B-AX^*\rangle=0$ pour tout $X\in\mathbb{R}^p$ , soit ${}^t\!X{}^t\!A(B-AX^*)=0$ .
3
J'en déduis l'équation normale ${}^t\!AAX^*={}^t\!AB$ ; comme $A$ est de rang $p$ , la matrice ${}^t\!AA\in\mathcal{M}_p(\mathbb{R})$ est inversible.
4
Je résous le système linéaire ${}^t\!AAX^*={}^t\!AB$ et j'obtiens $X^*=({}^t\!AA)^{-1}\,{}^t\!AB$ , puis je calcule la distance minimale $\|AX^*-B\|$ .

Évalue la méthode

0/5 validés

Cherche chaque exercice au brouillon, puis coche “j'ai réussi” si tu as trouvé la bonne démarche. Utilise le bouton aide si tu as besoin d'un coup de pouce.

Application guidée 1

Soit $A=\begin{pmatrix}1&1\\ 1&2\\ 1&3\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\5\end{pmatrix}$ . Trouver $X^*$ minimisant $\|AX-B\|$ .

Application guidée 2

Droite de régression : on cherche $(a,b)\in\mathbb{R}^2$ minimisant $\sum_{i=1}^3 (ax_i+b-y_i)^2$ avec $(x_i,y_i)=(0,1),(1,2),(2,2)$ .

Application autonome 1

Soit $A=\begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\4\end{pmatrix}$ . Résoudre $\min\|AX-B\|$ .

Application autonome 2

Dans $\mathbb{R}^3$ canonique, déterminer le projeté orthogonal $x^*$ de $b = (1, 1, 1)$ sur $F = \mathrm{Vect}((1, 0, 0), (0, 1, 0))$ par l'équation normale.

Application autonome 3

Dans $\mathbb{R}^3$ canonique, déterminer le projeté orthogonal de $b = (1, 2, 3)$ sur $F = \mathrm{Vect}((1, 1, 0))$ par l'équation normale.

Connecte-toi pour cocher tes exercices réussis et sauvegarder ta progression.

En identifiant F=Im(A)F=\mathrm{Im}(A)F=Im(A), en écrivant l'équation normale t ⁣AAX∗=t ⁣AB{}^t\!AAX^*={}^t\!ABtAAX∗=tAB et en la résolvant

Évalue la méthode

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant