Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ? | MetMat

Comment résoudre un problème de moindres carrés $\min \|AX-B\|$ par projection orthogonale ?

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant

Approfondissement — Résoudre $\min_{X\in\mathbb{R}^p}\|AX-B\|$ pour $A\in\mathcal{M}_{n,p}(\mathbb{R})$ de rang $p$ , $B\in\mathcal{M}_{n,1}(\mathbb{R})$ .

Hors programme — Cette méthode va au-delà du B.O. officiel. Proposée pour aller plus loin.

Que ferais-tu face à un exercice de ce type ?

Soit $A=\begin{pmatrix}1&1\\ 1&2\\ 1&3\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\5\end{pmatrix}$ . Trouver $X^*$ minimisant $\|AX-B\|$ .

L'objectif

Approfondissement — Résoudre $\min_{X\in\mathbb{R}^p}\|AX-B\|$ pour $A\in\mathcal{M}_{n,p}(\mathbb{R})$ de rang $p$ , $B\in\mathcal{M}_{n,1}(\mathbb{R})$ .

Le principe

Minimiser $\|AX-B\|$ revient à projeter orthogonalement $B$ sur $F=\mathrm{Im}(A)$ ; l'optimum $X^*$ est caractérisé par $B-AX^*\perp \mathrm{Im}(A)$ , ce qui s'écrit ${}^t\!AAX^*={}^t\!AB$ et admet une unique solution si $A$ est de rang $p$ .

La méthode

1
Je pose $F=\mathrm{Im}(A)=\{AX,\ X\in\mathbb{R}^p\}$ et je remarque que $\min_X\|AX-B\|=\min_{Y\in F}\|Y-B\|=\|p_F(B)-B\|$ .
2
J'écris la condition d'optimalité $B-AX^*\in F^{\perp}$ , c'est-à-dire $\langle AX,B-AX^*\rangle=0$ pour tout $X\in\mathbb{R}^p$ , soit ${}^t\!X{}^t\!A(B-AX^*)=0$ .
3
J'en déduis l'équation normale ${}^t\!AAX^*={}^t\!AB$ ; comme $A$ est de rang $p$ , la matrice ${}^t\!AA\in\mathcal{M}_p(\mathbb{R})$ est inversible.
4
Je résous le système linéaire ${}^t\!AAX^*={}^t\!AB$ et j'obtiens $X^*=({}^t\!AA)^{-1}\,{}^t\!AB$ , puis je calcule la distance minimale $\|AX^*-B\|$ .

Pour comprendre, fais des exercices !

0/5 validés

Exercice d'exemple

Soit $A=\begin{pmatrix}1&1\\ 1&2\\ 1&3\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\5\end{pmatrix}$ . Trouver $X^*$ minimisant $\|AX-B\|$ .

Étape 1 —

Je pose

F=\mathrm{Im}(A)=\{AX,\ X\in\mathbb{R}^p\}

et je remarque que

\min_X\|AX-B\|=\min_{Y\in F}\|Y-B\|=\|p_F(B)-B\|

$F=\mathrm{Im}(A)$ est le plan engendré par les deux colonnes de $A$ dans $\mathbb{R}^3$ ; on minimise $\|AX-B\|$ sur $X\in\mathbb{R}^2$ .

Étape 2 —

J'écris la condition d'optimalité

B-AX^*\in F^{\perp}

, c'est-à-dire

\langle AX,B-AX^*\rangle=0

pour tout

X\in\mathbb{R}^p

, soit

{}^t\!X{}^t\!A(B-AX^*)=0

La condition $B-AX^*\in F^{\perp}$ se traduit matriciellement par ${}^t\!A(B-AX^*)=0$ .

Étape 3 —

J'en déduis l'équation normale

{}^t\!AAX^*={}^t\!AB

; comme

A

est de rang

p

, la matrice

{}^t\!AA\in\mathcal{M}_p(\mathbb{R})

est inversible.

Je calcule ${}^t\!AA=\begin{pmatrix}3&6\\6&14\end{pmatrix}$ (inversible, $\det=6>0$ ) et ${}^t\!AB=\begin{pmatrix}10\\23\end{pmatrix}$ .

Étape 4 —

Je résous le système linéaire

{}^t\!AAX^*={}^t\!AB

et j'obtiens

X^*=({}^t\!AA)^{-1}\,{}^t\!AB

, puis je calcule la distance minimale

\|AX^*-B\|

Je résous $\begin{pmatrix}3&6\\6&14\end{pmatrix}X^*=\begin{pmatrix}10\\23\end{pmatrix}$ , par exemple par substitution : $X^*=\big(\tfrac{1}{3},\tfrac{3}{2}\big)^T$ . La distance minimale vaut $\|AX^*-B\|=\tfrac{1}{\sqrt{6}}$ (par calcul direct).

$X^*=\big(\tfrac{1}{3},\tfrac{3}{2}\big)^T$ .

Application guidée

Droite de régression : on cherche $(a,b)\in\mathbb{R}^2$ minimisant $\sum_{i=1}^3 (ax_i+b-y_i)^2$ avec $(x_i,y_i)=(0,1),(1,2),(2,2)$ .

Application autonome 1

Soit $A=\begin{pmatrix}1&0\\0&1\\1&1\end{pmatrix}$ et $B=\begin{pmatrix}2\\3\\4\end{pmatrix}$ . Résoudre $\min\|AX-B\|$ .

Application autonome 2

Dans $\mathbb{R}^3$ canonique, déterminer le projeté orthogonal $x^*$ de $b = (1, 1, 1)$ sur $F = \mathrm{Vect}((1, 0, 0), (0, 1, 0))$ par l'équation normale.

Application autonome 3

Dans $\mathbb{R}^3$ canonique, déterminer le projeté orthogonal de $b = (1, 2, 3)$ sur $F = \mathrm{Vect}((1, 1, 0))$ par l'équation normale.

Crée ton compte pour accéder à la fiche et aux exercices

En identifiant F=Im(A)F=\mathrm{Im}(A)F=Im(A), en écrivant l'équation normale t ⁣AAX∗=t ⁣AB{}^t\!AAX^*={}^t\!ABtAAX∗=tAB et en la résolvant

Pour comprendre, fais des exercices !

En identifiant $F=\mathrm{Im}(A)$ , en écrivant l'équation normale ${}^t\!AAX^*={}^t\!AB$ et en la résolvant