MetMat
← Retour aux méthodes

Comment déterminer les coefficients de la droite de régression à l'aide des dérivées partielles ?

En minimisant S(a,b)=∑i=1n(yi−axi−b)2S(a,b)=\sum_{i=1}^n (y_i-ax_i-b)^2 via ∂aS=0\partial_a S=0 et ∂bS=0\partial_b S=0

L'objectif

Déterminer les coefficients (a,b)(a,b) de la droite des moindres carrés ajustant un nuage (xi,yi)1≤i≤n(x_i,y_i)_{1\le i\le n}.

Le principe

La fonction S ⁣:(a,b)↦∑i=1n(yi−axi−b)2S\colon (a,b)\mapsto\sum_{i=1}^n (y_i-ax_i-b)^2 est une fonction polynomiale C2\mathcal{C}^2 de deux variables, convexe ; son unique point critique, obtenu en annulant le gradient, est un minimum global et fournit a=Cov(x,y)V(x)a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)} et b=yˉ−axˉb=\bar y-a\bar x.

La méthode
  1. 1
    Je pose S(a,b)=∑i=1n(yi−axi−b)2S(a,b)=\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2 ; SS est polynomiale donc C2\mathcal{C}^2 sur R2\mathbb{R}^2.
  2. 2
    Je calcule ∂aS(a,b)=−2∑ixi(yi−axi−b)\partial_a S(a,b)=-2\sum_i x_i(y_i-ax_i-b) et ∂bS(a,b)=−2∑i(yi−axi−b)\partial_b S(a,b)=-2\sum_i (y_i-ax_i-b).
  3. 3
    Je résous ∇S=0\nabla S=0 : la deuxième équation donne b=yˉ−axˉb=\bar y-a\bar x ; en l'injectant dans la première et en utilisant Cov(x,y)=1n∑xiyi−xˉyˉ\mathrm{Cov}(x,y)=\frac{1}{n}\sum x_iy_i-\bar x\bar y et V(x)=1n∑xi2−xˉ2\mathrm{V}(x)=\frac{1}{n}\sum x_i^2-\bar x^2, j'obtiens a=Cov(x,y)V(x)a=\dfrac{\mathrm{Cov}(x,y)}{\mathrm{V}(x)} (sous l'hypothèse V(x)≠0\mathrm{V}(x)\neq 0).
  4. 4
    Je confirme que c'est un minimum global : la hessienne \nabla^2 S= $$\begin{pmatrix}2\sum x_i^2 & 2\sum x_i\\2\sum x_i & 2n\end{pmatrix}$$ est de trace >0>0 et de déterminant 4n∑xi2−4(∑xi)2=4n2 V(x)>04n\sum x_i^2-4(\sum x_i)^2=4n^2\,\mathrm{V}(x)>0, donc ses deux valeurs propres sont strictement positives ; SS est convexe et le point critique est son minimum global.
  5. 5
    Je conclus en donnant la droite de régression y=ax+by=ax+b avec les valeurs trouvées.

Exemple corrigé

Difficulté croissante de 1 à 3

Exercices aujourd'hui0 / 3

Prêt à t'entraîner ?

Génère un exercice personnalisé sur cette méthode et entraîne-toi avec la correction IA.