On veut ajuster le modèle \(\widehat y=ax+b\) aux deux observations \((0,0)\) et \((1,1)\). Pour \(\lambda\in\{0,1\}\), on minimise \[J_\lambda(a,b)=b^2+(a+b-1)^2+\lambda a^2.\] Le dernier terme pénalise les pentes de grande valeur.
1
Identifier dans \(J_\lambda\) les erreurs commises sur les deux observations et le terme de pénalisation.
2
Déterminer le minimum de \(J_0\) et le modèle obtenu.
3
Calculer le gradient de \(J_1\) et déterminer son unique minimiseur.
4
Comparer les pentes des deux modèles et leurs prédictions en \(x=2\). Que change la pénalisation ?