On cherche à ajuster un modèle linéaire de la forme \[\hat y = wx+b,\] où \(x\) désigne l’entrée, \(\hat y\) la valeur prédite par le modèle, et \(y\) la valeur cible.
On considère un seul exemple d’entraînement : \[x=2, \qquad y=1.\]
Les paramètres initiaux du modèle sont \[w=3, \qquad b=0,\] et on choisit un taux d’apprentissage \[\alpha = 0{,}1.\]
On utilise la fonction de coût quadratique moyenne \[J = \frac{1}{2m}\sum_{i=1}^m \left(\hat y^{(i)}-y^{(i)}\right)^2.\] Dans cet exercice, comme on ne considère qu’un seul exemple, on a \(m=1\).
L’objectif est de calculer à la main une étape de descente de gradient, puis d’interpréter le sens de la mise à jour obtenue.
Calculer la prédiction initiale \(\hat y\).
Calculer le gradient du coût par rapport à \(w\), noté \(\frac{\partial J}{\partial w}\).
Effectuer une itération de descente de gradient pour calculer la nouvelle valeur de \(w\).
Calculer la nouvelle prédiction obtenue après cette mise à jour. La prédiction se rapproche-t-elle de la cible ?
Sans refaire tous les calculs, expliquer pourquoi il était cohérent que la mise à jour fasse diminuer \(w\).
Si l’on oubliait le facteur \(\frac{1}{m}\) dans la formule du gradient, quelle serait ici la nouvelle valeur de \(w\) ? Cet oubli est-il problématique dans ce cas ?