On considère un RNN simple à un seul état caché, défini par les équations : \[h_t = \tanh(W_h h_{t-1} + W_x x_t + b_h), \qquad y_t = W_y h_t + b_y\] avec les dimensions suivantes : entrée \(x_t \in \mathbb{R}\), état caché \(h_t \in \mathbb{R}^2\), sortie \(y_t \in \mathbb{R}\).
Les paramètres du réseau sont : \[W_x = \begin{pmatrix} 1 \\ -1 \end{pmatrix}, \quad W_h = \begin{pmatrix} 0.5 & 0 \\ 0 & 0.5 \end{pmatrix}, \quad b_h = \begin{pmatrix} 0 \\ 0 \end{pmatrix}, \quad W_y = \begin{pmatrix} 1 & 1 \end{pmatrix}, \quad b_y = 0\] L’état caché initial est \(h_0 = \begin{pmatrix} 0 \\ 0 \end{pmatrix}\). On traite la séquence d’entrée \(x_1 = 1\), \(x_2 = 0\), \(x_3 = -1\).
Calculer \(h_1\), \(h_2\), \(h_3\) en appliquant la formule de récurrence pas à pas. On rappelle que \(\tanh\) s’applique composante par composante.
En déduire les sorties \(y_1\), \(y_2\), \(y_3\).
Décrire qualitativement ce que fait ce réseau : comment l’état caché \(h_t\) évolue-t-il lorsque l’entrée change de signe ?
(Bonus) Que se passerait-il si on remplaçait \(\tanh\) par la fonction identité ? Réécrire alors \(h_t\) comme une combinaison linéaire des entrées passées \(x_1, \ldots, x_t\).