On considère deux réseaux de neurones ayant une seule couche cachée contenant \(h\) neurones et une unique sortie.
Le premier réseau reçoit une seule variable d’entrée : son architecture est \(1 \to h \to 1\).
Le second réseau reçoit trois variables d’entrée : son architecture est \(3 \to h \to 1\).
L’objectif est de comprendre comment le nombre total de paramètres dépend du nombre de variables d’entrée, lorsque le nombre de neurones cachés reste fixé.
Exprimer en fonction de \(h\) le nombre de paramètres du réseau \(3 \to h \to 1\). Détailler par couche.
Exprimer en fonction de \(h\) le nombre de paramètres du réseau \(1 \to h \to 1\).
Combien de paramètres supplémentaires le réseau \(3 \to h \to 1\) possède-t-il par rapport au réseau \(1 \to h \to 1\) ? Interpréter ce résultat.
Application numérique : retrouver le résultat lorsque \(h=8\).