Supposons qu'un réseau de neurones ait été entraîné pour classifier des étudiants selon qu'ils sont susceptibles d'obtenir leur diplôme ou non, sur la base de divers paramètres d'entrée. Il y a un seul neurone de sortie ayant quatre entrées, $x_1,x_2,x_3,$ et une sortie, $y$. La sortie $y$ est utilisée pour effectuer la classification. Les poids des trois entrées de ce neurone sont $w_1=0.25$, $w_2=0.09$ et $w_3=-0.31$. Le biais du neurone est $b=-0.23$. Trouvez la sortie $y$ si $(x_1,x_2,x_3)=(0.4,-1.2,0.6)$ et si la fonction d'activation est :

1. ReLU
2. Leaky ReLU définie par max⁡ (0.2x,x)
3. Sigmoïde
4. Softplus

Laquelle des quatre fonctions d'activation, appliquée à la couche de sortie, conviendrait le mieux à cette tâche de classification ? En utilisant cette fonction d'activation, comment le réseau de neurones classifierait-il l'étudiant ?

MSE

Perte charnière