Unterschiede

Hier werden die Unterschiede zwischen zwei Versionen angezeigt.

--- p:ki:machinelearning4 [2026/07/27 20:31] – Ralf Kretzschmar
+++ p:ki:machinelearning4 [2026/08/25 14:57] (aktuell) – [2. Das Gradientenverfahren von Hand durchrechnen] Ralf Kretzschmar
@@ Zeile 58: / Zeile 58: @@
 ++++Falls du wissen möchtest, wie die Formel für den "mean squared error (MSE)" aussieht, hier klicken!|
 \\
-Als Fehlerfunktion $J[k]$ ist der "mean squared error (MSE)" geläufiger, der über mehrere Samples (Trainingsbeispiele) hinweg berechnet wird. In der nachfolgenden Formel zeigt $\frac{1}{n_b} \sum_{s=1}^{n_b}$ an, dass der Fehler für $n_b$ viele Samples berechnet, summiert und anschliessend durch die Anzahl Samples geteilt wird.
+Als Fehlerfunktion $J[k]$ ist der "mean squared error (MSE)" geläufiger, der über mehrere Samples (Trainingsbeispiele) hinweg berechnet wird. In der nachfolgenden Formel zeigt $\frac{1}{n_{samples}} \sum_{s=1}^{n_{samples}}$ an, dass der Fehler für $n_{samples}$ viele Samples berechnet, summiert und anschliessend durch die Anzahl Samples geteilt wird.
-$J[k] = \frac{1}{2} \frac{1}{n_b} \displaystyle\sum_{s=1}^{n_b} \displaystyle\sum_{j=1}^{n_{output}} (y_{s,j}[k]-d_{s,j})^2\quad$ (MSE)
+$J[k] = \frac{1}{2} \frac{1}{n_{samples}} \displaystyle\sum_{s=1}^{n_{samples}} \displaystyle\sum_{j=1}^{n_{output}} (y_{s,j}[k]-d_{s,j})^2\quad$ (MSE)
 Für jedes Sample gibt das neuronale Netz einen anderen Ausgangswert aus und für jedes Sample stellt das Trainingsset einen anderen Desired Output zur Verfügung. Dies wird mit den $s$ in $y_{s,j}[k]$ und $d_{s,j}$ angezeigt.  Weiter hängen die Ausgangswerte des neuronalen Netzes auch von der aktuellen Gewicht-Einstellung ab (von der $k$-ten Gewicht-Einstellung). Dies wird mit dem $[k]$ in $y_{s,j}[k]$ verdeutlicht. Der Faktor $\frac{1}{2}$ dient wie beim SE nur dazu, die Formel für das Gradientenverfahren zu vereinfachen((Streng genommen ist somit auch hier die obige Formel nicht eine Formel für den MSE, sondern für den halben MSE)).
@@ Zeile 70: / Zeile 70: @@
 Wird diese Formel für das FNN mit einem Hidden Layer in die Formel für den MSE eingesetzt, ergibt sich:
-$J[k] = \frac{1}{2} \frac{1}{n_b} \displaystyle\sum_{s=1}^{n_b} \displaystyle\sum_{j=1}^{n_{output}} \left(\varphi_j \left[ \displaystyle\sum_{i=0}^{n_{hidden}} w_{ij}[k] \cdot \phi_i \left(  \displaystyle\sum_{h=0}^{n_{input}} v_{hi}[k] \cdot x_{s,h} \right) \right] - d_j \right)^2\enspace ,\quad \phi_0(.) = x_{s,0} = 1$
+$J[k] = \frac{1}{2} \frac{1}{n_{samples}} \displaystyle\sum_{s=1}^{n_{samples}} \displaystyle\sum_{j=1}^{n_{output}} \left(\varphi_j \left[ \displaystyle\sum_{i=0}^{n_{hidden}} w_{ij}[k] \cdot \phi_i \left(  \displaystyle\sum_{h=0}^{n_{input}} v_{hi}[k] \cdot x_{s,h} \right) \right] - d_{s,j} \right)^2\enspace ,\quad \phi_0(.) = x_{s,0} = 1$
 D. h., der Fehler $J[k]$ zum Zeitpunkt $k$ hängt somit ab von den Eingangsgrössen $x_{s,h}$ , den Desired Outputs $d_{s,j}$ der berücksichtigten Samples und den Gewichten $v_{hi}[k]$ und $w_{ij}[k]$.
@@ Zeile 215: / Zeile 215: @@
 ⚠️ In diesem Auftrag rechnest du einen Vorwärts-, dann einen Rückwärts- und anschliessend einen weiteren Vorwärtsschritt für das kleine FNN aus Abb.3 für ein einziges Sample durch. Alle Formeln, welche du dafür brauchst, sind in diesem Auftrag enthalten. Ebenso gegeben sind die Eingangsgrössen $x_1$ und $x_2$ des Samples zusammen mit dem Desired Output $d_1$, alle Gewichte $v_{hi}[k]$ und $w_{ij}[k]$ zum Zeitpunkt $k$ und die Lernrate $\mu$. Alle weiteren Zahlen, welche du brauchst, wirst du Schritt für Schritt berechnen.
-  - Berechne alle Zahlen ⚠️ auf drei Kommastellen genau und trage sie in die Textfelder ein. ⚠️ Rechne jeweils mit den auf drei Kommastellen gerundeten Zahlen weiter.
+  - Berechne alle Zahlen ⚠️ auf drei Kommastellen genau und trage sie in die Textfelder ein.\\ ⚠️⚠️⚠️ Rechne jeweils mit den auf drei Kommastellen gerundeten Zahlen weiter. Rechne nicht mit den exakten Zahlen weiter.
 \\