Starten des Applets

  • Öffnen Sie eine Konsole ("Anaconda Prompt" unter Windows).
  • Führen Sie nachfolgenden Befehl aus: "tui-ni-delta-rule".
  • Anschließend sollte sich das Applet zur Delta-Lernregel öffnen.

Bedienelemente

Die Simulation des Lernprozesses der "Delta-Lernregel" kann mit den drei Buttons "Start", "Step" und "Reset" gesteuert werden.

"Start" - startet einen fortlaufenden Lernprozess. Der Name dieses Buttons verändert sich nach dem Starten des Trainings zu "Stop" und führt dann zu einem Anhalten des Lernprozesses.
"Step" - führt genau einen Trainingsschritt, beginnend mit der Präsentation eines Inputs über die Bestimmung der Neuronenaktivierung und -ausgabe bis hin zur Gewichtsadaptation aus.
"Reset" - initialisiert das Gewicht w mit einem zufälligen Wert aus dem Intervall [-1,1].

Das Applet demonstriert die prinzipielle Funktion der Delta-Lernregel für ein sehr einfaches Neuronales Netz, welches aus einem einzigen statischen Neuron besteht. Die Visualisierung umfasst das Neuron (oben) sowie die Abbildungen des Fehlers E in Abhängigkeit der Zeit t (Mitte) und des Gewichtes w (unten). Der Gradient des Fehlers wird hierbei als rote Gerade dargestellt.

Neben der Darstellung des Neurons können alle relevanten Netzwerkparameter sowie die Beträge verschiedener Komponenten des Gradienten der Fehlerfunktion abgelesen werden. Zusätzlich erhalten die Bestandteile des Neurons eine Färbung, die ihrer Aktivierung entspricht. Grün steht hierbei für eine positive und Rot für eine negative Aktivierung (min = -1.0 und max = 1.0).

Alle graphischen Darstellungen verfügen über ein zusätzliches Kontextmenü, welches durch Drücken der rechten Maustaste über der Abbildung aktiviert werden kann. Damit können unterschiedliche Einstellungen bezüglich der Art und Weise der Darstellungen angepasst werden.

Unterhalb der Abbildungen sind die Ausgabefunktion des Neurons ("Output function") wählbar. Die folgenden vier Funktionen stehen als Ausgabefunktion zur Verfügung.

Die Ausgabefunktion sind für die Approximation der verschiedenen zu lernenden Funktionen unterschiedlich gut geeignet. Als "Teacher function" können hierbei die folgenden Funktionen genutzt werden.

Das Feld "Batch size" gibt an, über welche Anzahl an Inputs ("Samples") die Fehler vor der Darstellung in den Diagrammen aufsummiert werden. Eine "Batch size" ungleich 1 resultiert in der Bildung des Mittelwertes der Fehler über die entsprechende Inputanzahl.

Im Rahmen des Trainingsprozesses werden dem Netz die elf Inputs: -1, -0.8, -0.6, -0.4, -0.2, 0, 0.2, 0.4, 0.6, 0.8 und 1 in aufsteigender Reihenfolge präsentiert. Nach der Präsentation des Inputs 1 wird mit dem Input -1 fortgesetzt. Als Teacher t dienen die korrespondierenden Werte der "Teacher function".

Umsetzung von Ausgabefunktionen und deren Ableitung

Für die eigene Umsetzung von Ausgabefunktionen und deren Ableitung erfolgt über die Eingabe der entsprechenden Gleichungen in die zur Verfügung gestellten Eingabebereiche für Python-Code.

Damit die eigene Implementierung genutzt wird, muss der Haken in die Checkbox "Use own output implementation"/"Use own derivative" gesetzt werden. Geben Sie anschließend die Gleichung / Codezeilen ein und klicken Sie zum Überprüfen der Richtigkeit auf "Check code". Ist die Umsetzung korrekt, wird das Textfenster grün hinterlegt und der Code wird während des Lernschritts des Neurons verwendet.

Wenn alle erforderlichen Funktionen korrekt umgesetzt wurden, kann das Ergebnis der Bearbeitung - analog zum Teilversuch Transferfunktion - wieder in Moodle ein. Nutzen Sie zum Generieren des Validierungstokens bitten den Button "Submit".


 

weiter zu Delta-Regel Aufgaben

zurück zu den Aufgabenserien