Arbeitsauftrag 3
In diesem Arbeitsauftrag vergleichen Sie Categorical Cross Entropy (CCE) und den mittleren quadratischen Fehler (MSE) bei der Klassifikation mit Feedforward Neural Networks.
Aufgabe 1 – Experimenteller Vergleich von CCE und MSE
FNN-Klassifikationstool öffnen
Datensatz: synthetisch_ce_vs_mse_drei_klassen.csv herunterladen
Datensatz laden und normalisieren
Laden Sie den Beispieldatensatz und normalisieren Sie ihn auf das Intervall .
Ein geeignetes FNN wählen
Für diesen zweidimensionalen Datensatz werden keine tiefen Merkmalsabstraktionen benötigt. Das Problem besteht hauptsächlich darin, mehrere lokale polygonale Regionen zu platzieren.
Dafür ist ein breites, flacheres Netz günstiger:
- Viele Neuronen in einer Schicht liefern viele mögliche Grenzgeraden.
- Der Gradient muss nur durch wenige Schichten zurücklaufen.
- Es besteht weniger Gefahr inaktiver ReLU-Pfade.
a) Klassifikation durchführen und vergleichen
Führen Sie die Klassifikation mit Multiklassen-Kreuzentropie und mit MSE von den gleichen „zufälligen“ Startparametern mit Seed 42 ausgehend durch.
Vergleichen Sie die Klassifikationsergebnisse hinsichtlich:
- Gesamt-Loss ,
- Accuracy,
- visuellem qualitativen Eindruck der Entscheidungsregionen in der Argmax-Heatmap, also der unteren Heatmap.
b) Loss trotz vollständiger Accuracy
Erläutern Sie, warum der Loss auch nach Erreichen von 100 % Accuracy noch weiter verringert werden kann.
Aufgabe 2 – Mathematischer Vergleich von CCE und MSE
Wir verwenden folgende Definitionen:
- Categorical Cross Entropy (CCE), auch Multiklassen-Kreuzentropie:
- Softmax:
- Per-Sample-Loss von MSE:
a) Softmax
Bestimmen Sie rechnerisch und mit dem Tool. Was ist der größte mit der App erzeugbare Wert einer Softmax-Komponente?
b) Losses im Vergleich: CCE + Softmax versus MSE + Softmax
i) CCE bei One-Hot-Codierung
Begründen Sie, warum bei One-Hot-codierten Zielvektoren bei Single-Label-Klassifikation für den Fehler in Abhängigkeit von den Softmax-Ausgaben gilt:
ii) Sicher falsche Vorhersage
Vergleichen Sie mit dem Tool und für den Fall, dass das FNN eine falsche Vorhersage macht und dabei möglichst sicher ist. Sehen Sie sich dazu die Rechnungen an.
c) Fehlersignale im Vergleich: CCE + Softmax versus MSE + Softmax
i) Gesamt-Loss in Abhängigkeit von den Logits
Zeigen Sie durch Einsetzen, dass für den Gesamt-Loss in Abhängigkeit von den Logits und vom wahren Wert gilt:
Sie können dabei die bereits für Single-Label-Klassifikation vereinfachte Form
verwenden. Sie können aber auch von der allgemeinen Form
ausgehen.
Eigenschaft des Zielvektors
Wenn Sie von der allgemeinen Form ausgehen, nutzen Sie .
ii) Gradient des Loss
Zeigen Sie durch Ableiten, dass gilt:
mit den geschätzten Wahrscheinlichkeiten
Für die Ableitung können Sie entweder von der vereinfachten Form für One-Hot-codierte Ziele
ausgehen oder alternativ die allgemeine Form
verwenden.
Verwenden Sie dabei eindimensionale Schulanalysis für die partiellen Ableitungen. Fassen Sie jeweils als Funktion nur einer Variablen auf,
und machen Sie eine Fallunterscheidung für die richtige Klasse und die übrigen Klassen .
iii) Fehlersignale untersuchen
Betrachten Sie die Fehlersignale für sicher richtige, sicher falsche, unsicher richtige und unsicher falsche Vorhersagen anhand der Gleichung. Setzen Sie dazu Werte 0 oder 1 für und ein:
Dateien, Datenquelle und Lizenz
- Synthetischen Beispieldatensatz herunterladen
- Vorbereiteten Pinguin-Datensatz herunterladen
- Vollständige Quellen- und Lizenzinformationen zum Pinguin-Datensatz herunterladen
Der Pinguin-Datensatz ist ein bearbeiteter Auszug aus palmerpenguins: Palmer Archipelago (Antarctica) penguin data von Horst, Hill und Gorman (2020), Zenodo, DOI 10.5281/zenodo.3960218. Der ursprüngliche Datensatz steht unter CC0 1.0 Universal.