Lösung zu Aufgabe 2
a) Softmax
Für gilt
Damit ergibt sich näherungsweise
Im Tool können die Logits Werte zwischen und annehmen. Bei drei Klassen und der in der Aufgabe definierten Softmax-Funktion ohne Temperaturskalierung wird eine Komponente am größten, wenn ihr Logit und die beiden anderen Logits jeweils sind:
Die Komponente kann also sehr nahe an herankommen, erreicht bei endlichen Logits aber nicht. Wird zusätzlich der optionale Temperaturmodus des Tools mit dem kleinsten Wert aktiviert, ergibt sich sogar
Das Tool erlaubt technisch auch nur ein einziges Neuron. Dann ist der einzige Softmax-Wert zwangsläufig ; dieser triviale Fall stellt jedoch keine Mehrklassenklassifikation dar.
b) Losses im Vergleich: CCE + Softmax versus MSE + Softmax
i) CCE bei One-Hot-Codierung
Bei Single-Label-Klassifikation besitzt der One-Hot-Zielvektor genau an der Stelle der richtigen Klasse den Wert . Für alle anderen Klassen gilt . Deshalb verschwinden in der Summe alle Terme außer demjenigen für die richtige Klasse:
Der CCE-Loss hängt in diesem Fall unmittelbar von der vorhergesagten Wahrscheinlichkeit der richtigen Klasse ab.
ii) Sicher falsche Vorhersage
Sei die richtige Klasse und eine falsche Klasse. Bei einer möglichst sicheren falschen Vorhersage gilt näherungsweise
Für die kategoriale Kreuzentropie folgt
Eine sehr sichere falsche Vorhersage wird also beliebig stark bestraft, wenn die Wahrscheinlichkeit der richtigen Klasse gegen geht.
Für MSE gilt im Grenzfall und :
Der MSE-Loss bleibt somit beschränkt. Mit den Logit-Grenzen und des Tools bei drei Klassen erhält man beispielsweise ungefähr
und damit
Hierbei wird für die Kreuzentropie wie in der Aufgabenstellung der natürliche Logarithmus verwendet.
c) Fehlersignale im Vergleich: CCE + Softmax versus MSE + Softmax
i) Gesamt-Loss in Abhängigkeit von den Logits
Die Formel lässt sich auf zwei Arten herleiten.
Lösungsvariante 1: Vereinfachte Form für Single-Label-Klassifikation
Für die richtige Klasse gilt
Wir setzen dies in die vereinfachte Form ein:
Da ein One-Hot-Zielvektor mit ist, gilt . Damit folgt
Lösungsvariante 2: Allgemeine Form der kategorialen Kreuzentropie
Wir setzen
in die allgemeine Formel der kategorialen Kreuzentropie ein:
Da ein One-Hot-Zielvektor die Eigenschaft besitzt, folgt
ii) Gradient des Loss
Auch der Gradient kann aus beiden Formen hergeleitet werden.
Lösungsvariante 1: Vereinfachte Form für One-Hot-codierte Ziele
Wir gehen von
aus. Für die Ableitung des ersten Summanden gilt
Der zweite Summand liefert
Damit folgt
Da ein One-Hot-Zielvektor ist, entspricht dies komponentenweise . In Vektorform ergibt sich
Lösungsvariante 2: Allgemeinere Form
Für eine beliebige Komponente leiten wir beide Summanden getrennt ab:
und
Somit gilt komponentenweise
Für die richtige Klasse ist , für alle übrigen Klassen ist . Daher
In Vektorform ergibt sich
iii) Fehlersignale untersuchen
Für die richtige Klasse gilt und damit . Für eine falsche Klasse gilt und damit .
| Fall | Beispiel für und | Bedeutung | |
|---|---|---|---|
| sicher richtig | , | Es ist nahezu keine Korrektur erforderlich. | |
| sicher falsch | , | Der Logit der richtigen Klasse wird stark erhöht und der der fälschlich gewählten Klasse stark gesenkt. | |
| unsicher richtig | , | Die richtige Klasse gewinnt knapp; das Fehlersignal ist weiterhin deutlich. | |
| unsicher falsch | , | Die falsche Klasse gewinnt knapp; die Korrektur wirkt in dieselbe Richtung, aber weniger stark als bei einer sicher falschen Vorhersage. |
Die Vorzeichen haben eine klare Wirkung beim Gradientenabstieg: Ein negativer Eintrag erhöht den zugehörigen Logit, ein positiver Eintrag senkt ihn. Dadurch wird die Wahrscheinlichkeit der richtigen Klasse erhöht und die der falschen Klassen verringert.