Training, Daten und Modellanpassung
Gradient Descent
Heißt auch Gradientenabstieg.
Iterative Parameteranpassung in Richtung einer niedrigeren Verlustfunktion.
Gradient Descent, auf Deutsch Gradientenabstieg, ist ein Verfahren zur schrittweisen Verringerung einer Verlustfunktion. (Google ML Glossary) Dazu werden Modellparameter wiederholt anhand berechneter Gradienten angepasst. (Google ML Glossary)
So kannst du dir das vorstellen
Stell dir vor, du stehst auf einer hügeligen Landschaft im Nebel und möchtest tiefer gelangen. Du kannst nicht die gesamte Landschaft überblicken, aber die Steigung unmittelbar an deinem Standort untersuchen.
Daraufhin gehst du ein Stück in die entgegengesetzte Richtung zur stärksten Steigung. Dann prüfst du erneut. Das Bild hilft beim Verständnis einer lokalen, wiederholten Anpassung; ein neuronales Netz hat allerdings sehr viele veränderliche Zahlenwerte statt nur zweier räumlicher Richtungen.
Richtung und Schrittweite
Der Gradient fasst partielle Ableitungen zusammen und zeigt die Richtung des stärksten lokalen Anstiegs der betrachteten Funktion. (Google ML Glossary) Beim einfachen Gradientenabstieg wird die Lernrate mit dem Gradienten multipliziert, um die Größe des gegenläufigen Parameterschritts zu bestimmen. (Google ML Glossary)
Ist die Lernrate zu klein, kann das Training sehr langsam werden; ist sie zu groß, kann die Annäherung an eine stabile Lösung scheitern. (Google ML Glossary) Im Landschaftsbild wären das zu kurze Schritte oder ein Überspringen geeigneter tiefer Stellen.
Berechnen und Anwenden sind zwei Schritte
Backpropagation berechnet in einem neuronalen Netz die benötigten Gradienten; der Optimierer verwendet sie anschließend, um Parameter zu aktualisieren. (PyTorch Autograd Tutorial) Bei Mini-Batch-Verfahren wird der Gradient auf Grundlage eines kleineren Ausschnitts der Trainingsdaten geschätzt. (Google ML Glossary)
Für die praktische Bewertung solltest du deshalb die Entwicklung des Verlusts und die Leistung auf getrennten Prüfdaten beobachten. Eine anschauliche Abstiegsgeschichte ersetzt weder die Kontrolle des Trainingsverlaufs noch den Nachweis, dass das Modell die eigentliche Zielaufgabe erfüllt.
Verwandte Begriffe
Zum Ablauf gehören Loss, Backpropagation, Learning Rate, Optimizer und Model Parameters.