Training, Daten und Modellanpassung
Epoch
Heißt auch Epoche.
Vollständiger Durchlauf durch den Trainingsdatensatz.
Eine Epoch oder Epoche ist ein vollständiger Trainingsdurchlauf durch den vorgesehenen Trainingsdatensatz. (Google ML Glossary) In der grundlegenden Definition wurde danach jedes enthaltene Beispiel einmal verarbeitet. (Google ML Glossary)
So kannst du dir das vorstellen
Du hast einen Stapel mit 1.000 Übungskarten. Wenn du alle Karten einmal bearbeitet hast, entspricht das einer Epoche; nach drei vollständigen Durchgängen wären es drei Epochen.
Ob du die Karten dabei einzeln oder in Päckchen bearbeitest, ist eine andere Frage. Diese Päckchen entsprechen im vereinfachten Bild den Batches, also den Gruppen von Beispielen, die gemeinsam verarbeitet werden.
Epoche ist nicht Trainingsschritt
Bei 1.000 Beispielen und einer Batch-Größe von 50 ergeben sich im einfachen, vollständig aufgehenden Fall 20 Batches pro Epoche. (Google ML Glossary) Für dieses Beispiel nehmen wir an, dass nach jedem Batch genau ein Parameterupdate stattfindet; drei Epochen hätten dann 60 Updates.
Die Zahl der Epochen und die Zahl der Updates beschreiben damit unterschiedliche Größen. Wenn du Trainingsprotokolle vergleichst, kläre ausdrücklich, was das verwendete Werkzeug unter einem „Step“ zählt und welcher Datenbestand als eine vollständige Runde gilt.
Mehr Durchläufe sind nicht automatisch besser
Zu wenige Epochen können dazu beitragen, dass ein Modell relevante Muster noch nicht ausreichend erfasst hat. (Google ML Glossary) Zu langes Training kann dagegen die Anpassung an die Trainingsbeispiele verstärken und die Leistung auf neuen Daten verschlechtern. (Google ML Glossary)
Die geeignete Zahl solltest du daher nicht allein aus einer Vorlage übernehmen. Beobachte die Leistung auf getrennten Validierungsdaten und sichere geeignete Zwischenstände.
Für eine nachvollziehbare Dokumentation würde ich Epochenzahl, Größe und Version des Datensatzes sowie die Batch-Konfiguration gemeinsam notieren. „Drei Epochen“ ist ohne diese Angaben weder eine vollständige Beschreibung des Rechenaufwands noch ein Qualitätsmaß.
Verwandte Begriffe
Die Einordnung erleichtern Training Set, Hyperparameter, Early Stopping, Overfitting und Underfitting.