Fine-Tuning

Definition

Fine-Tuning (eingedeutscht oft Feintuning) ist das Weitertrainieren eines bereits vortrainierten Modells auf einen spezifischen Datensatz bzw. eine bestimmte Aufgabe. Anstatt bei Null zu beginnen, nutzt man ein Basismodell, das schon allgemeine Muster gelernt hat (z. B. ein Sprachmodell), und passt es mit relativ wenigen Daten an einen Spezialbereich an.

Vorgehensweise

• Basismodell laden (z. B. GPT, BERT).

• Zusätzliche Daten mit Labels oder gewünschter Zielaufgabe bereitstellen.

• Training mit deutlich geringerer Lernrate und oft verkürzter Trainingszeit, bis das Modell passgenaue Ergebnisse liefert.

Nutzen

Fine-Tuning spart enorm Ressourcen (Zeit, Rechenleistung), da man nicht das ganze Modell neu lernt. Außerdem erreicht man oft höhere Genauigkeit, weil das Modell bereits „grundlegend versteht“, wie Sprache/Bilder etc. funktionieren, und nur noch Details für die neue Aufgabe hinzugefügt werden müssen.