Fine-Tuning
Definition
Verfahren, die Gewichte eines vortrainierten Foundation Models auf einem domänenspezifischen Datensatz nachzutrainieren, um die Leistung auf einer engeren Aufgabenklasse zu verbessern. Varianten reichen von Full Fine-Tuning über parameter-effiziente Methoden (LoRA, QLoRA) bis zu Instruction Tuning und Reinforcement Learning from Human Feedback.
Noise — Signal
Fine-Tuning wird als Standardantwort auf "das Modell kennt unsere Daten nicht" empfohlen. In den meisten Fällen ist es die schlechtere Wahl. Für aktuelles Wissen ist RAG schneller, billiger und auditierbarer; für Verhaltenssteuerung reicht oft Prompting plus Few-Shot; Fine-Tuning rechtfertigt sich primär bei stabilen, eng definierten Aufgaben mit ausreichend hochwertigen Trainingsdaten und klarer Evaluierungsstrategie. Fine-Tuning ohne diese Voraussetzungen erzeugt Modelle, die teurer sind als das Original und in Produktion langsam schlechter werden.
Die richtige Frage
Nicht: "Sollen wir das Modell auf unsere Daten fine-tunen?" Sondern: "Was ist die spezifische Aufgabe, was haben wir an Trainingsdaten und Eval-Infrastruktur, und welche der Alternativen — RAG, Prompting, kleineres Modell mit besserer Pipeline — haben wir geprüft, bevor wir Fine-Tuning wählen?"