RAG oder Fine-Tuning: Aktuelles Wissen gehört nicht in die Gewichte

Für wechselnde interne Fakten ist RAG meist der erste Kandidat. OpenAIs Retrieval-Dokumentation beschreibt, wie semantische Suche passende Abschnitte aus einem Vektorspeicher bereitstellt: Neue Informationen können über die externe Wissensbasis in Antworten gelangen, ohne die Modellgewichte für jede Änderung anzupassen.

Fine-Tuning kommt eher infrage, wenn ein Modell eine wiederkehrende Aufgabe oder verlangte Ausgabeform trotz guter Anweisungen nicht zuverlässig beherrscht. Fehlen sowohl aktuelle Fakten als auch eine stabile Art, sie zu verarbeiten, können Retrieval und Training zusammenwirken. Für die Wahl zählt deshalb zuerst, welcher Fehler in den tatsächlichen Antworten auftritt.

Erst den Fehler bestimmen

Eine falsche Antwort kann auf fehlendes Wissen, eine veraltete Dokumentfassung oder eine unzureichende Verarbeitung vorhandener Informationen zurückgehen. Fehlt beispielsweise eine geänderte interne Richtlinie im verfügbaren Kontext, braucht das System Zugriff auf die gültige Fassung. Ist die richtige Passage bereits vorhanden, wird aber falsch ausgelegt, hilft eine größere Dokumentensammlung allein nicht.

Ein anderes Fehlermuster liegt vor, wenn die Fakten stimmen, die Antwort jedoch regelmäßig das verlangte Format verfehlt oder eine spezialisierte Aufgabe schlecht ausführt. Hier sind klare Anweisungen, Beispiele und verfügbare Formatvorgaben der sinnvolle Ausgangspunkt. Bleibt der Fehler bei vielen vergleichbaren Fällen bestehen und gibt es geprüfte Beispiele für die gewünschte Leistung, lässt sich Fine-Tuning gezielt untersuchen.

Die Unterscheidung hat eine praktische Folge: Training kann beeinflussen, wie ein Modell antwortet, aktualisiert aber nicht automatisch eine später geänderte Wissensbasis. Retrieval kann eine passende Passage liefern, garantiert jedoch weder den richtigen Treffer noch dessen korrekte Auslegung.

RAG für veränderliche und belegbare Informationen

RAG eignet sich für Dokumente, deren Inhalt sich ändert oder deren Herkunft in der Antwort erkennbar sein soll. Zur Anfrage werden relevante Passagen gesucht und dem Modell als Kontext gegeben. Ändert sich ein internes Handbuch, kann die neue Fassung in die Suchbasis aufgenommen werden; für diese Sachänderung ist im RAG-Verfahren kein neuer Trainingslauf nötig.

Die Antwort ist allerdings nur so aktuell wie die gesamte Kette aus Dokumentpflege, Einlesen, Indexierung und Suche. Bleiben alte und neue Fassungen gleichzeitig auffindbar, kann das Modell widersprüchliche Passagen erhalten. Bei internen Daten muss die Anwendung außerdem Berechtigungen schon bei der Suche berücksichtigen, damit ein Treffer nicht aus einem für die anfragende Person gesperrten Dokument stammt.

Eine angezeigte Fundstelle ist noch kein Beleg für jede Aussage der Antwort. Für die Bewertung sind deshalb zwei Fragen zu trennen: Wurde die maßgebliche Passage gefunden, und gibt die Antwort deren Inhalt korrekt wieder? Diese Trennung macht sichtbar, ob der Suchaufbau oder die Verarbeitung des gefundenen Textes verbessert werden muss.

Fine-Tuning für stabile Aufgaben und Ausgabeformen

Fine-Tuning passt Modellparameter anhand von Trainingsbeispielen an. Es kann bei wiederkehrenden Klassifikationen, einem eng festgelegten Antwortformat oder einer anspruchsvollen Fachaufgabe helfen, wenn ein gut gestalteter Prompt mit Beispielen nicht zuverlässig genug ist. Der Nutzen muss gegen genau diesen Prompt gemessen werden: Sonst erscheint Training nur deshalb überlegen, weil die einfachere Ausgangslösung schlecht eingerichtet war.

OpenAIs Leitfaden zur Modelloptimierung ordnet Evaluation und Prompting vor einem gezielten Fine-Tuning ein und weist darauf hin, dass OpenAIs eigene Fine-Tuning-Plattform für neue Nutzer nicht mehr zugänglich ist. Diese Einschränkung betrifft das Angebot dieses Anbieters, nicht das technische Verfahren. Für eine konkrete Implementierung gehören verfügbare Trainingswege deshalb zur Produktauswahl.

Neue Sachinformationen per Fine-Tuning verfügbar zu machen erfordert geeignete Beispiele, einen weiteren Trainingslauf und erneute Evaluation. Bei häufig geänderten Richtlinien oder Produktdaten kann dieser Ablauf der Änderung hinterherlaufen. Bei stabilen Aufgaben ist der Aufwand eher zu rechtfertigen, wenn das trainierte Modell einen messbaren Qualitätsgewinn erzielt oder mit kürzeren Prompts auskommt.

Was der Agrarvergleich aussagt

Die Agrarstudie von Balaguer und Mitautoren bewertete Antworten auf 273 kuratierte Fragen aus dem US-Bundesstaat Washington: GPT-4 erreichte ohne Retrieval 75 ± 3 Prozent und mit RAG 80 ± 4 Prozent; die für die Fachaufgabe feinabgestimmte Variante erreichte ohne RAG 81 ± 5 Prozent und mit RAG 86 ± 2 Prozent. Die Werte beziehen sich auf die jeweiligen Modellkonfigurationen und den Bewertungsmaßstab der Studie, nicht auf eine allgemeine Erfolgsquote einer einzelnen Technik.

Der Versuch zeigt, weshalb Retrieval und Training nicht zwingend Alternativen sind. Externe Passagen können zusätzliche Sachinformationen liefern, während Fine-Tuning die Bearbeitung der Aufgabe beeinflusst. Die Studie verwendete landwirtschaftliche Dokumente und eigens erzeugte Trainingsdaten; aus ihren Ergebnissen lässt sich keine Trefferquote für Verträge, Produktsupport oder interne Richtlinien ableiten.

Auch innerhalb eines Fachgebiets hängt die Leistung am Suchindex. In der Untersuchung sank die Chance, eine maßgebliche Passage unter den ersten Treffern zu finden, als weitere Dokumente in den Index kamen. Für eine eigene Anwendung reicht es daher nicht, nur die Qualität der fertigen Antwort zu messen: Die Trefferqualität gehört gesondert in die Evaluation.

Aktualität, Laufzeit und Kosten gemeinsam bewerten

RAG benötigt für eine Anfrage eine Suche und meist zusätzlichen Text im Modellkontext. Fine-Tuning verlangt dagegen die Aufbereitung von Trainingsbeispielen, Training und erneute Qualitätsprüfung; bei der späteren Abfrage können kürzere Prompts möglich sein. Welche Lösung schneller oder günstiger ist, hängt von Anfragevolumen, Dokumentbestand, Modell und Infrastruktur ab.

Eine Simulation von MetricGate illustriert den Unterschied bei neu hinzugefügten Dokumenten mit einem synthetischen Korpus und einem gespeicherten Antwortschema als Ersatz für Fine-Tuning. Die im Skript genannten Laufzeiten und Kosten sind vorgegebene Annahmen, keine Messwerte produktiver Systeme. Für eine Budgetentscheidung braucht es deshalb Messungen mit der vorgesehenen Suchtechnik und dem tatsächlich nutzbaren Modell.

Eine Evaluation für die eigene Entscheidung

Ein aussagekräftiger Test verwendet Fragen aus der geplanten Anwendung, geprüfte Sollantworten und, wo nötig, die jeweils gültige Dokumentfassung. Er sollte auch geänderte Informationen, mehrdeutige Fragen und Fälle ohne ausreichende Grundlage enthalten. Verglichen werden ein gut eingerichteter Ausgangsprompt, eine Retrieval-Variante, eine trainierte Variante und bei Bedarf die Kombination – jeweils mit denselben Testfragen.

Fünf Größen machen die Unterschiede sichtbar:

Aktualität: Nach welcher Zeit und über welchen Pflegeweg erscheint eine dokumentierte Änderung korrekt in Antworten?
Korrektheit: Stimmen Inhalt und verlangtes Format mit der geprüften Sollantwort überein?
Quellenbezug: Stützt die angegebene Fundstelle tatsächlich die konkrete Behauptung?
Latenz: Wie lange dauert die vollständige Antwort einschließlich Suche und Generierung?
Kosten: Welcher Aufwand entsteht für Dokumentpflege, Training und wiederholte Anfragen?

Zusätzlich sollte jeder Fehler einer Ursache zugeordnet werden: kein Treffer, falscher Treffer, falsche Auslegung, Formatbruch oder unzureichende Fachleistung trotz richtigem Kontext. Diese Aufteilung verbindet das Messergebnis mit der Architekturentscheidung. Fehlen Passagen, liegt der erste Ansatzpunkt bei der Wissensbasis oder Suche; wiederholte Formatbrüche trotz klarer Vorgaben sprechen eher für einen Versuch mit Training. Treten beide Fehlerarten auf, kann die Kombination ihren zusätzlichen Aufwand rechtfertigen.

Lesen Sie auch: