RAG vs. Fine-Tuning: Was braucht Ihr KI-Projekt?

Nutzen Sie RAG (Retrieval-Augmented Generation), wenn das Modell Fakten kennen muss – vor allem Fakten, die sich ändern oder speziell Ihr Unternehmen betreffen, etwa Richtlinien, Produktdaten oder Dokumentation. Nutzen Sie Fine-Tuning, wenn sich das Modell anders verhalten soll: einen bestimmten Stil, ein Format oder ein eng gefasstes Aufgabenmuster konsistenter einhalten, als es mit Prompts gelingt. RAG verändert, was das Modell sieht; Fine-Tuning verändert, wie es antwortet. Für die meisten Unternehmensprojekte ist die richtige Reihenfolge: zuerst Prompting, dann RAG und Fine-Tuning nur, wenn Tests eine Lücke zeigen, die die ersten beiden nicht schließen.

So funktioniert RAG

RAG ergänzt vor der Antwort des Modells einen Suchschritt:

1. Dokumente vorbereiten. Ihre Inhalte werden in Passagen (Chunks) zerlegt und indexiert, oft mithilfe von Embeddings: numerischen Darstellungen von Bedeutung, die eine Ähnlichkeitssuche ermöglichen.
2. Abrufen. Kommt eine Frage herein, durchsucht das System den Index nach den relevantesten Passagen. Viele Systeme kombinieren semantische Suche mit Stichwortsuche.
3. Anreichern. Die abgerufenen Passagen werden zusammen mit Anweisungen in den Prompt eingefügt.
4. Erzeugen. Das Modell schreibt auf Basis dieser Passagen eine Antwort und zitiert sie idealerweise.

Das Modell selbst bleibt unverändert. Aktualisieren Sie ein Dokument, indexieren Sie es neu – und die nächste Antwort spiegelt die Änderung wider.

So funktioniert Fine-Tuning

Fine-Tuning trainiert ein bestehendes Modell mit Ihren eigenen Beispielen weiter, typischerweise mit Paaren aus Eingabe und gewünschter Ausgabe:

1. Beispiele sammeln. Viele hochwertige Eingabe-Ausgabe-Paare, die das gewünschte Verhalten zeigen.
2. Trainieren. Der Anbieter oder Ihre eigene Infrastruktur passt das Modell anhand dieser Beispiele an.
3. Evaluieren. Vergleichen Sie das feinabgestimmte Modell mit dem Basismodell plus Prompts an einem zurückgehaltenen Testset.
4. Einsetzen. Nutzen Sie das feinabgestimmte Modell für Ihre Aufgabe.

Das Modell lernt Muster aus den Beispielen: Format, Tonalität, Klassifizierungsgrenzen, fachliche Formulierungen. Es wird dadurch keine verlässliche Faktendatenbank. Fakten per Fine-Tuning beizubringen, ist ineffizient, schwer zu aktualisieren und erlaubt keine Quellenangaben.

Direkter Vergleich

Kriterium	RAG	Fine-Tuning
Hauptzweck	Wissen zum Zeitpunkt der Anfrage liefern	Verhalten und Stil prägen
Hält Fakten aktuell	Ja, Dokumente aktualisieren	Nein, neues Training nötig
Zeigt Quellen	Ja, kann abgerufene Passagen zitieren	Nein
Benötigte Daten	Ihre Dokumente	Viele kuratierte Eingabe-Ausgabe-Beispiele
Einrichtungsaufwand	Indexierungs-Pipeline, Abstimmung des Retrievals	Datenaufbereitung, Training, Evaluierung
Laufende Kosten	Mehr Input-Tokens pro Anfrage (abgerufener Kontext) plus Suchinfrastruktur	Womöglich kürzere Prompts; Preise feinabgestimmter Modelle können abweichen
Wartung	Dokumente sauber und Index aktuell halten	Neu trainieren, wenn sich Anforderungen oder Basismodelle ändern
Verringert Halluzinationen	Ja, wenn das Retrieval die richtigen Passagen findet	Bei Fakten nicht zuverlässig
Zugriffskontrolle	Dokumente lassen sich pro Nutzer filtern	Wissen steckt für alle Nutzer im Modell

Wann RAG die richtige Wahl ist

• Interne Wissensassistenten: Fragen von Mitarbeitenden anhand von Handbüchern, Richtlinien und Verfahren beantworten.
• Kundenservice: Antworten auf Basis von Hilfecenter, Produktdaten und Bestellinformationen.
• Fragen zu Dokumenten: Verträge, technische Handbücher, Forschungssammlungen.
• Alles mit sich ändernden Fakten: Preise, Lagerbestand, Vorschriften, Sortimente.
• Wenn Nachvollziehbarkeit nötig ist: Die Quellpassage zu zitieren, hilft Prüfenden und Nutzern, Antworten zu verifizieren – eine Schlüsseltechnik, um KI-Halluzinationen zu vermeiden.
• Wenn der Zugriff je nach Nutzer unterschiedlich ist: Das Retrieval kann Berechtigungen berücksichtigen, sodass Menschen nur Antworten aus Dokumenten erhalten, die sie sehen dürfen.

Wann Fine-Tuning die richtige Wahl ist

• Konsistentes Format oder konsistenter Stil bei hohem Volumen, wo lange Prompts mit Beispielen zu teuer oder nicht konsistent genug wären.
• Eng gefasste Klassifizierungs- oder Extraktionsaufgaben, für die viele gelabelte Beispiele vorliegen.
• Fachspezifische Formulierungen, die das Basismodell selbst mit guten Prompts schlecht beherrscht.
• Ein kleineres, günstigeres Modell nutzen für eine Aufgabe, die sonst ein größeres braucht. Ein feinabgestimmtes kleines Modell kann bei einer eng gefassten Aufgabe manchmal mit einem größeren mithalten und so die Kosten pro Anfrage senken, wie unter LLM-API-Kosten senken beschrieben.

Bemühen Sie sich vor einem Fine-Tuning stärker beim Prompting: klarere Anweisungen, ein gut strukturierter System-Prompt und einige gute Beispiele (Few-Shot Prompting). Das lässt sich günstiger ändern und schließt die Lücke oft.

Wovon die Qualität von RAG abhängt

RAG ist kein Schalter, den man umlegt. Die Antwortqualität hängt von mehreren Komponenten ab:

Komponente	Was schiefgehen kann	Was hilft
Quelldokumente	Veraltete, doppelte oder widersprüchliche Inhalte	Vor dem Indexieren bereinigen und Verantwortliche festlegen
Chunking	Passagen werden mitten im Gedanken getrennt, Kontext geht verloren	Entlang von Überschriften und Abschnitten trennen; Titel mitnehmen
Retrieval	Relevante Passage wird nicht gefunden oder irrelevante kommen zurück	Semantische und Stichwortsuche kombinieren, Ergebnisse neu gewichten (Re-Ranking), Zahl der Passagen abstimmen
Prompt	Modell ignoriert Quellen oder ergänzt eigenes Wissen	Ausdrückliche Regel, nur aus Quellen zu antworten und fehlende Informationen zu benennen
Evaluierung	Keine Ahnung, ob Antworten stimmen	Testset mit Fragen mit bekannter Antwort, inklusive nicht beantwortbarer

In der Praxis sind viele RAG-Probleme Dokumentenprobleme. Widerspricht sich Ihre Wissensbasis, tut die KI es auch.

Was Fine-Tuning voraussetzt

• Genug gute Beispiele. Qualität zählt mehr als Menge, aber eine Handvoll reicht nicht; Anbieter dokumentieren Mindestmengen und Empfehlungen.
• Konsistente Labels. Sind sich Menschen über das richtige Ergebnis uneinig, lernt das Modell die Uneinigkeit.
• Ein Testset, das vom Training zurückgehalten wird, um die Verbesserung ehrlich zu messen.
• Einen Ausgangswert des besten reinen Prompt-Ergebnisses, um zu wissen, ob das Fine-Tuning einen Mehrwert brachte.
• Einen Wartungsplan. Veröffentlicht der Anbieter ein neues Basismodell oder ändern sich Ihre Anforderungen, müssen Sie womöglich neu feinabstimmen.

Kostenaspekte

Die Kosten unterscheiden sich eher in ihrer Struktur, als dass sie einfach höher oder niedriger wären:

• RAG fügt jeder Anfrage abgerufene Passagen hinzu, erhöht damit die Input-Tokens und erfordert eine Suchinfrastruktur. Weniger, aber bessere Passagen abzurufen, hält die Kosten niedrig. Mit dem LLM-API-Kostenrechner sehen Sie, wie sich die Kontextlänge auf Ihre Rechnung auswirkt.
• Fine-Tuning hat Vorabkosten für Datenaufbereitung und Training, und feinabgestimmte Modelle können anders bepreist sein als Basismodelle. Es kann die Kosten pro Anfrage senken, wenn es kürzere Prompts oder kleinere Modelle ermöglicht.

Prüfen Sie für beides die aktuellen Preise bei Ihrem Anbieter, denn die Bedingungen unterscheiden sich und ändern sich.

Eine Entscheidungshilfe

Stellen Sie diese Fragen der Reihe nach:

1. Funktioniert ein gut geschriebener Prompt mit dem richtigen Kontext bereits? Wenn ja, hören Sie hier auf.
2. Braucht das Modell Fakten, die es nicht hat, oder Fakten, die sich ändern? Nutzen Sie RAG.
3. Müssen Antworten Quellen nennen oder Nutzerberechtigungen beachten? Nutzen Sie RAG.
4. Geht es beim verbleibenden Problem um Stil, Format oder Konsistenz? Probieren Sie zuerst Few-Shot-Beispiele.
5. Reichen Beispiele im Prompt weiterhin nicht, und haben Sie viele gute Beispiele und hohes Volumen? Erwägen Sie Fine-Tuning.
6. Brauchen Sie sowohl aktuelle Fakten als auch sehr spezifisches Verhalten? Kombinieren Sie: RAG für das Wissen, ein feinabgestimmtes Modell für das Verhalten.

Hybride Ansätze

• RAG mit feinabgestimmtem Modell: Das Modell ist darauf abgestimmt, Ihr Antwortformat und Ihre Tonalität einzuhalten; die Fakten kommen aus dem Retrieval.
• Feinabgestimmte Retrieval-Komponenten: Manche Teams verbessern die Suchqualität, indem sie Embedding- oder Re-Ranking-Modelle an ihre Domäne anpassen.
• Routing: Einfache Fragen gehen an ein kleines Modell, komplexe an ein größeres mit mehr abgerufenem Kontext.

Diese Ansätze erhöhen die Komplexität. Nutzen Sie sie, wenn einfachere Setups nachweislich nicht reichen, nicht als Ausgangsarchitektur.

Typische Fehler

• Fine-Tuning, um Fakten beizubringen. Das ist unzuverlässig, schwer zu aktualisieren und kann keine Quellen nennen.
• Unordentliche Dokumente indexieren. RAG verstärkt Widersprüche.
• Zu viel abrufen. Mehr Passagen erhöhen Kosten und Rauschen; fokussierter Kontext liefert oft bessere Antworten.
• Die Evaluierung auslassen. Ohne Testset können Sie Ansätze nicht vergleichen.
• Eine Architektur wählen, bevor die Aufgabe definiert ist. Beginnen Sie mit dem Problem, den Nutzern und der Frage, wie eine gute Antwort aussieht.

Fazit

RAG gibt einem Modell Zugriff auf Ihr Wissen; Fine-Tuning verändert seine Gewohnheiten. Beginnen Sie mit Prompting, ergänzen Sie RAG, wenn das Modell Ihre Fakten braucht, und erwägen Sie Fine-Tuning nur für Verhalten, das Beispiele im Prompt nicht zuverlässig erzeugen. Was Sie auch wählen: Testen Sie es an echten Fragen und behalten Sie den Prüfprozess bei, den unser Leitfaden zur KI-Einführung im Mittelstand beschreibt.