RAG
Retrieval-Augmented Generation verbindet ein Sprachmodell mit Ihrer eigenen Wissensbasis. Statt aus dem zu antworten, was im Training stand, holt das Modell zur Laufzeit die passenden Stellen aus Ihren Dokumenten — und nennt sie.
Das Ergebnis ist ein Assistent, der die Sprache Ihres Hauses spricht: mit Ihren Richtlinien, Ihrer Dokumentation und Ihrem Wissen — und mit der Fundstelle unter jeder Aussage.
Alles beginnt mit einer Frage in normaler Sprache: „Wie läuft bei uns die Eskalation bei einem Incident?“ Niemand muss wissen, in welchem Dokument die Antwort steht.
Wer nur die Suche im Intranet ersetzt, gewinnt nichts: der Unterschied liegt darin, dass die Frage gestellt werden darf, wie sie gedacht ist.
Die Frage wird geschärft und in einen Vektor übersetzt — eine Zahlenfolge, die ihre Bedeutung abbildet, nicht ihre Wörter. „Eskalation“ findet so auch, was unter „Störungsmeldung“ abgelegt ist.
Ohne Rewrite scheitern Rückfragen: „und bei Nachtschicht?“ ergibt allein keinen sinnvollen Suchvektor.
Die Wissensbasis wird durchsucht und die ähnlichsten Textabschnitte — Chunks — kommen zurück. Nicht ganze Dokumente: Abschnitte, die klein genug sind, um in den Kontext zu passen.
Zu grob geschnitten, und die Antwort ertrinkt im Drumherum. Zu fein, und der Satz verliert den Zusammenhang, der ihn erklärt.
Ein zweites Modell bewertet die Treffer neu und wirft weg, was nur ähnlich klingt. Was weitergeht, sind die wenigen Stellen, die wirklich zur Frage gehören.
Dieser Schritt wird am häufigsten gespart — und ist der, der aus „ungefähr richtig“ belastbar macht.
Frage und gefundener Kontext werden zu einer Anweisung verbunden, zusammen mit den Regeln: woraus geantwortet werden darf, und dass nichts ergänzt wird, was nicht dasteht.
Ohne diese Regeln füllt das Modell Lücken aus eigenem Wissen — und das ist die Stelle, an der Halluzinationen entstehen.
Das Modell antwortet und nennt, woher jede Aussage stammt. Wer zweifelt, klickt auf das Dokument und liest die Stelle selbst.
Eine Antwort ohne Quelle ist in einem Unternehmen wertlos: niemand übernimmt Verantwortung für einen Satz, den er nicht prüfen kann.
Drei Quellen tragen die meisten Lösungen, die wir bauen. Keine davon muss vorher aufgeräumt sein — aber es muss entschieden werden, welche Fassung gilt.
Interne Abläufe, Handlungsleitfäden, Compliance-Vorgaben — das, was heute in einer PDF liegt, die niemand öffnet.
Handbücher, Spezifikationen, technische FAQs. Auch die Fassungen, die nur im Ordner einer Abteilung liegen.
Was nach einem Fehler aufgeschrieben wurde: Ursachen, Lösungen, Entscheidungen. Das Wissen, das sonst mit den Beteiligten geht.
Der eigentliche Gewinn heißt Kontext zur Laufzeit: Weil die richtige Stelle im Prompt steht, muss das Modell nichts erfinden. Genau das senkt die Zahl der Halluzinationen — und was trotzdem falsch ist, fällt auf, weil eine Quelle danebensteht.
Die beiden lösen verschiedene Aufgaben. RAG bringt Wissen hinein, Fine-Tuning prägt Verhalten. Für fast alles, was ein Unternehmen zuerst braucht, ist RAG der kürzere Weg — ganz ohne Fine-Tuning geht es trotzdem nicht immer.
| Merkmal | RAG | Fine-Tuning |
|---|---|---|
| Wissen aktualisieren | Dokument austauschen, fertig | Neues Training nötig |
| Quellen nennen | Ja, jede Aussage nachprüfbar | Nein, das Wissen steckt im Modell |
| Aufwand am Anfang | Gering bis mittel | Hoch, mit Datensatz und Rechenzeit |
| Sensible Daten | Bleiben in Ihrer Ablage, mit Rechten | Werden ins Modell eingebrannt |
| Ton und Format treffen | Über Anweisung und Beispiele | Stärker, dafür fest verdrahtet |
| Antwortzeit | Suche kommt dazu | Direkt, ohne Umweg |
Mitarbeitende bekommen die Antwort aus der offiziellen Dokumentation statt aus der Erinnerung der Kollegin am Nebentisch.
Neue Leute kommen am ersten Tag an das Wissen des Hauses, ohne jemanden zu unterbrechen.
Dieselbe Frage bekommt dieselbe Antwort — auf Grundlage Ihrer Richtlinien, nicht der Tagesform.
Zugriff auf Playbooks und frühere Post-Mortems in dem Moment, in dem es eilig ist.
Es geht weniger um die Zahl als darum, wie oft gesucht wird. Dreißig Dokumente, in denen täglich jemand nachschlägt, lohnen sich eher als dreitausend, die niemand öffnet.
Die Dokumente bleiben, wo sie liegen; indexiert wird, was wir dafür freigeben. Betrieb wahlweise bei Ihnen oder bei uns, Server in Deutschland. Vor dem ersten Blick in die Daten steht ein Auftragsverarbeitungsvertrag nach Art. 28 DSGVO.
Sie müssen. Wer ein Dokument heute nicht lesen darf, darf es auch nicht als Antwort bekommen. Rechte gehören deshalb in den Abruf, nicht erst in die Oberfläche — das ist der häufigste Fehler in schnell gebauten Lösungen.
Seltener, nicht nie. Mit Kontext und Quellenzwang sinkt das Risiko deutlich, und weil jede Aussage eine Fundstelle hat, fällt ein Fehler auf, statt unbemerkt zu bleiben. Wir messen das mit Evals, statt es zu behaupten.
Höchstens zwei Wochen je Abschnitt, bei geordneten Daten. Was die Zeit kostet, ist selten die Technik, sondern die Frage, welche Dokumente gelten und welche veraltet sind.
Weiterlesen
Sagen Sie uns, in welchen Dokumenten das Wissen steckt und wer heute danach sucht. Fünfzehn Minuten reichen für eine erste Einschätzung — auch dafür, ob sich der Bau lohnt.
Beratung anfragen