RAG erklärt: Wie KI mit Ihren eigenen Dokumenten arbeitet

Das Wichtigste in Kürze

• Bei RAG sucht die KI zuerst passende Stellen in Ihren Dokumenten und schreibt die Antwort dann aus genau diesen Stellen.
• Das Modell wird dafür nicht mit Ihren Daten trainiert. Ändern sich Ihre Dokumente, ändern sich die Antworten mit.
• Die Qualität hängt an zwei Dingen: an aufgeräumten Dokumenten und an einer Suche, die die richtigen Stellen findet.
• Ein gutes System zeigt zu jeder Antwort die Quelle, sagt offen, wenn es nichts findet, und hält sich an Ihre Zugriffsrechte.
• Für Firmenwissen ist RAG fast immer der bessere Weg als Fine-Tuning, das eher Stil und Format eines Modells anpasst.

RAG (Retrieval-Augmented Generation) heisst: Bevor die KI antwortet, sucht sie in Ihren eigenen Dokumenten nach den passenden Stellen und schreibt ihre Antwort dann aus diesen Stellen, mit Verweis auf die Quelle. Das Sprachmodell muss dafür nicht neu trainiert werden. Wie gut die Antworten sind, hängt deshalb vor allem von Ihren Dokumenten und von der Suche ab. RAG ist die übliche Technik hinter einer KI-Suche im Firmenwissen.

Wofür steht RAG?

Die drei Buchstaben beschreiben den Ablauf. Retrieval heisst Abrufen: Das System sucht zur Frage die passenden Textstellen. Augmented heisst angereichert: Diese Stellen werden der Frage mitgegeben. Generation heisst Erzeugen: Das Sprachmodell schreibt aus Frage und Textstellen eine Antwort. Geprägt hat den Begriff eine Forschungsarbeit aus dem Jahr 2020. Heute steckt das Prinzip in den meisten Lösungen, die Fragen zu firmeninternen Dokumenten beantworten, von der Suche in der Ablage bis zum Assistenten im Kundendienst.

Wie funktioniert RAG Schritt für Schritt?

Ein Teil der Arbeit passiert einmal im Voraus, der Rest bei jeder Frage. Vereinfacht sieht das so aus:

1. Dokumente vorbereiten.Das System holt die Dokumente aus den freigegebenen Ablagen und zieht den Text heraus. Gescannte PDFs brauchen dafür eine Texterkennung (OCR). Veraltete Fassungen und Dubletten sortieren Sie am besten vorher aus.
2. In Abschnitte teilen.Lange Dokumente werden in kürzere Abschnitte zerlegt, meist ein paar Absätze lang. So findet die Suche später die eine Stelle, die zur Frage passt, und nicht bloss das ganze Dokument.
3. Die Bedeutung erfassen.Ein sogenanntes Embedding übersetzt jeden Abschnitt in eine Zahlenfolge, die seine Bedeutung abbildet. Diese Zahlen landen in einer Vektordatenbank. Viele Systeme legen zusätzlich einen klassischen Stichwortindex an.
4. Passende Stellen suchen.Kommt eine Frage, wird sie genauso übersetzt. Das System sucht Abschnitte mit ähnlicher Bedeutung, auch wenn darin andere Wörter stehen, und über den Stichwortindex solche mit exakten Begriffen wie einer Vertragsnummer. Die besten Treffer werden nach Relevanz sortiert.
5. Die Antwort schreiben.Frage, gefundene Abschnitte und eine klare Anweisung gehen an das Sprachmodell, etwa: «Antworte nur aus diesen Quellen und sag es, wenn sie die Frage nicht beantworten.» Die Antwort verweist auf die verwendeten Dokumente.

Ein Beispiel: In einem Treuhandbüro will jemand wissen, welche Unterlagen ein neuer Mandant mit Einzelfirma für den ersten Abschluss einreichen muss. Das System findet die interne Checkliste und eine Aktennotiz aus dem Vorjahr, fasst beides zusammen und verlinkt die zwei Dokumente. Wer nachprüfen will, ist mit einem Klick an der Quelle. Wurde die Checkliste letzten Monat angepasst, steckt die Änderung schon in der Antwort, ohne dass jemand etwas neu trainiert hat. Wie Treuhandbüros solche Abläufe nutzen, zeigt die Seite Treuhand & Buchhaltung.

Wie unterscheidet sich RAG von einem normalen Chatbot?

Ein normaler Chatbot antwortet aus dem Gedächtnis, also aus dem, was das Modell im Training gelernt hat. Ihre internen Dokumente kennt er nicht, sein Wissen endet an einem Stichtag, und fehlt ihm etwas, füllt er die Lücke oft mit etwas Plausiblem. Mit RAG beantwortet das Modell die Frage aus Ihren aktuellen Unterlagen, und Sie sehen, woher die Antwort stammt. Der Vergleich mit einer Prüfung trifft es gut: ohne RAG aus dem Kopf, mit RAG mit offenem Buch. Neues Wissen kommt dazu, sobald Sie ein Dokument ablegen, ohne dass jemand das Modell anpassen muss.

Wann RAG und wann Fine-Tuning?

Für Wissen nehmen Sie RAG, für Stil und Format eher Fine-Tuning. Beim Fine-Tuning wird ein Modell mit eigenen Beispielen weitertrainiert. Das schärft Tonfall, Format oder eine eng umrissene Aufgabe, eignet sich aber schlecht für Fakten, die sich ändern. Ein feinabgestimmtes Modell kann zudem nicht zeigen, aus welchem Dokument eine Aussage stammt. Für das Wissen aus Verträgen, Handbüchern, Protokollen oder Offerten ist RAG deshalb fast immer die bessere Wahl. Und ist Ihr Material klein, etwa ein Handbuch oder eine Preisliste, passt es oft direkt in die Anfrage an das Modell. Dann brauchen Sie gar kein RAG.

Ist RAG sicher für vertrauliche Dokumente?

Das kann es sein, wenn drei Dinge geklärt sind: wo die Daten verarbeitet werden, wer was sehen darf und was gespeichert wird. Der Suchindex enthält Ihre Textabschnitte samt Embeddings und braucht deshalb denselben Schutz wie die Dokumente selbst. Bei jeder Frage gehen die gefundenen Abschnitte an das Sprachmodell. Massgebend sind also auch die Bedingungen des Modellanbieters, vor allem zu Speicherort, Aufbewahrung und Training. Und die Protokolle mit Fragen und Antworten enthalten oft ebenso heikle Angaben wie die Dokumente.

Für Personendaten in Ihren Dokumenten gilt das Datenschutzgesetz wie überall sonst. Kanzleien, Treuhandbüros und andere Berufe mit Schweigepflicht sollten die Lösung zusätzlich an ihren Berufsregeln prüfen lassen. Worauf Sie bei der Wahl von Tools und Datenstandort achten, beschreibt der Beitrag KI-Tools mit Datenhaltung in der Schweiz oder EU. Dieser Abschnitt ist keine Rechtsberatung.

Wo geht RAG schief?

• Die Dokumente sind nicht aktuell: Drei Fassungen derselben Vorlage liegen nebeneinander, und das System zitiert die alte.
• Der Text fehlt: Gescannte Dokumente ohne Texterkennung sind für die Suche unsichtbar.
• Ein Abschnitt verliert seinen Zusammenhang: «Die Kündigungsfrist beträgt drei Monate» hilft wenig, wenn nicht dabeisteht, zu welchem Vertrag der Satz gehört.
• Die Suche findet die falschen Stellen, und das Modell macht daraus eine sicher klingende, aber falsche Antwort.
• Zugriffsrechte gehen verloren: Plötzlich findet man über die Suche Dokumente, die man im Ordner nicht öffnen dürfte.
• Das Modell mischt allgemeines Wissen dazu, statt sich an die Quellen zu halten. Mehr dazu im Beitrag Warum KI halluziniert.

Woran erkennen Sie ein gutes RAG-System?

• Jede Antwort zeigt ihre Quellen, am besten mit Link auf die Stelle im Dokument.
• Findet das System nichts Passendes, sagt es das offen, statt zu raten.
• Ihre bestehenden Zugriffsrechte gelten auch in der Suche.
• Sie wissen, wo die Daten verarbeitet werden, und haben es schriftlich, dass sie nicht zum Training fremder Modelle dienen.
• Neue und geänderte Dokumente kommen automatisch dazu, gelöschte verschwinden auch aus der Suche.
• Es gibt eine Liste typischer Fragen aus Ihrem Team, an der Sie die Antworten regelmässig prüfen.

Fangen Sie mit einer überschaubaren Ablage an, etwa den internen Vorlagen und Weisungen, und sammeln Sie 20 bis 30 Fragen, die in Ihrem Team immer wieder gestellt werden. Prüfen Sie jede Antwort an der Quelle. So sehen Sie schnell, ob es an den Dokumenten oder an der Suche hapert. Notieren Sie, welche Antworten falsch waren und warum. Meist fehlt ein Dokument oder ist veraltet, manchmal liegt es daran, wie die Dokumente zerlegt wurden. Was beim Datenschutz zu beachten ist, lesen Sie in Dürfen vertrauliche Dokumente in eine KI?, und wie das als fertige Lösung aussieht, auf der Seite Firmenwissen durchsuchbar machen.