Interne KI-Wissenssuche mit RAG: Antworten mit Quellen statt langer Dokumentensuche

Wichtige Informationen liegen in vielen Unternehmen verteilt in Handbüchern, Ablagen und internen Wissensseiten. Eine KI-Wissenssuche kann relevante Stellen finden und daraus eine verständliche Antwort zusammenstellen. Damit das im Alltag funktioniert, müssen Quellen, Zugriffsrechte, Aktualität und Tests ebenso sorgfältig geplant werden wie die Chatoberfläche.

Was RAG bedeutet und welche Aufgabe es löst

RAG steht für Retrieval-Augmented Generation. Vereinfacht sucht ein System zuerst passende Inhalte und übergibt ausgewählte Textstellen zusammen mit der Frage an ein Sprachmodell. Dieses formuliert daraus eine Antwort. Ihre Dokumente werden dadurch nicht automatisch dauerhaft in die Modellgewichte eingelernt; sie dienen als Kontext für die jeweilige Anfrage.

Microsoft beschreibt dafür zwei zusammenhängende Abläufe: eine Datenpipeline zur Aufbereitung und Indexierung sowie einen Anfrageprozess aus Suche, Kontextzusammenstellung und Antwortgenerierung. Diese Trennung ist praktisch wichtig. Wenn ein relevantes Dokument fehlt oder falsch aufbereitet wurde, lässt sich das Problem nicht zuverlässig mit einem schöner formulierten Antwortprompt beheben.

Mit einem abgegrenzten Wissensbereich beginnen

Starten Sie beispielsweise mit freigegebenen Serviceanleitungen einer Produktfamilie oder internen Prozessbeschreibungen einer Abteilung. Sammeln Sie echte Fragen der späteren Nutzer und klären Sie, welche Dokumente verbindlich sind. Ein unübersichtlicher Gesamtbestand mit widersprüchlichen Entwürfen ist als erster Pilot meist weniger hilfreich.

Prüfen Sie auch, ob eine klassische Suche mit besseren Filtern das Problem bereits löst. RAG bietet zusätzlichen Nutzen, wenn Informationen über mehrere Textstellen verteilt sind und eine verständliche Zusammenfassung benötigt wird. Für die Suche nach einer bekannten Artikelnummer kann ein exakter Treffer direkter und zuverlässiger sein.

Die Datenpipeline: aus Dateien werden auffindbare Quellen

1. Dokumente inventarisieren und Verantwortliche festlegen

Erfassen Sie Ablageort, Dokumenttyp, Sprache, fachlichen Eigentümer, Versionsstand und Gültigkeit. Entscheiden Sie ausdrücklich, ob Entwürfe oder archivierte Dokumente einbezogen werden. Eine klare Rangfolge zwischen freigegebenem Handbuch und informeller Notiz verhindert, dass beide als gleichwertige Grundlage behandelt werden.

2. Inhalt strukturiert extrahieren

PDFs, Tabellen und gescannte Seiten benötigen unterschiedliche Aufbereitung. Kontrollieren Sie besonders Überschriften, Tabellenbezüge, Maßeinheiten und Fußnoten. Wenn eine Tabelle beim Auslesen ihre Spaltenzuordnung verliert, kann später eine falsche Zahl zur richtigen Frage erscheinen. Solche Fehler sollten anhand repräsentativer Dokumente bereits beim Import sichtbar werden.

3. Sinnvolle Abschnitte bilden

Für die Suche werden Dokumente häufig in kleinere Textabschnitte, sogenannte Chunks, zerlegt. Eine passende Grenze folgt möglichst dem Inhalt: Ein Arbeitsschritt und seine Voraussetzungen sollten zusammenbleiben. Sehr kleine Abschnitte verlieren Zusammenhang, sehr große enthalten viel Ablenkung. Die richtige Aufteilung wird mit Ihren Fragen getestet, nicht allein durch eine allgemeine Zeichenzahl bestimmt.

4. Metadaten und Herkunft erhalten

Jeder Abschnitt benötigt eine eindeutige Dokument-ID, Titel, Version und eine möglichst genaue Fundstelle. Auch Produktzuordnung, Gültigkeitsdatum und zulässige Nutzergruppen können für die Suche entscheidend sein. Diese Angaben verbinden die spätere Antwort mit dem Original und ermöglichen gezielte Aktualisierungen oder Löschungen.

So entsteht eine nachvollziehbare Antwort

Die Suche kann exakte Begriffe und semantische Ähnlichkeit kombinieren. Letztere hilft bei unterschiedlichen Formulierungen, während eine Stichwortsuche Produktcodes und spezifische Bezeichnungen besser berücksichtigen kann. Eine hybride Suche verbindet beide Ansätze; welche Gewichtung passt, muss sich an den Testfragen zeigen.

Anschließend werden die relevantesten zulässigen Fundstellen zusammengestellt. Die Antwort soll klar unterscheiden, was belegt ist und welche Information fehlt. Quellenlinks gehören möglichst an die zugehörigen Aussagen. Ein Link allein ist noch kein Beweis: Die verknüpfte Stelle muss die Aussage tatsächlich stützen und für den Nutzer erreichbar sein.

Wenn passende Belege fehlen, sollte die Anwendung das konkret sagen und eine Rückfrage oder den zuständigen Ansprechpartner anbieten. Sie kann beispielsweise nach Produktversion oder Standort fragen. Das ist hilfreicher als eine allgemein klingende Antwort, die unterschiedliche Regelungen unbemerkt zusammenfasst.

Berechtigungen gehören vor die Antwortgenerierung

Die Anwendung muss zunächst die Identität des Nutzers verlässlich feststellen. Daraus werden die erlaubten Dokumente oder Gruppen bestimmt. Nur zulässige Inhalte dürfen in den Kontext gelangen, den das Modell verarbeitet. Eine Anweisung im Prompt, vertrauliche Angaben nicht auszugeben, ersetzt diese Zugriffskontrolle nicht.

Microsoft dokumentiert ergänzend zu nativen Zugriffskontrollen ein Muster, bei dem Suchergebnisse anhand hinterlegter Nutzer- oder Gruppenkennungen gefiltert werden. Wichtig ist die Grenze dieses Musters: Ein Filter mit einer Kennung authentifiziert niemanden. Die Anwendung muss die Identität selbst prüfen, Filter serverseitig ableiten und sie bei jeder relevanten Abfrage anwenden.

Auch Zwischenspeicher und Gesprächsverläufe müssen den Berechtigungskontext berücksichtigen. Eine für eine Fachabteilung erzeugte Antwort darf nicht ungeprüft an andere Nutzer wiederverwendet werden. Rechteänderungen müssen deshalb neben dem Suchindex auch bereits gespeicherte Antworten und aktive Sitzungen in der vorgesehenen Aktualisierungslogik berücksichtigen.

Hypothetisches Beispiel: Wissen für den technischen Innendienst

Angenommen, ein Unternehmen betreut mehrere Geräteserien. Der Innendienst fragt: Welche Unterlagen benötigen wir für einen Austausch bei Serie B? Die Suche findet eine freigegebene Prozessanweisung und ein ergänzendes Formular, jeweils passend zur genannten Serie.

Die Antwort listet die benötigten Angaben auf und verlinkt direkt auf die relevanten Abschnitte. Eine ältere Anweisung bleibt im Archiv, wird aber nicht als aktuell gültige Quelle verwendet. Fragt ein Nutzer ohne Zugriff auf interne Vertragsbedingungen nach diesen Details, erhält das Modell die entsprechenden Dokumente gar nicht.

Fehlt die Geräteversion, fragt die Anwendung danach, statt beide Varianten zu vermischen. Im Test lässt sich damit gezielt prüfen, ob Produktfilter, Aktualitätsregeln und Rückfragen zusammen funktionieren. Es wird keine pauschale Trefferquote unterstellt; die Qualität muss am tatsächlichen Dokumentbestand gemessen werden.

Aktualität als Betriebsaufgabe planen

Definieren Sie, wie schnell Änderungen im Quellsystem in der Suche verfügbar sein müssen. Ein täglicher Abgleich kann für selten geänderte Handbücher passen, für zeitkritische Betriebsinformationen möglicherweise nicht. Geänderte Dokumente müssen neu aufbereitet, entfernte Inhalte aus dem Index gelöscht und abgelaufene Versionen entsprechend behandelt werden.

Zeigen Sie den Quellenstand und überwachen Sie fehlgeschlagene Importe. Ein Zeitstempel des letzten erfolgreichen Gesamtlaufs genügt nicht, wenn einzelne wichtige Dateien dauerhaft scheitern. Pro Quelle sollte erkennbar sein, ob der neueste Stand tatsächlich verarbeitet wurde.

Checkliste für aussagekräftige Tests

• Typische Fragen mit fachlich bestätigten Antworten und Fundstellen.
• Fragen, deren Antwort absichtlich nicht im Bestand enthalten ist.
• Ähnliche Produktnamen, Abkürzungen und ungenaue Formulierungen.
• Widersprüchliche oder abgelaufene Dokumentversionen.
• Gleiche Frage mit unterschiedlichen Benutzerrechten.
• Gelöschte Dokumente und gerade entzogene Berechtigungen.
• Getrennte Bewertung von Suchtreffern, Antworttreue und Quellenzuordnung.

Ergänzen Sie Laufzeit, Kosten je brauchbarer Antwort und den Aufwand für Nachschlagen. Eine gut klingende Antwort kann auf unpassenden Fundstellen beruhen; deshalb werden Suche und Formulierung getrennt geprüft. Nach Änderungen am Modell, der Aufteilung oder den Suchfiltern sollten dieselben Referenzfragen erneut laufen.

Vom Prototyp zur passenden Unternehmenslösung

Mit einem begrenzten, freigegebenen Dokumentbestand kann ein Prototyp innerhalb weniger Tage entstehen. Ein klar eingegrenzter Rollout ist in Tagen bis wenigen Wochen möglich, wenn Quellzugänge, Benutzerverwaltung, fachliche Ansprechpartner und Testfragen bereitstehen. Viele Datenquellen, schlechte Scans oder komplexe Rechtevererbung benötigen zusätzliche Arbeit.

Wenn vorhandene Software Ihre Quellen und Prozesse nicht passend verbindet, schafft individuelle Projektentwicklung die nötigen Schnittstellen. Automatisierung mit KI kann dabei Import, Suche und Rückfragen zusammenführen. Ein internes Portal auf WordPress ist als Oberfläche denkbar, sofern Authentifizierung und serverseitige Rechteprüfung passend integriert werden.

Besprechen Sie Ihre interne Wissenssuche mit mir. Ein abgegrenzter Dokumentbestand und typische Fragen helfen, einen ersten nutzbaren Umfang und passende Abnahmekriterien festzulegen.

Weiterführende Quellen

• Microsoft: RAG-Lösungen entwerfen und evaluieren
• Microsoft: Suchergebnisse mit Berechtigungsfiltern begrenzen

Patrick Hofmann

Individuelle Automatisierung, KI-Integration und Entwicklung. Mehr über die Zusammenarbeit.