RAG Chatbot für Unternehmen, der zuverlässig mit Ihren eigenen Daten antwortet

ChatGPT kann vieles, aber Ihre Preislisten, Handbücher, Verträge und Servicefälle kennt es nicht. Diese Lücke schließt ein RAG Chatbot. RAG steht für Retrieval Augmented Generation. Bevor das Sprachmodell antwortet, sucht das System die passenden Stellen aus Ihren Dokumenten heraus und gibt sie dem Modell als Grundlage mit. Die Antwort basiert dann auf Ihren Unterlagen statt auf dem allgemeinen Trainingswissen des Modells, und im besten Fall steht die Quelle gleich dabei.

Viele Unternehmen haben inzwischen einen ersten Prototyp gebaut, und oft bleibt es genau dabei, weil die Antworten im Alltag nicht verlässlich genug sind. In diesem Beitrag geht es darum, wie ein RAG Chatbot funktioniert, wofür er sich lohnt und was am Ende über die Qualität entscheidet.

Wie ein RAG Chatbot funktioniert

Das Prinzip besteht aus zwei Phasen. In der ersten werden Ihre Dokumente vorbereitet. PDFs, Seiten aus Confluence oder SharePoint, Tickets und Datenbankeinträge werden in kleinere Abschnitte zerlegt. Jeder Abschnitt bekommt eine mathematische Darstellung seiner Bedeutung, ein sogenanntes Embedding, und landet in einem Suchindex.

In der zweiten Phase stellt jemand eine Frage. Der RAG Chatbot sucht die Abschnitte, die inhaltlich am besten passen, und gibt sie zusammen mit der Frage an das Sprachmodell. Das Modell formuliert daraus eine Antwort und nennt die Quellen.

Das zeigt ein Beispiel aus dem Service. Ein Techniker möchte wissen, was Fehlercode E47 an einer bestimmten Maschinenserie bedeutet. Der RAG Chatbot findet die passende Stelle im Handbuch, erklärt die Ursache und verweist auf die Seite. Ohne RAG hätte das Modell vermutlich etwas Plausibles erfunden, und genau das ist im Service gefährlich.

Ein zweites Beispiel kommt aus der Personalabteilung. Mitarbeitende wollen wissen, wie viele Urlaubstage sie ins nächste Jahr mitnehmen dürfen oder wie die Abrechnung von Dienstreisen funktioniert. Statt dafür ein Ticket aufzumachen, bekommen sie vom RAG Chatbot sofort eine Antwort mit Verweis auf die gültige Richtlinie. Das Team im Personalwesen gewinnt Zeit für Fälle, die wirklich persönliche Beratung brauchen.

Wofür sich ein RAG Chatbot lohnt

Gute Kandidaten sind Bereiche, in denen viele Fragen auf vorhandenes, schriftliches Wissen treffen. Typisch sind zum Beispiel diese Bereiche.

• Interner Helpdesk für IT, Personal oder Einkauf, der immer wieder dieselben Fragen beantwortet
• Service und Wartung mit umfangreichen technischen Handbüchern
• Vertrieb, der schnell Produktdaten, Preislogik oder Referenzen braucht
• Recherche in Verträgen, Richtlinien und Normen
• Kundenportale, in denen Kundinnen und Kunden rund um die Uhr Antworten bekommen

Weniger sinnvoll ist ein RAG Chatbot, wenn das Wissen vor allem in Köpfen steckt und nirgends aufgeschrieben ist. Dann ist die Dokumentation der erste Schritt und nicht die KI.

Reicht nicht auch Copilot oder ChatGPT Enterprise?

Diese Frage hören wir oft, und sie ist berechtigt. Wenn Ihr Wissen vor allem in Word, Excel und SharePoint liegt und die Rechte dort sauber gepflegt sind, kommen fertige Assistenten erstaunlich weit. Ein eigener RAG Chatbot spielt seine Stärken aus, wenn Daten aus Fachsystemen dazukommen, etwa aus ERP, Ticketsystem oder Produktdatenbank. Er lohnt sich auch, wenn die Antworten in Ihr eigenes Portal oder Ihre Software gehören, wenn Sie Modell und Hosting selbst bestimmen wollen oder wenn spezielle Inhalte wie Tabellen mit Messwerten oder mehrsprachige Handbücher eine eigene Aufbereitung brauchen. Oft ist eine Kombination die beste Lösung. Der Standardassistent übernimmt den Büroalltag, der spezialisierte RAG Chatbot das Fachwissen.

Was die Qualität wirklich entscheidet

Das Sprachmodell ist selten der Engpass. Ob ein RAG Chatbot im Alltag überzeugt, entscheidet sich fast immer bei Daten und Suche.

Datenqualität

Veraltete, doppelte oder widersprüchliche Dokumente führen zu falschen Antworten. Bevor wir Material für einen RAG Chatbot indexieren, klären wir, welche Quellen gelten und wer sie pflegt.

Zerlegung der Dokumente

Wie Texte in Abschnitte geteilt werden, beeinflusst die Qualität der Treffer stark. Tabellen, Überschriften und Aufzählungen sollten zusammenbleiben, sonst fehlt dem Modell der Zusammenhang.

Hybride Suche und Reranking

Reine Vektorsuche übersieht oft exakte Begriffe wie Artikelnummern oder Fehlercodes. Eine Kombination aus Volltextsuche und semantischer Suche, gefolgt von einem Reranking der besten Treffer, kann die Trefferqualität verbessern und sollte anhand eines Fragenkatalogs mit festen Metriken evaluiert werden.

Metadaten und Filter

Produkt, Version, Sprache und Gültigkeitsdatum helfen, die richtigen Abschnitte zu finden. Wer nach der aktuellen Version fragt, soll keine Antwort aus dem Handbuch von 2019 bekommen.

Berechtigungen

Ein RAG Chatbot darf niemandem Inhalte zeigen, die diese Person im Originalsystem nicht sehen dürfte. Die Rechte müssen also bis in den Suchindex durchgereicht werden.

Ehrliches Nichtwissen

Wenn die Dokumente keine Antwort hergeben, soll das System das sagen, statt zu raten. Dieses Verhalten lässt sich gezielt testen und einstellen. Ein RAG Chatbot, der in einem von zwanzig Fällen zugibt, dass er nichts weiß, ist nützlicher als einer, der immer antwortet und dabei manchmal danebenliegt.

Die Technik dahinter

Python ist die Standardsprache für solche Systeme. Für das Einlesen von PDFs und Dokumenten aus Office gibt es spezialisierte Bibliotheken wie Docling, für die Orchestrierung Frameworks wie LlamaIndex oder LangChain, und für vieles reicht auch schlanker eigener Code. Als Suchindex nutzen wir je nach Umgebung Qdrant, OpenSearch oder pgvector in einer bestehenden PostgreSQL Datenbank. Die Anbindung an Ihre Anwendungen erfolgt über eine API mit Django oder FastAPI.

Beim Sprachmodell haben Sie die Wahl. Kommerzielle Modelle lassen sich bei mehreren Anbietern in europäischen Rechenzentren nutzen. Wer seine Daten gar nicht aus dem Haus geben möchte, setzt auf offene Modelle wie Mistral, Llama oder Qwen auf eigenen Servern mit Grafikkarten. Für die Qualitätsmessung nutzen wir Werkzeuge wie Ragas und vor allem einen Katalog echter Fragen.

In Österreich, Deutschland und der Schweiz spielt oft die Mehrsprachigkeit eine wichtige Rolle. Handbücher liegen auf Deutsch und Englisch vor, Fragen werden in beiden Sprachen gestellt. Moderne Embedding Modelle kommen damit gut zurecht. Die Suche sollte aber trotzdem mit echten Fragen in beiden Sprachen getestet werden.

Woran Sie gute Antworten erkennen

Ob ein RAG Chatbot gut ist, lässt sich nicht nach Gefühl beurteilen. Deshalb arbeiten wir von Anfang an mit festen Kennzahlen. Wir prüfen, wie oft die Antwort laut Ihrem Fragenkatalog fachlich stimmt, ob die genannten Quellen die Aussage wirklich tragen und wie oft das System zu Recht oder zu Unrecht sagt, dass es nichts gefunden hat. Im Betrieb kommen die Rückmeldungen der Nutzer dazu, etwa über einen einfachen Daumen nach oben oder unten, und die Zeit, die im Helpdesk oder Service eingespart wird. Diese Zahlen machen Fortschritte sichtbar und zeigen, wo sich ein Ausbau lohnt.

Datenschutz, AI Act und Betrieb

Für die DSGVO sind vor allem drei Fragen wichtig. Wo werden Daten verarbeitet, wer hat Zugriff, und wie lange werden Fragen und Antworten gespeichert? Hosting in der EU, Verträge zur Auftragsverarbeitung und klare Löschfristen sind wichtige Bausteine, reichen allein jedoch nicht aus. Je nach Verarbeitung sind insbesondere eine Rechtsgrundlage, Zweck- und Datenminimierung, angemessene technische und organisatorische Maßnahmen sowie die Auswahl eines Auftragsverarbeiters mit ausreichenden Garantien erforderlich.

Ab dem 2. August 2026 gilt für direkt mit natürlichen Personen interagierende KI Art. 50 des AI Act. Anbieter müssen die Personen, soweit dies nicht offensichtlich ist, über die KI-Interaktion informieren. Ein klarer Hinweis in der Oberfläche ist dafür ein üblicher Weg.

Im Betrieb wird oft vergessen, dass sich Wissen ändert. Neue Handbücher, geänderte Preise und ersetzte Richtlinien müssen automatisch im Index landen. Wir bauen dafür Pipelines, die Quellen regelmäßig abgleichen, und ein Monitoring, das zeigt, welche Fragen gestellt werden und wo Antworten fehlen. Diese Lücken sind übrigens eine gute Aufgabenliste für Ihre Dokumentation.

Vom Auskunftssystem zum Agenten

Der nächste Schritt liegt oft nahe. Wenn der RAG Chatbot weiß, wie eine Rücksendung abläuft, könnte er sie doch auch gleich anlegen. Technisch lässt sich das etwa über eine Schnittstelle zum ERP oder einen MCP Server umsetzen. Damit wird aus dem Auskunftssystem aber ein handelnder KI-Agent, für den strengere Regeln bei Rechten, Freigaben und Protokollierung gelten. Wir empfehlen, zuerst die Qualität der Antworten stabil zu bekommen und Aktionen danach Schritt für Schritt freizuschalten.

In fünf Schritten in den produktiven Betrieb

Der Weg zum produktiven RAG Chatbot folgt bei uns fast immer demselben Muster.

1. Ziel und Fragenkatalog festlegen. Wir sammeln mit Ihrem Team 50 bis 100 echte Fragen samt den erwarteten Antworten.
2. Quellen sichten und bereinigen. Wir klären, welche Dokumente gelten, welche veraltet sind und wo welche Rechte liegen.
3. Prototyp bauen. Im Prototyp wird geprüft, wie das System die Fragen aus dem Katalog beantwortet, und die Ergebnisse werden gemessen.
4. Pilot mit echten Nutzern starten. Feedback fließt direkt in Suche, Zerlegung und Prompts ein.
5. Rollout und Pflege organisieren. Automatische Aktualisierung, Monitoring und regelmäßige Auswertungen helfen, die Qualität stabil zu halten.

Häufige Fragen zum RAG Chatbot

Was ist der Unterschied zwischen RAG und Feintuning?

Beim Feintuning wird ein Modell mit Ihren Daten nachtrainiert. Das ist aufwendig, schwer aktuell zu halten und für Faktenwissen meist die falsche Wahl. RAG lässt das Modell unverändert und liefert bei jeder Frage die passenden Dokumente mit. Neues Wissen wird verfügbar, sobald die Quelle verarbeitet und im Wissensbestand indexiert wurde.

Kann das System trotzdem halluzinieren?

Ja. RAG kann Halluzinationen verringern, beseitigt sie aber nicht. Insbesondere unzureichender oder widersprüchlicher Kontext kann zu falschen Antworten führen. Deshalb sind regelmäßige Evaluation und ein definiertes Nichtwissen-Verhalten nötig.

Was kostet ein RAG Chatbot?

Der Aufwand für einen ersten Prototyp hängt vom abgegrenzten Bereich, der Zahl der Quellen, den Anforderungen an Berechtigungen und der Integration in bestehende Oberflächen ab. Laufende Kosten hängen von Modell, Hosting und Nutzung ab.

Funktioniert das auch mit gescannten Dokumenten?

Ja, über Texterkennung. Die Qualität der Scans spielt dabei eine große Rolle, deshalb prüfen wir am Anfang eine Stichprobe.

Mit unserem Python Team zum eigenen Wissensassistenten

Wir entwickeln RAG Chatbots in Python, von der Aufbereitung Ihrer Dokumente über Suche und Berechtigungen bis zur Integration in Intranet, Portal oder Servicetools. Dabei achten wir von Anfang an auf messbare Qualität, Datenschutz und einen Betrieb, der auch in zwei Jahren noch funktioniert.

Erzählen Sie uns, welche Fragen Ihr Team jeden Tag beantwortet. Wir zeigen Ihnen dann, wie ein RAG Chatbot dafür aussehen kann und welche Voraussetzungen ein belastbarer Prototyp braucht.