KI-Entwicklung

RAG-Chatbot entwickeln: Ein Wissensassistent für Ihr Unternehmen

Ein RAG-Chatbot (Retrieval-Augmented Generation) beantwortet Fragen, indem er zuerst Ihre eigenen Dokumente und Daten durchsucht und dann ein Sprachmodell eine Antwort ausschließlich auf Basis der Fundstellen formulieren lässt, idealerweise mit Quellenangabe. Gut umgesetzt liefert er Mitarbeitenden oder Kunden schnelle, überprüfbare Antworten. Schlecht umgesetzt zitiert er selbstbewusst die falsche Richtlinie. Der Unterschied liegt fast vollständig in Datenaufbereitung, Retrieval-Qualität und Berechtigungen.

neooutput Redaktion 4 Min. Lesezeit Read in English

So funktioniert ein RAG-Wissensassistent

Ein RAG-System hat zwei Hälften: eine Retrieval-Schicht, die die relevantesten Teile Ihrer Inhalte findet, und einen Generierungsschritt, in dem ein LLM daraus eine Antwort formuliert.

Ihre Dokumente werden in Abschnitte (Chunks) zerlegt, in Embeddings umgewandelt (numerische Repräsentationen von Bedeutung) und in einem Vektorindex gespeichert, oft ergänzt durch einen klassischen Stichwortindex. Stellt jemand eine Frage, holt das System die passendsten Abschnitte, übergibt sie dem Modell mit der Anweisung, nur aus diesem Kontext zu antworten, und liefert die Antwort mit Quellen zurück. Es wird nichts neu trainiert: Wissen aktualisieren Sie, indem Sie Dokumente aktualisieren.

Gute und schlechte Anwendungsfälle

RAG glänzt dort, wo Wissen schriftlich vorliegt, aber schwer zu finden ist.

Typische Erfolge sind interne Handbücher und HR-Richtlinien, IT- und Produktsupport, technische Dokumentation für den Außendienst, Vertriebsunterlagen, Vertrags- und Ausschreibungsarchive sowie Kunden-Self-Service auf Basis von Hilfeartikeln. Schlecht geeignet ist RAG, wenn die Antwort Berechnungen über aktuelle Transaktionsdaten erfordert. Dort funktionieren Tool Calls in Ihre Systeme oder klassisches Reporting besser, manchmal kombiniert mit RAG für den erklärenden Teil.

Die Datenaufbereitung entscheidet über die Antwortqualität

Die meisten schlechten Antworten sind Retrieval-Fehler, keine Modellfehler. Wird der richtige Absatz nie gefunden, kann kein Modell korrekt antworten.

Bereinigen Sie vor der Indexierung Duplikate und veraltete Versionen, extrahieren Sie Text sauber aus PDFs und Scans, erhalten Sie Überschriften und Tabellenstruktur und versehen Sie alles mit Metadaten wie Dokumenttyp, Datum, Abteilung und Zugriffsstufe. Die Chunking-Strategie zählt: Zu kleine Abschnitte verlieren Kontext, zu große verwässern die Relevanz. Hybride Suche, also semantische und Stichwortsuche kombiniert, plus ein Re-Ranking-Schritt verbessern die Ergebnisse bei Firmenjargon, Produktcodes und Namen meist spürbar.

  • Zuerst veraltete und doppelte Dokumente entfernen.
  • Dokumentstruktur und Tabellen erhalten.
  • Metadaten für Filter und Berechtigungen speichern.
  • Hybrides Retrieval plus Re-Ranking nutzen.
  • Automatisch neu indexieren, wenn sich Quellen ändern.

Berechtigungen: Der Bot darf nie verraten, was ein Nutzer nicht sehen darf

Ein Wissensassistent muss dieselben Zugriffsregeln einhalten wie die Quellsysteme, sonst wird er zum Datenleck mit freundlicher Oberfläche.

Filtern Sie das Retrieval nach den Berechtigungen des Nutzers, bevor irgendetwas beim Modell ankommt, mithilfe von Gruppen- oder Rollen-Metadaten, die aus Ihrem Identity Provider und den Quellsystemen wie SharePoint, Confluence oder einem Dokumentenmanagementsystem synchronisiert werden. Verlassen Sie sich nicht darauf, dass das Modell Informationen zurückhält, die es bereits erhalten hat. Das ist die wichtigste Designentscheidung bei Enterprise-RAG.

Evaluierung und kontinuierliche Verbesserung

Messen Sie vor dem Launch und messen Sie danach weiter.

Erstellen Sie ein Testset aus echten Fragen mit bekannten korrekten Quellen und Antworten, idealerweise gesammelt von den künftigen Nutzern. Verfolgen Sie, ob die richtigen Quellen gefunden werden, ob die Antworten ihnen treu bleiben und wie oft der Assistent korrekt sagt, dass er etwas nicht weiß. Sammeln Sie nach dem Launch Daumen-hoch- und Daumen-runter-Feedback, prüfen Sie unbeantwortete Fragen wöchentlich und schließen Sie damit Lücken in den Inhalten. Oft liegt der größte Nutzen des Assistenten darin, aufzudecken, welche Dokumentation fehlt oder widersprüchlich ist.

Hosting, Datenschutz und Projektablauf

Wählen Sie das Hosting nach Sensibilität der Daten: Cloud-Dienste in einer EU-Region mit Auftragsverarbeitungsvertrag passen in vielen Fällen, hochsensible Daten können in der EU gehostete oder selbst betriebene Open-Weight-Modelle erfordern.

Ein typisches Projekt durchläuft diese Phasen.

  1. Use-Case-Workshop: Zielgruppe, häufigste Fragen, Quellen, Erfolgskennzahl.
  2. Datenaudit und Einrichtung der Konnektoren für die gewählten Quellen.
  3. Prototyp mit Testset und kleiner Pilotgruppe.
  4. Berechtigungen, Logging, Datenschutzdokumentation und Security-Review.
  5. Rollout mit Feedbackschleife und regelmäßigen Inhaltsreviews.

Selbst bauen, kaufen oder Plattform?

Fertige Assistenten in Office-Suiten decken einfache Fälle schnell ab. Individuelle Entwicklung lohnt sich, wenn Sie bestimmte Quellen, strikte Berechtigungslogik, eine eigene Oberfläche oder die Integration in bestehende Apps und Workflows brauchen.

Für Unternehmen und öffentliche Verwaltung, die statt eines Einzelprojekts eine compliance-konforme Plattform suchen, lohnt ein Blick auf unsere Schwestermarke kalAIDoCreate. Individuelle Assistenten, die in Ihre eigenen Produkte eingebettet sind, bauen und betreuen die AI Code Engineers von neooutput durchgängig von Anfang bis Ende.

Häufige Fragen

Halluziniert ein RAG-Chatbot?

Das kann passieren, aber deutlich seltener, wenn das Retrieval gut ist, der Prompt das Modell anweist, nur aus dem gelieferten Kontext zu antworten, und Quellen angezeigt werden. Evaluierung und ein ausdrückliches Ich-weiß-es-nicht-Verhalten sind unverzichtbar.

Müssen wir ein eigenes Modell trainieren?

Fast nie. RAG funktioniert mit bestehenden Modellen und hält das Wissen in Ihren Dokumenten. Updates wirken dadurch sofort, und teures Training entfällt.

Welche Dokumentquellen lassen sich anbinden?

Üblich sind SharePoint, Confluence, Google Drive, Netzlaufwerke, Ticketsysteme, Wikis, Datenbanken und Websites. Alles mit API oder Exportfunktion lässt sich in der Regel anbinden.

Wie lange dauert es bis zum ersten Pilot?

Mit sauberen Quellen und einem klar definierten Use Case ist ein funktionierender Pilot für eine kleine Gruppe oft innerhalb weniger Wochen möglich. Unordentliche Daten und komplexe Berechtigungen brauchen länger.

Alle Insights