Interner Wissensassistent mit KI: Dokumente, Richtlinien und Projektwissen schneller finden

In fast jedem Unternehmen passiert dasselbe mehrmals am Tag: Jemand unterbricht zwei oder drei Kolleg:innen, um herauszufinden, welche Richtlinie aktuell gilt, wo die letzte Version eines Angebots liegt oder wie ein bestimmter Prozess wirklich abläuft.

Das Wissen existiert. Es liegt in PDFs, Confluence-Seiten, alten Angeboten, Projektakten und E-Mail-Threads. Es ist nur nicht auffindbar.

Ein interner Wissensassistent mit KI verspricht genau das zu lösen. Das Versprechen ist real — aber nur, wenn man versteht, dass es hier nicht um einen Chatbot geht, sondern um eine kontrollierte Retrieval-Architektur.

Warum „ChatGPT über unseren Dokumenten" der falsche Mentalrahmen ist

Die naive Vorstellung: Man lädt alle Dokumente in ein Sprachmodell und fragt es Dinge.

Das ist aus drei Gründen falsch. Erstens kennt ein Modell Ihr internes Wissen nicht — es muss zur Antwortzeit die richtigen Stellen finden. Zweitens darf nicht jede:r alles sehen; eine Personalrichtlinie ist nicht dasselbe wie ein öffentliches Handbuch. Drittens darf das System nicht überzeugend klingende, aber falsche Antworten erzeugen, wenn die Quelle fehlt.

Der richtige Mentalrahmen ist Retrieval-Augmented Generation (RAG): Das System sucht zuerst die relevanten, berechtigten Quellenstellen und lässt das Modell nur auf dieser Basis antworten — mit Quellenangabe.

Die Architektur in vier nüchternen Schichten

1. Aufnahme und Rechte

Dokumente werden eingelesen, in sinnvolle Abschnitte zerlegt und indexiert. Entscheidend und meist unterschätzt: Die Zugriffsrechte des Quellsystems müssen mitwandern. Wenn ein Dokument im Original nur die Geschäftsführung sehen darf, darf der Assistent es einer Sachbearbeiterin nicht über Umwege zugänglich machen. Rechte sind keine spätere Funktion — sie sind Teil der Aufnahme.

2. Retrieval

Zur Anfragezeit sucht das System die passendsten Abschnitte — semantisch, nicht nur über Stichworte. Hier liegt der größte Qualitätsunterschied: Ein Assistent ist so gut wie das, was er findet, nicht wie das Modell, das formuliert.

3. Antwort mit Quelle

Das Sprachmodell formuliert eine Antwort ausschließlich aus den gefundenen Stellen und nennt sie. Keine Quelle, keine belastbare Antwort. Eine sichtbare Quellenangabe ist nicht Kosmetik — sie ist die Halluzinationskontrolle.

4. Prüfung und Protokoll

Bei sensiblen Themen prüft ein Mensch. Jede Anfrage und Antwort ist nachvollziehbar: Welche Quellen, welche Antwort, wer hat gefragt. Ohne diese Spur ist der Assistent in einem regulierten Umfeld nicht tragbar.

Die drei Risiken, die das OWASP-Framework benennt

Das OWASP Top 10 for LLM Applications (2025) ist hier kein abstraktes Sicherheitsdokument, sondern eine Mängelliste, die genau auf Wissensassistenten passt.

LLM01 – Prompt Injection. Ein Dokument im Wissensbestand kann versteckte Anweisungen enthalten, die das Modell umlenken. Bei einem RAG-System ist das besonders relevant, weil das System fremde Inhalte aktiv hereinholt. Wir behandeln das vertieft in einem eigenen Artikel zu Prompt Injection.
Sensible Informationen. Wenn Rechte nicht mitwandern, wird der Assistent zur schnellsten Methode, vertrauliche Inhalte abzufragen, die man sonst nie gefunden hätte.
Schwächen in Vektor- und Embedding-Logik. Wer alles in einen gemeinsamen Index legt, kann Mandanten- oder Abteilungsgrenzen verlieren. Trennung ist Architektur, nicht Konfiguration.

Das NIST-Profil für generative KI ergänzt den Rahmen: Quellen, Nachvollziehbarkeit und menschliche Aufsicht sind keine Add-ons, sondern Teil des Risikomanagements.

Datenschutz ist eine Design-Entscheidung, kein Haftungsausschluss

Für deutsche und EU-Unternehmen ist die DSGVO hier konkret, nicht abstrakt. Drei Punkte gehören in die Architektur, nicht in eine Fußnote:

Datenminimierung. Nicht der gesamte Datenbestand muss in den Index — nur das, was die Anwendungsfälle wirklich brauchen.
Hosting-Region und Auftragsverarbeitung. Wo liegen Index und Modellverarbeitung? Bei personenbezogenen Inhalten ist EU-Hosting kein Komfort, sondern eine Anforderung.
Löschbarkeit. Wird ein Quelldokument gelöscht, muss es aus dem Index verschwinden. Ein Index, der nicht vergessen kann, ist ein Datenschutzproblem.

Realistische erste Anwendungsfälle

Ein guter erster Wissensassistent löst nicht „alles Wissen". Er löst einen klar abgegrenzten Schmerz:

Interne Richtlinien und Arbeitsanweisungen auffindbar machen (mit Quelle und Gültigkeitsdatum).
Frühere Angebote und Projektakten für die Angebotserstellung durchsuchbar machen.
Onboarding: Neue Mitarbeitende finden Prozesswissen, ohne drei Personen zu unterbrechen.
Support: ähnliche frühere Fälle finden, Entwurf vorschlagen — Freigabe durch einen Menschen.

Das gemeinsame Muster: ein begrenzter, berechtigter Wissensraum und eine Antwort, die immer auf eine Quelle zeigt.

Checkliste vor dem Start

Ist der Wissensraum begrenzt (welche Quellen, welche Abteilung) statt „alles"?
Wandern die Zugriffsrechte der Quellsysteme mit in den Index?
Zeigt jede Antwort eine nachvollziehbare Quelle?
Gibt es einen Eskalationspfad, wenn keine belastbare Quelle existiert?
Sind Hosting-Region und Löschregeln geklärt?
Gibt es einen Messwert (z. B. gefundene-vs-eskalierte Anfragen, eingesparte Rückfragen)?
Ist klar, wer bei sensiblen Themen prüft?

Häufige Fragen

Brauchen wir ein eigenes Sprachmodell? Selten. Entscheidend ist nicht das Modell, sondern Retrieval-Qualität, Rechte und Quellenkontrolle. Das Modell ist austauschbar; die Architektur ist es nicht.

Was, wenn die Dokumente unstrukturiert sind? Das ist der Normalfall, kein Hindernis. Aufnahme und Abschnittsbildung lösen das — aber es ist Arbeit, die in den Plan gehört, nicht ein Nachgedanke.

Halluziniert ein RAG-System nicht trotzdem? Das Risiko sinkt deutlich, wenn die Antwort nur aus gefundenen Quellen erzeugt wird und „keine belastbare Quelle" eine erlaubte Antwort ist. Ein Assistent, der „ich weiß es nicht" sagen darf, ist vertrauenswürdiger als einer, der immer antwortet.

Wie groß ist so ein erstes Projekt? Ein begrenzter Wissensraum, ein Anwendungsfall, eine produktive Erstversion in Wochen — kein unternehmensweites Wissensportal als erster Schritt.

Fazit

Ein interner Wissensassistent ist kein Chatbot über Ihren Dateien. Er ist eine Retrieval-Architektur mit Rechten, Quellen, Nachvollziehbarkeit und menschlicher Prüfung. Genau diese vier Eigenschaften entscheiden über Vertrauen — nicht das Sprachmodell.

Wer klein, berechtigt und quellenbasiert startet, bekommt ein Werkzeug, das täglich genutzt wird. Wer „alles Wissen, ein Chatbot" startet, bekommt eine beeindruckende Demo und ein Datenschutzrisiko.

Nächster Schritt

Sie haben einen konkreten Wissens-Schmerz — Richtlinien, Angebote, Onboarding? Beginnen Sie mit einem AI-Readiness-Check. Wir grenzen den Wissensraum ab, klären Rechte und Hosting und entwerfen einen kontrollierten Piloten, der mit Quelle antwortet, nicht mit Behauptung.

Quellen

OWASP, Top 10 for Large Language Model Applications (2025) — owasp.org
NIST, Generative AI Profile for the AI RMF — nist.gov
Europäische Kommission, Gelten die DSGVO-Regeln für KMU? — commission.europa.eu
EDPB, Practical resources for SMEs — edpb.europa.eu