Kanzleiwissen für KI zugänglich machen: RAG ist nicht die einzige Antwort
RAG zerlegt Dokumente in Abschnitte und sucht die ähnlichsten heraus. In der Aktenarbeit ist die ähnlichste Stelle aber selten die richtige.
Wer das eigene Kanzleiwissen für ein Sprachmodell zugänglich machen will, bekommt fast immer dieselbe Antwort: RAG. Für einen großen Teil der Fälle ist sie richtig. Sie ist nur weder die einzige noch, für die typische Aktenarbeit, die naheliegendste.
Was hinter RAG technisch steckt
RAG steht für Retrieval Augmented Generation, also für ein Modell, dem vor der Antwort passende Fundstellen mitgegeben werden. Technisch läuft das so: Die Dokumente werden in Abschnitte zerlegt, jeder Abschnitt wird in eine Zahlenreihe übersetzt, die seine Bedeutung abbildet (einen Vektor), und diese Vektoren liegen in einer eigenen Datenbank. Kommt eine Frage, wird auch sie in einen Vektor übersetzt, und das System sucht die Abschnitte heraus, deren Vektoren der Frage am ähnlichsten sind.
Der letzte Schritt ist der, auf den es ankommt: Das Modell sieht nicht die Akte. Es sieht eine Handvoll Ausschnitte, die ein Suchverfahren vorher ausgewählt hat. Was dieses Verfahren nicht findet, existiert für die Antwort nicht.
Wo das Verfahren gut funktioniert
Auf großen, gleichförmigen Beständen, in denen die Antwort tatsächlich in einem Abschnitt steht. Textbausteine, Vertragsklauseln, Merkblätter, interne Handbücher: Wer wissen will, wie die Kanzlei eine Haftungsbegrenzung formuliert, braucht genau eine Passage, und die Ähnlichkeitssuche findet sie zuverlässig. Je größer der Bestand, desto deutlicher der Vorteil, weil die Suche kaum langsamer wird, während ein Mensch immer länger blättert.
Wo es in der Aktenarbeit bricht
Die Schwäche steckt in der Annahme, dass die ähnlichste Stelle die richtige ist. Das trifft zu, solange eine Frage eine Fundstelle hat. Es trifft nicht mehr zu, sobald die Antwort über mehrere Dokumente verteilt liegt, sobald die Chronologie zählt, oder sobald die maßgebliche Stelle das gesuchte Wort gar nicht enthält.
Ein Fristenlauf ist dafür das klarste Beispiel. Er ergibt sich nicht aus dem Abschnitt, der dem Wort „Frist“ am ähnlichsten sieht, sondern aus einem Zustellungsdatum im Empfangsbekenntnis, aus einer Vorschrift, die in keiner Akte steht, und aus einem Feiertag, den niemand aufgeschrieben hat. Eine Ähnlichkeitssuche liefert hier verlässlich etwas, das nach einer Antwort aussieht.
In der Aktenarbeit ist dieser Fall nicht die Ausnahme, sondern der Regelfall. Akten sind chronologisch geordnet, nicht thematisch. Der Sachverhalt ergibt sich aus der Abfolge der Schreiben, und eine Abfolge lässt sich nicht in Ausschnitte zerlegen, ohne genau das zu verlieren, worauf es ankommt.
Agentische Suche: das Modell arbeitet sich durch die Ablage
Es gibt einen zweiten Weg, der ohne Vektordatenbank auskommt. Das Modell bekommt Werkzeuge statt Ausschnitte: ein Verzeichnis auflisten, eine Datei lesen, im Volltext nach einem Begriff suchen. Damit arbeitet es sich durch die Akte wie ein Mensch, der einen Ordner aufschlägt. Erst die Struktur, dann das Schriftstück, das nach dieser Struktur in Betracht kommt, dann das nächste. Diese Bauform heißt agentische Suche, weil das Modell die Suchschritte selbst wählt, statt sie vorgesetzt zu bekommen.
Mehreres wird damit einfacher. Es gibt keine Vektordatenbank zu betreiben und aktuell zu halten. Es gibt kein Nachindizieren, wenn sich ein Dokument ändert, denn die nächste Anfrage liest ohnehin die aktuelle Fassung. Die Zugriffe sind nachvollziehbar, weil im Protokoll steht, welche Datei gelesen wurde, und nicht bloß, dass ein Abschnitt mit hoher Ähnlichkeit ausgewählt wurde. Und die Zugriffsrechte des Dateisystems gelten weiter: Wer ein Verzeichnis nicht öffnen darf, bekommt daraus auch keinen Inhalt. In einer Kanzlei mit Vertraulichkeitsbereichen ist das kein Nebenpunkt.
Bezahlt wird das mit Modellaufrufen. Wo RAG einmal sucht und einmal antwortet, liest die agentische Suche mehrere Dateien nacheinander und ruft das Modell dabei jedes Mal auf. Das dauert länger und kostet mehr, und wie viel mehr, hängt daran, wie geordnet die Ablage ist. Was solche Betriebsentscheidungen finanziell bedeuten, steht im Beitrag zu den Kosten von KI in der Kanzlei.
Die Vektordatenbank ist ein weiterer Ort mit Mandatsgeheimnissen
RAG bringt einen Verarbeitungsschritt mit, der bei der Architekturentscheidung leicht übersehen wird: Vor der ersten Anfrage müssen alle Dokumente einmal vollständig eingelesen und in Vektoren übersetzt werden, und diese Vektoren liegen anschließend in einer eigenen Datenbank, oft bei einem separaten Anbieter. Für das Berufsrecht ist das keine Nebensache. Sobald ein Dritter Mandatsgeheimnisse auch nur zwischenspeichert, greift § 43e BRAO, und der Vertrag mit diesem Anbieter muss die dort beschriebenen Anforderungen erfüllen, gleich ob er als Vektordatenbank, als Suchindex oder unter einem anderen Namen läuft.
Agentische Suche vermeidet diesen zusätzlichen Speicherort. Die Dokumente bleiben an ihrem angestammten Platz, und nur die einzelne Anfrage geht an das Modell, nicht der gesamte Bestand vorab an eine dritte Datenbank. Das verkleinert die Zahl der Stellen, die eine Geheimhaltungsvereinbarung brauchen. Überflüssig macht es sie nicht: Auch der Modellanbieter selbst bleibt ein Dritter im Sinne der Norm.
Die Vorfrage ist die Ablage, nicht das Verfahren
Damit verschiebt sich die Frage. Sie lautet nicht „RAG oder agentische Suche“, sondern ob die Ablage überhaupt so strukturiert ist, dass ein Verfahren darin etwas finden kann. Ein Bestand mit Verzeichnissen namens „Diverses“, mit Dateien namens „Scan_final_v3.pdf“ und mit mehreren Fassungen desselben Schriftsatzes ohne erkennbar gültige Version macht beide Wege schlecht. RAG indiziert die Unordnung mit, die agentische Suche läuft sich darin fest.
Das ist die unbequeme Antwort, weil sie nach Arbeit klingt, die nach nichts aussieht: Struktur festlegen, Benennung vereinheitlichen, Dubletten entfernen. Diese Arbeit fällt ohnehin an. Wer sie vor der Werkzeugauswahl erledigt, hat hinterher die Wahl zwischen zwei Verfahren statt zwischen zwei schlechten Ergebnissen.
Ohne Texterkennung findet kein Verfahren etwas
Bei gescannten Dokumenten steht noch ein Schritt davor. Ein PDF aus dem Scanner ist ein Bild. Für jedes Suchverfahren ist eine solche Datei leer, gleich wie gut es sonst arbeitet. Vor jeder Überlegung zur Suche steht deshalb die Texterkennung über den Bestand, bei älteren Akten samt Stichprobe, ob das Erkennungsergebnis trägt.
Am Ende ist die Wahl zwischen beiden Verfahren eine Architekturentscheidung, und dafür gilt hier dasselbe wie sonst: die einfachste Bauform, die die Anforderung erfüllt. Für einen großen Klauselbestand ist das RAG. Für eine Akte, in der die Chronologie die Antwort trägt, ist es die geordnete Ablage mit Lesezugriff. Wer beides braucht, baut beides, nacheinander und nicht als ein Verfahren für alles.
Die Inhalte dieses Blogs wurden teilweise mit Unterstützung von KI erstellt.