Die Prüfung, die das Sprachmodell überspringt
Die gefährlichste KI-Ausgabe ist die plausible: sauber formatiert und trotzdem falsch. Warum ein größeres Modell das nicht löst — und Struktur schon.
Die naheliegende Sorge beim KI-Einsatz in einer Kanzlei ist, dass das Modell falsch liegt. Nur richtet der offensichtliche Fehler selten den Schaden an. Ein erkennbar unsinniges Ergebnis fällt sofort auf. Gefährlich wird das Ergebnis, das gründlich aussieht, sauber formatiert ist und trotzdem an ein paar Stellen nicht stimmt.
Ein Bericht, der aussah wie das Ergebnis
Das frei verfügbare Buch „Building AI-Native Professional Services Firms” von Daniel Katz, Michael Bommarito und Jillian Bommarito erzählt den Aufbau einer KI-nativen Kanzlei als Roman. Eine Szene daraus bleibt hängen.
Die Kanzlei prüft die Compliance eines Pharmaunternehmens. Vier Produktionsstandorte, jeder mit eigener Zulassung, vierzehn Produkte, die im Lauf der Zeit zwischen den Standorten gewechselt haben. Die KI gleicht jede Vorschrift gegen die Unterlagen ab und liefert einen Bericht: 180 Seiten, 47 Befunde, jeder mit Schweregrad und Empfehlung. Das sieht nach solider Arbeit aus.
Ist es aber nicht. Die KI behandelt das Unternehmen als eine einzige Einheit. Sie meldet Verstöße an einem Standort, der für diese Produktklasse gar nicht zugelassen ist, also gegen Vorschriften, die dort nicht gelten. Reines Rauschen. Der umgekehrte Fehler wiegt schwerer: Sie gibt einem Standort grünes Licht für ein Produkt, das erst kürzlich dorthin verlagert wurde und dessen Unterlagen zur Verlagerung unvollständig sind. Elf solche Fehler, drei davon gravierend. Aufgefallen ist das nur, weil auf Mandantenseite ein früherer Behördenprüfer saß, der die Standortlogik kannte.
Kein Rechenfehler, sondern eine übersprungene Frage
Falsch gerechnet hat das Modell nicht. Jede einzelne Regel hat es korrekt auf die Unterlagen angewandt. Ausgelassen hat es nur die Frage davor: Gilt diese Vorschrift für diese Einheit überhaupt?
Juristisch ist das eine übersprungene Einschlägigkeitsprüfung. Bevor man eine Norm anwendet, klärt man, ob sie einschlägig ist. Die KI ist direkt in die Subsumtion gegangen. Sie sah Unterlagen und Regeln, aber nicht, welche Regel für welchen Fall gilt. Dieser Zwischenschritt, für einen Menschen mit Fachwissen selbstverständlich, fehlte.
Wo derselbe Fehler in einer Kanzlei lauert
Der Anwendungsbereich ist in der Kanzleiarbeit selten eindeutig. Eine Frist verschiebt sich je nach Feiertag im Bundesland. Was für die eine Rechtsform gilt, gilt für die nächste nicht. Und eine geldwäscherechtliche Sorgfaltspflicht greift beim einen Mandat und beim anderen nicht. Der gefährliche Fehler ist in all diesen Fällen nicht die falsche Rechnung, sondern die richtige Rechnung auf dem falschen Sachverhalt.
Das ist dieselbe Beobachtung wie hinter „Rechnen statt raten”, nur eine Ebene höher. Dort rechnet ein deterministischer Programmteil und nicht das Sprachmodell, weil „meistens richtig” bei Fristen und Beträgen die falsche Kategorie ist — derselbe Grund, aus dem der KI-Einstieg in die non-billable Arbeit gehört. Beim Anwendungsbereich geht es nicht ums Rechnen, sondern um die Frage davor: Welche Regel zieht hier überhaupt? Bevor ein Werkzeug eine Vorschrift anwendet, muss es festlegen und zeigen, für welchen Sachverhalt sie gilt.
Die Gegenmaßnahme ist Struktur
Im Buch war die Lösung kein besseres Modell, sondern ein Zwischenschritt. Vor dem eigentlichen Abgleich löst er die Einheiten auf: welcher Standort, welche Zulassung, welches Produkt, welche Verlagerung. Erst danach vergleicht das System, und jeder Befund gilt nur für den Bereich, für den er erhoben wurde. Dazu kam eine zweite Prüfung, die nicht die einzelnen Befunde kontrolliert, sondern den Prüfrahmen selbst, erledigt von jemandem mit dem passenden Fachwissen.
Für die Werkzeuge, die ich baue, ist das derselbe Grundsatz wie beim Rechnen. Ein Vorschlag, der als fertiges Ergebnis auftritt, wird durchgewinkt. Ein Vorschlag, der zeigt, welche Regel er auf welchen Sachverhalt angewandt hat, lässt sich prüfen. Wer den Anwendungsbereich sichtbar macht, macht aus der Freigabe wieder eine Entscheidung.
Die berufsrechtliche Verantwortung liegt ohnehin bei den Berufsträger*innen. Ein Werkzeug nimmt sie ihnen nicht ab, aber es kann die Grundlage liefern, auf der sie sich vernünftig ausüben lässt.
Was ich mitnehme
Die gefährlichste Ausgabe ist die, die plausibel und falsch zugleich ist. Ein größeres Modell senkt die Fehlerquote, aber nicht die Fehlerart. Es liefert dieselbe selbstbewusst falsche Ausgabe, nur seltener, und seltene Fehler sind schwerer zu entdecken als häufige. Die Antwort darauf ist keine Frage des Modells, sondern der Konstruktion: den Anwendungsbereich vor dem Ergebnis offenlegen und in dreißig Sekunden prüfbar machen.