Feldstudie in Pakistan: KI‑Assistent beschleunigt Richterarbeit – gezieltes Training macht den Unterschied.
In Kürze
- Trainierte Richter nutzten JudgeGPT 4x häufiger
- Produktivität: +6,3% Fälle pro Bezirk bei gleicher Arbeitszeit
- Urteile blieben gleich/leicht besser; hohe Kosteneffizienz
Kann ein KI‑Assistent Richterinnen und Richter schneller arbeiten lassen, ohne die Qualität zu senken?
Eine groß angelegte Feldstudie in Pakistan liefert Zahlen dazu — und zeigt, wie wichtig gezieltes Training ist.
Das Experiment
1.559 Richterinnen und Richter an 118 Gerichten nahmen teil — etwa die Hälfte aller Erstinstanzrichter Pakistans. Als Werkzeug diente JudgeGPT, ein auf der GPT‑4‑Familie basierender KI‑Assistent. Er arbeitete mit Retrieval‑Augmented Generation: aus einer Datenbank von 129.235 Dokumenten (rund 128.300 Urteile und 943 Gesetze) zog das Modell die zehn relevantesten Passagen und formulierte darauf Antworten mit Quellenhinweis.
Die Teilnehmenden wurden zufällig in drei Gruppen verteilt:
- KI‑Zugang plus spezifisches Training (sechs Vorlesungen à 90 Minuten über drei Wochen, geleitet von ETH‑Professor Elliott Ash)
- KI‑Zugang plus allgemeines Seminar zu Technik und Recht
- Kontrollgruppe: nur das allgemeine Seminar, kein KI‑Zugang
Wie die Richter die KI nutzten
Aus rund 1.500 anonymisierten Chat‑Logs zeigen sich die Hauptaufgaben:
- Rechtsrecherche
- Textverbesserung
- Textgenerierung
Etwa 60 % der Anfragen waren informationssuchend (z. B. zu Gesetzen oder Verfahren). Das gezielte Training lenkte die Nutzung klar auf Aufgaben, bei denen die KI zuverlässig ist — Zusammenfassungen und Textüberarbeitung — und weg von offenen Rechtsfragen, bei denen das Modell eher zu ungenauen Antworten neigt. Nur rund ein Fünftel der Anfragen entsprach echter Delegation, also dem Bitten der KI, Bewertungen oder Begründungen eigenständig zu schreiben. Training förderte, dass Richter die Entscheidung selbst trafen und die KI eher zur Umsetzung nutzten.
Nutzungshäufigkeit und Produktivität
Zugang allein reichte nicht: Richter mit gezieltem Training nutzten JudgeGPT etwa viermal häufiger als jene mit nur allgemeinem Seminar. Nach 40 Wochen hatten die trainierten Richter im Schnitt rund 60 Logins und über 200 Eingaben (Prompts), die Vergleichsgruppe kam auf etwa 20 Logins und weniger als 50 Prompts.
In Bezirken mit mittlerer Exposition gegenüber trainierten Richterinnen und Richtern wurden im Schnitt rund 1.848 zusätzliche Fälle pro Jahr erledigt — ein Plus von 6,3 %. Selbst im unteren Viertel waren es noch etwa 616 zusätzliche Fälle pro Jahr und Distrikt. Gleichzeitig blieben die Arbeitszeiten und die berichtete Work‑Life‑Balance der Richter unverändert — mehr erledigte Fälle bei gleicher Belastung.
Qualität und Berufungen
Die schriftlichen Urteile blieben mindestens gleichwertig; eine automatisierte Qualitätsprüfung, validiert durch zwei pakistanische Anwälte, deutete sogar auf leichte Verbesserungen hin. Die Berufungsrate pro 1.000 erledigte Fälle ging leicht zurück. Die Studienautor:innen fanden keine Hinweise darauf, dass der KI‑Einsatz geschlechtsbezogene oder religiöse Voreingenommenheit in den richterlichen Texten verstärkte.
Kosten‑Nutzen
Die Forschenden verglichen die Produktivitätssteigerung mit der Alternative, weitere Richter einzustellen. Nach ihren Berechnungen spart der Einsatz von JudgeGPT etwa 38,50 US‑Dollar für jeden investierten Dollar. Selbst konservativ angesetzt liegt die Rendite mindestens bei 10 Dollar je investiertem Dollar.
Worauf die Forschenden hinweisen
Die Autoren betonen, dass die Effekte stark davon abhängen, dass Zugang zu KI mit gezieltem Training kombiniert wird: Ohne Training verpufft der Nutzen größtenteils. Und sie machen deutlich, dass die Ergebnisse nicht als Argument zum Ersatz von Richterinnen und Richtern gedacht sind, sondern zeigen, wie ein Assistenzsystem die Produktivität im Staatsdienst erhöhen kann, wenn es verantwortet eingesetzt wird.
Zum technischen Stand
Das Feldexperiment lief mit damals stand der Technik befindlichen Modellen der GPT‑4‑Familie. Da sich Sprachmodelle seitdem weiter verbessert haben (weniger Halluzinationen, bessere Textqualität, höhere Komplexitätsfähigkeit), sind die gemessenen Produktivitätsgewinne vermutlich konservative Schätzungen dessen, was mit aktuelleren Systemen möglich wäre.
Quellen
- Quelle: JudgeGPT / Pakistans Justiz
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
