Bundesdruckerei testet über 50 LLMs speziell für Behörden – Fokus auf Deutsch, Rechtssicherheit und IT‑Sicherheit.
In Kürze
- Vergleich von über 50 LLMs nach behördlichen Kriterien (Deutsch, Rechtssicherheit, IT‑Sicherheit)
- Neun deutschsprachige Verwaltungstests, bewertet nach sieben Kernkriterien
- Interaktive Online‑Ergebnisse; Methodik offen, BSI und Fraunhofer AISEC prüfen Sicherheitsrisiken
Bundesdruckerei startet „Möve“: Vergleich von KI‑Sprachmodellen für Behörden
Die Bundesdruckerei hat das Projekt „Möve“ gestartet — kurz für „Modelle für die öffentliche Verwaltung evaluieren“. Ziel des Vorhabens ist es, Behörden eine verlässliche Entscheidungsgrundlage bei der Auswahl von KI‑Sprachmodellen zu liefern, damit das digitale Amt für Bürgerinnen und Bürger sicherer wird (zum Beispiel durch weniger fehlerhafte Algorithmus‑Entscheidungen oder verminderte Datenpannen).
Was geprüft wird
Möve bewertet nicht nur allgemeine Leistungskennzahlen. Im Fokus stehen Kriterien, die für deutsche Behörden besonders relevant sind:
- gutes Deutschverständnis
- juristische Verlässlichkeit
- IT‑Sicherheit
- Nachhaltigkeit
- Transparenz
- Vereinbarkeit mit demokratischen Werten
Aktuell werden mehr als 50 Large Language Models (LLMs) untersucht — darunter bekannte Vertreter wie GPT, Gemma, Llama, Claude, DeepSeek und Mistral. Im aktuellen Gesamtvergleich führen Gemma4 und GPT‑40; mit Mistral Small 3.1 befindet sich zudem ein europäisches Modell in den Top Ten.
Wie die Tests funktionieren
Die Methodik beruht auf neun eigens erstellten, deutschsprachigen Testdatensätzen, die aus der Verwaltungspraxis stammen — etwa juristische Texte, Verwaltungsdokumente und Veröffentlichungen von Bundesministerien.
Bewertet werden sieben Kernkriterien:
- korrektes Zusammenfassen langer Dokumente
- präzise Beantwortung von Fragen
- Analyse über mehrere Dokumente hinweg
- Einhaltung von EU‑Grundwerten
- Faktentreue (Prüfung auf „Halluzinationen“)
- Ressourceneffizienz
- Erfüllung von Transparenzpflichten nach der KI‑Verordnung (also in welchem Umfang Anbieter offenlegen, wie ihre Systeme funktionieren)
Nutzung der Ergebnisse und Sicherheitsfragen
Die Resultate stehen in einem interaktiven Online‑Vergleich bereit; Behörden können dort Filter setzen und Modelle nach ihren Anforderungen auswählen. IT‑Sicherheit ist ein zentraler Baustein: Für die Identifikation und Bewertung von Risiken arbeitet die Bundesdruckerei mit dem BSI (Bundesamt für Sicherheit in der Informationstechnik) sowie dem Fraunhofer‑Institut AISEC zusammen. Hintergrund ist, dass KI‑Modelle sowohl für defensive Zwecke als auch im Kontext automatisierter Angriffe relevant sein können — Risiken sollen daher früh erkannt werden.
Transparenz der Methodik
Die Bewertungsmethodik ist öffentlich dokumentiert: Es gibt ein Open‑Source‑Repository und ein begleitendes Forschungspapier, die Ergebnisse selbst sind auf der Möve‑Webseite einsehbar. Die Bundesdruckerei weist außerdem darauf hin, dass die Bewertungen keine rechtlich bindende Prüfung darstellen und keine Auslegung von Gesetzen ersetzen.
Warum das Projekt für Behörden relevant ist
Möve bietet Behörden ein Vergleichs‑ und Auswahlwerkzeug, das deutsche Anforderungen berücksichtigt und den Fokus auf Praxisnähe sowie Sicherheitsaspekte legt — im Unterschied zu vielen internationalen Rankings. Der Name ist kurz, die Tests sind es nicht.
Quellen
- Quelle: Bundesdruckerei
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
