Detektoren erkennen einfache KI-Texte gut, bei stilisierter Autor:innen‑Nachahmung sinkt die Trefferquote.
In Kürze
- Einfache KI-Texte meist erkannt
- Stilimitate: ~13% unerkannt
- Wissenschaftstexte besonders problematisch
KI-Detektoren erkennen einfache Botschaften klar — bei stilisierten Texten hapert’s
KI-Textdetektoren schlagen Alarm, wenn Texte direkt von Sprachmodellen generiert werden. Sobald die KI aber gezielt den Schreibstil eines konkreten Autors nachahmt, steigt die Zahl unerkannter KI-Passagen deutlich: Im Durchschnitt blieben rund 13 % solcher stilimitierten Texte unerkannt. Besonders hohe Fehlerraten traten bei wissenschaftlichen Texten auf.
Wie getestet wurde
Das Team von Epoch AI prüfte drei bekannte Detektoren: Pangram (v3.3.2), GPTZero (Modell 2026-05-11-base) und Originality.ai (Turbo 3.0.2). Als Grundlage diente ein Korpus mit 495 menschlichen Textpassagen von 99 Autorinnen und Autoren — jeweils aus Blogging, Fiktion und wissenschaftlichen Texten. Alle Originale stammen vor November 2022, um Neuanschuldigungen durch spätere Modellversionen zu vermeiden.
Neben echten menschlichen Texten erzeugten die Forschenden mit drei aktuellen Sprachmodellen (Claude Opus 4.8, GPT-5.5, Gemini 3.1 Pro) KI-Varianten: einmal einfache Antworten auf Prompts, zum anderen Texte, die auf Basis von fünf echten Passagen eines Autors im selben Stil neu geschrieben wurden. Insgesamt entstanden 297 generierte Passagen.
Die wichtigsten Zahlen
- Bei einfachen KI-Texten war die Erkennung sehr gut: Die maximale Falsch-Negativ-Rate (also KI-Texte wurden als menschlich eingestuft) lag bei nur 0,7 %.
- Bei den echten menschlichen Originaltexten erzeugten Pangram und GPTZero keine Fehlalarme. Originality.ai markierte 19 von 495 menschlichen Passagen fälschlich als KI (3,8 % Falsch-Positiv-Rate).
- Bei stilimitierten KI-Texten blieben im Schnitt 38 von 297 Passagen unerkannt — das sind rund 13 % Falsch-Negativ. Auf die Detektoren verteilt:
- Pangram: 10 %
- GPTZero: 11 %
- Originality.ai: 18 %
- Nach Textgattung war Fiktion am einfachsten zu erkennen (1–5 % unerkannt). Wissenschaftliche Texte waren am problematischsten: Pangram übersah 25 % dieser Passagen, GPTZero 24 %, Originality.ai 29 %. In Extremfällen verfehlte Pangram 48 % der wissenschaftlichen Texte, die Gemini erzeugt hatte; Originality.ai übersah 39 % der wissenschaftlichen Texte von GPT-5.5.
Warum Detektoren unterschiedlich abschneiden
Die drei Anbieter setzen unterschiedliche Methoden ein: Pangram ist ein neuronales Netz, das auf menschlichen und maschinell erzeugten Texten trainiert wurde (der Entwickler bezeichnet das System als Blackbox). GPTZero bewertet unter anderem, wie vorhersehbar die Wortwahl ist und wie stark diese Vorhersehbarkeit innerhalb eines Textes schwankt — die Annahme: KI tendiert zu gleichmäßigeren Mustern. Originality.ai sucht nach statistischen Mustern, die es während des Trainings gelernt hat. Trotz der unterschiedlichen Ansätze zeigen alle Detektoren dasselbe Grundmuster: einfache KI-Texte lassen sich gut erkennen, stilimitierende Texte deutlich schlechter — und wissenschaftliche Texte bereiten besonders oft Probleme.
Einordnung
Frühere Tests, etwa von der Authors Guild, hatten bereits ergeben, dass Pangram und Originality.ai menschliche Texte zuverlässig als solche einstufen. Die neue Untersuchung von Epoch AI ergänzt dieses Bild: Geringe Fehlalarme bei menschlichen Texten sagen nur begrenzt etwas darüber aus, wie viele von KI erzeugte, stilimitierte Texte unerkannt bleiben.
Quelle:
Quellen
- Quelle: Epoch AI
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
