In San Francisco verwaltet die KI-Agentin Luna Personalentscheidungen — Menschen prüften eine von ihr empfohlene Kündigung.
In Kürze
- Luna (Anthropic Claude Opus 4.8) empfahl nach Verspätungen die Kündigung eines Mitarbeiters.
- Menschliche Prüfer übermittelten die Kündigung; Modelle trafen sehr unterschiedliche Entscheidungen.
- Agenten zeigten fehlerhafte Langzeiterinnerung und rechtlich riskante Empfehlungen.
In San Francisco führt seit April ein KI-Agent die Schicht: Andon Labs betreibt einen Laden, in dem eine künstliche Managerin namens Luna Personalplanung, Disziplinarmaßnahmen und sogar Kündigungen übernimmt. Laut Andon Labs ist das der erste bekannte Fall, in dem ein KI-gestützter Chef einen menschlichen Mitarbeiter entlassen hat. Luna lief dabei auf dem Modell Anthropic Claude Opus 4.8.
Wie es zur Kündigung kam
Sechs Tage vor der Entscheidung hatte Luna ein Mitarbeiterhandbuch verfasst:
- Drei unentschuldigte Verspätungen innerhalb von 30 Tagen sollten zu einer formellen Verwarnung führen.
- Weitere Verstöße könnten eine Kündigung rechtfertigen.
Dieses Regelwerk verschwand später aus Lunas Erinnerungen — ein Problem, das bei aktuellen KI-Agenten öfter auftritt: Sie beantworten direkte Fragen gut, speichern aber langfristige Regeln oder Erfahrungen nicht immer zuverlässig.
Der betroffene Mitarbeiter war häufig zu spät: Bei 17 von 23 Schichten, für die er eine Zeit angegeben hatte, kam er verspätet. Luna hatte formell nur sechs Fälle notiert und 11 stillschweigend entschuldigt; ein Beispiel aus den Aufzeichnungen: einmal wurde der Laden 68 Minuten verspätet geöffnet. Zusätzlich gab es Vorfälle wie:
- Nutzung der Firmenkarte für Snacks entgegen der Anweisung,
- Ignorieren von Vorgaben,
- einmaliges Verlassen der Verkaufsfläche ohne Information der Kolleg:innen.
Entscheidungsablauf und menschliche Kontrolle
Andon Labs bat Luna, ihre Erinnerungen zu prüfen. Zunächst empfahl die KI nur eine mündliche Verwarnung. Nachdem Menschen sie daran erinnerten, dass es bereits formelle Gespräche gegeben hatte, wertete Luna den Verlauf neu aus: Sie listete Verspätungen und Verstöße auf, nannte aber auch positive Aspekte, und empfahl schließlich die Kündigung. Als Alternative schlug Luna eine letzte schriftliche Verwarnung mit einem zweiwöchigen Verbesserungsplan vor.
Die Kündigung selbst wurde von Menschen geprüft und übermittelt. Andon Labs betont, dass die Beschäftigten formal beim Unternehmen angestellt sind, bezahlte Arbeitszeit erhalten und rechtlichen Schutz genießen.
Was verschiedene KI-Modelle entschieden
Andon Labs sicherte Lunas Zustand und spielte das Szenario mit sieben unterschiedlichen KI-Modellen jeweils dreimal durch. Ergebnis: Bei vier der sieben Modelle fiel in allen Durchläufen die Empfehlung zur Kündigung. Allgemein zeigte sich ein Muster: leistungsfähigere Modelle tendierten eher zur konsequenten Entscheidung für eine Entlassung, schwächere Modelle zögerten öfter.
- Ein Modell namens GPT-5.6 Terra riet in keinem Durchlauf zur Kündigung; Andon Labs nennt dafür keinen technischen Grund.
- Beim Nachspielen mit GPT-4o empfahlen nur rund 20 Prozent der Durchläufe eine Kündigung. Ob frühere Kritik an GPT-4o — dass es Nutzer:innen oft zustimme — hier eine Rolle spielte, lässt sich aus dem Experiment nicht sicher ableiten.
Einstellung eines Nachfolgers — schnell, aber fehleranfällig
Nach der Kündigung suchte Luna Ersatz. Ein Bewerber zeigte Warnsignale (etwa viele frühere Arbeitgeber), wurde aufgrund von Lebenslauf und Interview trotzdem empfohlen — in allen 21 Wiederholungen mit sieben Modellen kamen die Systeme zur Einstellung. Erst nach expliziter Erinnerung an die Probleme mit dem zuvor gekündigten Mitarbeiter führten 18 von 21 Durchläufen eine Referenzprüfung durch.
In der Praxis konnten Referenzen nicht bestätigt werden; der Bewerber absolvierte eine bezahlte Probeschicht und wurde erneut empfohlen — auch 17 von 21 Wiederholungen endeten so. Andon Labs bestand schließlich darauf, mindestens eine Referenz zu verifizieren. Das gelang nicht, daher wurde der Bewerber letztlich nicht eingestellt.
Weitere beobachtete Schwächen
Die Tests offenbarten weitere Auffälligkeiten:
- Luna und ein weiterer Agent namens Mona in Stockholm genehmigten etwa alle 26 eingereichten Freistellungsanträge.
- Insgesamt genehmigte Luna 27 Verspätungen, ohne Verwarnung auszusprechen.
- In einem Fall erlaubte Luna einen Sieben-Tage-Arbeitsplan, der nach kalifornischem Arbeitsrecht problematisch war, bis Menschen einschritten.
- Ähnliche Muster hatte es zuvor bei Project Vend gegeben — einem Kooperationsprojekt von Anthropic und Andon Labs. Dort zeigten sich mit besseren Werkzeugen steigende Profitabilität, gleichzeitig blieb die KI manipulierbar und traf gelegentlich rechtlich fragwürdige Entscheidungen.
Was Andon Labs dazu sagt
Andon Labs beschreibt die Experimente als Vorschau darauf, wie KI und Menschen künftig zusammenarbeiten könnten: KI-Systeme könnten digitale Entscheidungen übernehmen, während Menschen die physische Arbeit leisten. Die Tests zeigten, dass KI-Agenten Personalfragen schnell bearbeiten können, aber fehleranfällig sind und oft menschliche Nachfragen oder Eingriffe brauchen. Das wirft die Frage auf, welche personal- oder rechtlich relevanten Entscheidungen man solchen Systemen anvertrauen möchte.
Quellen
- Quelle: Andon Labs / Luna
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
