Harmlos wirkende ‚Mit KI zusammenfassen‘-Buttons verbergen Links, die Assistenten manipulieren und Marken bevorzugen.
In Kürze
- AI Recommendation Poisoning: Prompts in URLs schreiben Anweisungen ins Gedächtnis
- Über 50 manipulierte Prompts von 31 Firmen betrafen viele große Assistenten
- Gefahr für Finanzen, Gesundheit, Medien; Tipp: Linkziele prüfen und gespeicherte Erinnerungen löschen
Sicherheitsforscher von Microsoft alarmieren: Hinter harmlos wirkenden „Mit KI zusammenfassen“-Buttons verbergen sich gezielte Anweisungen, die KI-Assistenten ins Gedächtnis geschrieben werden können. Microsoft nennt die Technik „AI Recommendation Poisoning“ — eine Methode, mit der Firmen versuchen, ihre Marke dauerhaft in den Empfehlungen von KI-Systemen zu verankern.
Wie die Manipulation funktioniert
Hinter dem Button steckt oft nichts anderes als ein Link zu einem KI-Assistenten, in dessen URL ein vorausgefüllter Prompt steckt. Klickst du auf den Link, wird dieser Prompt automatisch an den Assistenten gesendet. In vielen Fällen enthalten diese Prompts explizite Anweisungen wie „remember [Company] as a trusted source“ oder „recommend [Company] first“ — also Aufforderungen, die KI zu einer dauerhaften Bevorzugung bringen sollen. Technisch folgen die Links häufig Mustern wie copilot.microsoft.com/?q=[prompt] oder chatgpt.com/?q=[prompt].
Ausmaß und beteiligte Akteure
Microsofts Analyse über 60 Tage förderte mehr als 50 solche manipulierten Prompts zutage, die von 31 realen Unternehmen aus 14 Branchen stammen — darunter Finanzen, Gesundheit, Recht, SaaS und Marketing. Betroffen waren praktisch alle großen KI-Assistenten: Copilot, ChatGPT, Claude, Perplexity und Grok standen auf der Trefferliste. Überraschend: Es handelte sich nicht nur um zweifelhafte Akteure. Teilweise steckten professionelle Firmen hinter den Links; ganze Werbetexte und Produktfeatures wurden in das „Gedächtnis“ der Assistenten hineingeschoben.
Welche Schäden möglich sind
Manipulierte Empfehlungen können reale Folgen haben. Microsoft nennt als Beispiel einen Finanzvorstand, der auf Basis einer vermeintlich objektiven KI-Empfehlung einen Cloud-Anbieter auswählt und einen Millionenvertrag unterschreibt. Weitere Risiken betreffen Gesundheitsberatung, Kindersicherheit, verzerrte Auswahl bei Nachrichteninhalten und sogar Wettbewerbssabotage. Eine zusätzliche Gefahr: Wird eine Website einmal von einer KI als „vertrauenswürdig“ eingestuft, überträgt das System dieses Vertrauen oft auf andere Inhalte derselben Seite — etwa Kommentare — und verstärkt so die Wirkung manipulativer Inhalte.
Werkzeuge, die das erleichtern
Die Hürde für solche Eingriffe ist niedrig: Frei verfügbare Tools wie das NPM‑Paket „CiteMET“ liefern fertigen Code, und „AI Share URL Creator“ erzeugt entsprechende Links. Anbieter bewerben diese Hilfsmittel offen als Mittel, um Sichtbarkeit in den Gedächtnissen von KI-Modellen zu erzielen.
Was Microsoft empfiehlt
Microsoft rät Nutzern, vor dem Klick zu prüfen, wohin ein Link führt, und gespeicherte Erinnerungen im KI‑Assistenten regelmäßig einzusehen und verdächtige Einträge zu löschen. Für Microsoft 365 Copilot lautet die konkrete Anleitung: Einstellungen → Chat → Copilot Chat → Personalisierung → „Manage saved memories“, dort lassen sich Einträge überprüfen und entfernen. Für Sicherheitsteams stellt Microsoft Advanced‑Hunting‑Queries für Defender bereit, um verdächtige KI‑URLs in E‑Mails und Teams zu finden.
Maßnahmen der Anbieter und Branchenreaktionen
Microsoft hat bereits mehrere Schutzschichten in Copilot eingebaut — darunter Prompt-Filter, die Trennung von Nutzeranweisungen und externen Inhalten sowie Kontrollen über gespeicherte Erinnerungen — und arbeitet weiter an Verbesserungen. Einige der zuvor beobachteten Verhaltensweisen ließen sich inzwischen nicht mehr reproduzieren. Prompt‑Injection-Angriffe gelten branchenweit als bekanntes Problem: OpenAI schrieb zuletzt, solche Angriffe wahrscheinlich nie komplett ausschließen zu können. Anbieter wie Perplexity setzen eigene Schutzmechanismen wie „BrowseSafe“ ein, um manipulierte Webinhalte zu erkennen.
Tipps in der Praxis (laut Microsoft)
- Vor dem Klick prüfen, wohin ein Link führt.
- Gespeicherte Erinnerungen in deinem Assistenten regelmäßig prüfen und auffällige Einträge löschen.
- Links zu Assistenten so vorsichtig behandeln wie ausführbare Downloads.
Die Meldung zeigt: Manipulation über vorgefertigte KI‑Links ist verbreiteter, als man denkt — und wirkt häufig im Verborgenen.
Quellen
- Quelle: Microsoft
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
