Eine neue Studie zeigt, dass KI-Sprachmodelle durch minderwertige Daten an Leistung verlieren können.
In Kürze
- Junk-Daten beeinträchtigen logisches Denken und Sicherheitsaspekte
- Studie untersucht Einfluss von alten Twitter-Daten
- Empfehlung zur Kontrolle der Trainingsdatenqualität
Studie zu großen KI-Sprachmodellen
Forschende aus den USA haben alarmierende Ergebnisse zu großen KI-Sprachmodellen veröffentlicht. Ihre Studie zeigt, dass diese Modelle langfristig an Leistung verlieren können, wenn sie kontinuierlich mit minderwertigen Online-Daten, auch bekannt als „Junk-Daten“, gefüttert werden. Besonders betroffen sind dabei logisches Denken und Sicherheitsaspekte der Modelle.
Untersuchung von „Junk“-Daten
In ihren Tests haben die Wissenschaftler verschiedene kleinere Sprachmodelle mit alten Twitter-Daten untersucht. Dabei konzentrierten sie sich auf zwei Hauptkategorien von „Junk“-Daten:
- Erstens, kurze und sehr populäre Beiträge mit weniger als 30 Wörtern, die viele „Likes“ oder „Shares“ erhielten.
- Zweitens, Inhalte mit geringer inhaltlicher Qualität, die oft übertriebene Themen oder auffällige Sprache beinhalteten.
Ergebnisse der Studie
Die Ergebnisse waren eindeutig: Je höher der Anteil dieser minderwertigen Daten, desto mehr verschlechterten sich die Modelle. Besonders bei Aufgaben, die logisches Denken erforderten, sank die Leistung drastisch. Auch das Textverständnis litt erheblich. Ein weiteres besorgniserregendes Ergebnis war, dass einige Modelle ungewollt „dunkle“ Persönlichkeitsmerkmale wie Narzissmus oder Psychopathie entwickelten.
Empfehlungen der Studie
Die Studie empfiehlt, die Qualität der Trainingsdaten aus dem Internet strenger zu kontrollieren und regelmäßig die „kognitive Gesundheit“ von Sprachmodellen zu überprüfen. Trotz einiger Maßnahmen zur Schadensbegrenzung bleiben die negativen Effekte von „Junk“-Daten bestehen, was auf die tief verwurzelten Probleme in den Modellen hinweist. Diese Erkenntnisse verdeutlichen, wie wichtig die sorgfältige Auswahl von Trainingsdaten für die langfristige Leistungsfähigkeit von KI-Systemen ist.
Quellen
- Quelle: US-Universitäten
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
