Ein KI-System hat erfolgreich eine wissenschaftliche Arbeit verfasst und den Peer-Review-Prozess bestanden. Doch es gibt eine überraschende Wendung!
In Kürze
- KI-System formuliert Hypothese und verfasst Paper
- Paper wurde nach Peer-Review zurückgezogen
- Fehler im Zitieren von Quellen entdeckt
Ein KI-System, das wissenschaftliche Arbeiten verfasst
Das klingt nach Science-Fiction, ist aber Realität! Das von Sakana AI entwickelte System „The AI Scientist-v2“ hat kürzlich eine vollständige wissenschaftliche Arbeit für die International Conference on Learning Representations (ICLR) erstellt. Und das Beste daran: Das AI-generierte Paper hat den Peer-Review-Prozess der Konferenz erfolgreich durchlaufen.
Wie hat das Ganze funktioniert?
Das System hat eigenständig eine wissenschaftliche Hypothese formuliert, Experimente vorgeschlagen, den notwendigen Code geschrieben und schließlich das Manuskript verfasst. Die menschlichen Beteiligten waren lediglich dafür zuständig, das Thema vorzugeben und die vielversprechendsten Arbeiten auszuwählen. Eine beeindruckende Leistung, die zeigt, wie weit die Technologie bereits fortgeschritten ist.
Die Wendung der Geschichte
Doch die Geschichte hat eine Wendung: Das eingereichte Paper, das sich mit Techniken zur Verbesserung von neuronalen Netzwerken beschäftigte, wurde nach dem erfolgreichen Peer-Review wieder zurückgezogen. Warum? Im Rahmen eines vorher festgelegten wissenschaftlichen Experiments, da die Community noch keine klaren Regeln für den Umgang mit von KI generierten wissenschaftlichen Veröffentlichungen hat. Ein kluger Schachzug, um die aktuellen Herausforderungen und den Umgang mit KI in der Wissenschaft zu beleuchten.
Kooperation und Ergebnisse
Das Experiment war eine Kooperation mit der Konferenzleitung der ICLR und den Workshop-Organisatoren. Insgesamt wurden drei KI-generierte Arbeiten eingereicht, wobei eines mit einer Bewertung von 6,33 die Annahmeschwelle des Workshops knapp überschritt. Allerdings räumt Sakana AI ein, dass keines der Papiere die Kriterien für eine Annahme bei der Hauptkonferenz erfüllt hätte, wo die Konkurrenz deutlich härter ist.
Herausforderungen für KI-Systeme
Ein weiterer interessanter Aspekt: Bei der internen Überprüfung wurden Fehler im Zitieren von Quellen festgestellt. So wurde beispielsweise ein bekanntes neuronales Netzwerk fälschlicherweise den falschen Forschern zugeschrieben. Das zeigt, dass auch KI-Systeme wie The AI Scientist-v2 noch mit typischen Herausforderungen moderner Sprachmodelle zu kämpfen haben.
Zukunft der KI in der Wissenschaft
Die Entwicklungen rund um KI in der Wissenschaft sind spannend und werfen viele Fragen auf. Wie wird sich der Umgang mit KI-generierten Inhalten in Zukunft gestalten? Das bleibt abzuwarten, aber eines ist sicher: Die Diskussion darüber hat gerade erst begonnen.
Quellen
- Quelle: Sakana AI
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
