Eine Studie der Johns Hopkins University zeigt, dass KI mit mehr Rechenzeit präziser wird und erkennt, wann sie besser schweigen sollte.
In Kürze
- KI-Modelle zeigen verbesserte Genauigkeit mit mehr Rechenzeit
- Neues Bewertungsmodell hinterfragt bisherige Annahmen über KI
- Empfehlung für breitere Testverfahren zur Analyse von KI-Fähigkeiten
Neue Perspektiven auf Künstliche Intelligenz und deren Fähigkeit zur Selbsterkennung
Eine aktuelle Studie der Johns Hopkins University bringt neue Perspektiven in die Diskussion über Künstliche Intelligenz (KI) und deren Fähigkeit, eigene Grenzen zu erkennen. Das Forschungsteam hat ein neues Bewertungsmodell entwickelt, das zeigt, dass KI mit mehr Rechenzeit nicht nur präziser wird, sondern auch erkennt, wann es besser ist, keine Antwort zu geben. Dieser Ansatz stellt die bisherigen Annahmen über KI in Frage.
Untersuchung von Sprachmodellen
In den Tests wurden zwei Sprachmodelle eingehend untersucht. Die Forscher variierten die Rechenzeit und beobachteten, wie die Modelle auf mathematische Aufgaben reagierten. Das Ergebnis? Mit mehr Rechenzeit stieg die Genauigkeit der Antworten. Die Modelle zeigten ein bemerkenswertes Verständnis dafür, dass es manchmal klüger ist, zu schweigen, anstatt eine falsche Antwort zu liefern.
Analyse von Risikoszenarien
Die Studie analysierte drei Risikoszenarien:
- Eines ohne Strafen
- Eines mit ausgewogener Belohnung und Strafe
- Eines mit hohen Strafen für Fehler
Besonders das Modell DeepSeek R1-32B überzeugte bei strengen Anforderungen und schnitt besser ab als sein Pendant. Diese Erkenntnisse wurden erst durch das neue Testverfahren sichtbar, was die Relevanz der Methodik unterstreicht.
Empfehlungen für zukünftige Testverfahren
Die Forscher weisen jedoch darauf hin, dass ihre Methode nicht alle Unsicherheiten abdeckt und sich bisher nur auf mathematische Aufgaben in Englisch konzentrierte. Sie empfehlen, zukünftige Testverfahren breiter zu gestalten, um Entwicklern ein umfassenderes Bild der Fähigkeiten ihrer Systeme in verschiedenen Szenarien zu bieten. Ein vielversprechender Ausblick auf die Weiterentwicklung von KI und deren Einsatzmöglichkeiten!
Quellen
- Quelle: Johns Hopkins University
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
