Ein neues Verfahren des MIT ermöglicht KI-Modellen, eigenständig Trainingsdaten zu erstellen und so ihre Leistung zu steigern.
In Kürze
- SEAL generiert selbstständig nützliche Trainingsdaten
- Übertrifft andere Modelle in Tests
- Bekämpft das Problem des katastrophalen Vergessens
Einführung in SEAL: Ein Neues Verfahren des MIT
Ein Forschungsteam des Massachusetts Institute of Technology (MIT) hat ein spannendes neues Verfahren namens SEAL entwickelt, das KI-Modelle wie ChatGPT in die Lage versetzt, eigenständig neue Trainingsdaten zu generieren. Das klingt nach Science-Fiction, ist aber Realität!
Der Prozess von SEAL
Schritt 1: Selbstkorrekturen durch Belohnungssystem
Der Prozess von SEAL ist in zwei Schritte unterteilt. Zunächst lernt das Modell, nützliche Selbstkorrekturen in natürlicher Sprache zu erstellen, und zwar durch ein Belohnungssystem. Diese selbst erzeugten Informationen dienen dann als Grundlage für weitere Optimierungen.
Testergebnisse und Vergleich
In Tests hat SEAL beeindruckende Ergebnisse erzielt, insbesondere im Vergleich zu anderen Methoden. So schnitt es bei der Textanalyse mit dem Modell Qwen2.5-7B und beim logischen Denken mit Llama 3.2-1B besser ab als Modelle, die mit GPT-4.1 trainiert wurden, obwohl SEAL auf kleinere Modelle zurückgreift.
Herausforderungen und Lösungen
Ein zentrales Problem, das SEAL anpackt, ist das sogenannte „katastrophale Vergessen“. Dabei vergisst ein Modell oft, was es gelernt hat, wenn es neue Informationen aufnimmt. Auch der hohe Rechenaufwand bleibt eine Herausforderung. Trotzdem könnte SEAL eine Lösung für die sogenannte „Datenmauer“ bieten – den Punkt, an dem menschlich generierte Textdaten zur Neige gehen.
Perspektiven für die Zukunft
Die Entwicklung von SEAL könnte den Weg für KI-Systeme ebnen, die autonom lernen und flexibel auf neue Anforderungen reagieren können. Das eröffnet spannende Perspektiven für die Zukunft der Künstlichen Intelligenz!
Quellen
- Quelle: MIT-Forschungsgruppe
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
