Eine neue Methode am MIT ermöglicht es großen Sprachmodellen, Rechenressourcen dynamisch anzupassen und effizienter zu arbeiten.
In Kürze
- LLMs passen Rechenleistung an die Komplexität von Aufgaben an
- Bis zu 50% weniger Rechenleistung ohne Genauigkeitsverlust
- Kooperationen mit IBM, Amazon und Google unterstützen die Forschung
Forscher am MIT entwickeln neue Methode zur Effizienzsteigerung von Sprachmodellen
Forscher am MIT haben eine spannende neue Methode entwickelt, die großen Sprachmodellen (LLMs) hilft, ihre Rechenressourcen effizienter zu nutzen. Bisher war es so, dass jedem Problem ein festes Budget an Rechenleistung zugewiesen wurde, unabhängig davon, wie komplex die Aufgabe war. Das führte oft dazu, dass die Modelle entweder viel Zeit mit einfachen Fragen verschwenden oder nicht genug Ressourcen für schwierige Aufgaben hatten.
Dynamische Anpassung der Berechnungsanstrengungen
Mit der neuen Technik können LLMs nun ihre Berechnungsanstrengungen dynamisch an die Schwierigkeit einer Frage anpassen. Das bedeutet, dass sie bis zu 50 Prozent weniger Rechenleistung benötigen, ohne dabei an Genauigkeit einzubüßen. Kleinere und weniger ressourcenintensive Modelle können bei komplexen Aufgaben genauso gut oder sogar besser abschneiden als ihre größeren Pendants.
Neues Kalibrierungsverfahren für „Process Reward Models“ (PRMs)
Ein weiterer interessanter Aspekt dieser Forschung ist das neu entwickelte Kalibrierungsverfahren für „Process Reward Models“ (PRMs). Dieses Verfahren hilft den Modellen, die Schwierigkeit einer Aufgabe realistischer einzuschätzen. Dadurch können sie ihre Rechenkraft gezielter einsetzen und den Energieverbrauch reduzieren. Besonders in Bereichen, in denen Zuverlässigkeit und Effizienz entscheidend sind, wie bei zeitkritischen Prozessen oder komplexen KIs, könnten diese Fortschritte von großem Nutzen sein.
Zukunftsperspektiven und Kooperationen
Die MIT-Forscher sind überzeugt, dass ihre Arbeit auch dazu beitragen könnte, LLMs und ähnliche KI-Modelle in Zukunft adaptiver zu machen. Das bedeutet, dass diese Systeme besser lernen und sich selbst weiterentwickeln könnten – ähnlich wie menschliche Mitarbeiter. Ein Schritt in Richtung KIs, die sich in neuen Situationen sicher bewegen und konsistente Ergebnisse liefern können. Unterstützt wird die Forschung des MIT-Teams durch Kooperationen mit großen Unternehmen wie IBM, Amazon und Google.
Quellen
- Quelle: Massachusetts Institute of Technology
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
