Das chinesische Unternehmen Rednote hat mit dots.llm1 ein innovatives KI-Modell vorgestellt, das auf der Mixture-of-Experts-Architektur basiert.
In Kürze
- dots.llm1 wählt relevante Experten für Anfragen aus
- Training ausschließlich mit echten Texten aus dem Internet
- Rednote plant internationale Expansion und Börsengang
Einführung des neuen Open-Source-KI-Modells „dots.llm1“
Das chinesische Social-Media-Unternehmen Rednote hat mit „dots.llm1“ ein neues Open-Source-KI-Modell vorgestellt, das auf der Mixture-of-Experts-Architektur basiert. Diese innovative Herangehensweise ermöglicht es, aus einer Vielzahl von möglichen „Experten“ nur die relevantesten für spezifische Anfragen auszuwählen. Das spart nicht nur Ressourcen, sondern reduziert auch die benötigte Rechenzeit im Vergleich zu herkömmlichen Modellen, wie etwa denen von Alibaba.
Merkmale und Trainingsmethoden
Ein besonderes Merkmal von „dots.llm1“ ist, dass es ausschließlich mit echten Texten aus dem Internet trainiert wurde. Künstlich generierte Daten wurden dabei außen vor gelassen, was die Qualität der Trainingsdaten erheblich steigern soll. Rednote verfolgt eine dreistufige Methode zur Datenaufbereitung:
- Entfernung störender Elemente von Webseiten
- Organisation der Inhalte in verschiedene Kategorien
So wird sichergestellt, dass das Modell mit hochwertigen und relevanten Informationen gefüttert wird.
Testergebnisse und Fähigkeiten
In ersten Tests zeigt „dots.llm1“ beeindruckende Ergebnisse, insbesondere beim Verständnis der chinesischen Sprache, wo es sogar einige Konkurrenzmodelle übertrifft. Im Bereich des englischen Sprachverständnisses bleibt es jedoch hinter den führenden Modellen zurück. Auch bei Mathematik-Tests erzielt das Modell gute, aber nicht herausragende Ergebnisse. Besonders hervorzuheben ist die Fähigkeit von „dots.llm1“, Code zu generieren, wo es in einigen Fällen bessere Resultate als seine Mitbewerber liefert.
Zukunftspläne von Rednote
Rednote hat große Pläne für die Zukunft des Modells. Das Unternehmen möchte „dots.llm1“ der globalen Forschungsgemeinschaft zugänglich machen und plant, Zwischenstände des Trainings offen zu legen. Diese Strategie zielt darauf ab, international zu expandieren, insbesondere nachdem die Nutzerzahlen außerhalb Chinas zuletzt rückläufig waren. Zudem steht ein Börsengang für dieses Jahr auf der Agenda, was die Ambitionen von Rednote weiter untermauert.
Quellen
- Quelle: Rednote
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
