Eine neue Studie enthüllt, dass erfahrene Open-Source-Entwickler mit KI-Tools langsamer arbeiten, als sie denken.
In Kürze
- Entwickler benötigen 19% mehr Zeit mit KI-Tools
- Erwartete Zeitersparnis von 24% bleibt aus
- Neue Bewertungsmethoden für KI-Tools gefordert
Studie des Forschungsinstituts METR sorgt für Aufsehen
Eine aktuelle Studie des Forschungsinstituts METR sorgt für Aufsehen in der Entwickler-Community. Sie zeigt, dass erfahrene Open-Source-Entwickler beim Einsatz von KI-Tools langsamer arbeiten, obwohl sie subjektiv das Gefühl haben, schneller zu sein. Die Untersuchung, die mit 16 Entwicklern durchgeführt wurde, hat ergeben, dass Aufgaben im Durchschnitt 19 Prozent länger dauern, wenn KI-Tools zum Einsatz kommen. Interessanterweise hatten die Entwickler ursprünglich eine Zeitersparnis von 24 Prozent erwartet.
Beispiel aus der Studie: Entwickler Quentin Anthony
Ein Beispiel aus der Studie ist der Entwickler Quentin Anthony, der es geschafft hat, seine Arbeitszeit um beeindruckende 38 Prozent zu verkürzen. Er warnt jedoch davor, dass viele seiner Kollegen KI-Tools wie eine „Wunderwaffe“ betrachten, was oft zu ineffizienten Arbeitsweisen führt. Anthony hebt hervor, dass große Sprachmodelle, auch bekannt als LLMs, nicht für alle Aufgaben geeignet sind. Er empfiehlt, gezielt Modelle auszuwählen, die ihren Stärken entsprechen, um die Effizienz zu steigern.
Notwendigkeit neuer Bewertungsmethoden
Die Ergebnisse der Studie machen deutlich, dass es an der Zeit ist, neue Methoden zur Bewertung der tatsächlichen Leistungsfähigkeit von KI-Tools zu entwickeln. Die herkömmlichen Benchmarks scheinen oft nicht auszureichen, um die Realität abzubilden. Ein zentrales Problem ist, dass KI auch unerwartete Verzögerungen verursachen kann, besonders bei komplexen Projekten mit vielen Regeln. Dennoch gibt es Hoffnung: In neuen Projekten oder beim Prototyping könnten KI-Tools durchaus effektiv unterstützen und den Entwicklungsprozess bereichern.
Quellen
- Quelle: METR
- Der ursprüngliche Artikel wurde hier veröffentlicht
- Dieser Artikel wurde im Podcast KI-Briefing-Daily behandelt. Die Folge kannst du hier anhören.
