Der beliebte KI-Dienst ChatGPT gibt 52 % falsche Antworten auf Programmierfragen.
Darüber es sagt in einer Studie der Purdue University, die kürzlich auf der Computer-Human Interaction-Konferenz vorgestellt wurde.
Die Studie untersuchte über 517 Fragen zu Stack Overflow.
„Wir haben festgestellt, dass 52 % der ChatGPT-Antworten Fehlinformationen enthalten, 77 % der Antworten ausführlicher sind als menschliche Antworten und 78 % der Antworten unterschiedliche Grade an Inkonsistenz aufweisen“, schrieben sie.
Besonders besorgniserregend ist, dass viele Programmierer ChatGPT für Beratungen nutzen. Die Forscher fanden heraus, dass 35 % ChatGPT bevorzugten und 39 % keine Fehler bemerkten.
„Weitere halbstrukturierte Interviews zeigten, dass höfliche Sprache, lehrbuchartige und umfassende Antworten einige der Hauptgründe waren, die ChatGPT-Antworten überzeugender machten, sodass die Teilnehmer dazu neigten, ihm zu vertrauen“, schrieben die Forscher.
Lesen Sie auch
Beachten Sie, dass der Stack Overflow-Verkehr in den letzten anderthalb Jahren um etwa 35 % zurückgegangen ist. Und nach der Veröffentlichung des KI-Chats ChatGPT begann ein spürbarer Rückgang. Als Reaktion darauf kündigte Stack Overflow OverflowAI an, eine Reihe von Funktionen, die auf künstlicher Intelligenz basieren.
Darüber hinaus hat Stack Overflow sogar beschlossen, die Verwendung von ChatGPT auf der Plattform zu verbieten, da es Zweifel an der Richtigkeit solcher Antworten hegt.
Dies half jedoch nicht und Stack Overflow entließ 28 % seiner Mitarbeiter.