Es lohnt sich wahrscheinlich, sich daran zu erinnern, dass KI immer noch nicht unfehlbar ist. Weit gefehlt, selbst wenn wir einer Studie der Purdue University in Indiana Glauben schenken dürfen, die zu dem Schluss kam, dass chatgpt Computerprogrammierungsfragen in 52 % der Fälle falsch beantwortete. Autsch.
Die auf der Human-Computer Interaction Conference in Hawaii vorgestellte Studie analysierte 517 Programmierfragen von Stack Overflow, die dann von ChatGPT verarbeitet wurden. Die erstmals von Futurism gemeldeten Ergebnisse offenbaren erhebliche Genauigkeitsprobleme des Chatbots. „Unsere Analyse zeigt, dass 52 % der ChatGPT-Antworten falsche Informationen enthalten und 77 % wortreich sind.“, erklärt die Studie. Aber es gibt ein Problem, das vielleicht noch besorgniserregender ist: Trotz der zahlreichen Fehler von ChatGPT gaben 35 % der Teilnehmer (alle Entwickler) der Studie an, dass sie die Antworten von ChatGPT aufgrund ihrer Vollständigkeit und … ihrer gut formulierten Sprache bevorzugen. In 39 % der Fälle ignorierten die Programmierer sogar die falschen Antworten.
Diese Ergebnisse deuten darauf hin, dass KIs nicht bereit sind, Menschen für eine Reihe relativ komplexer Aufgaben wirklich zu ersetzen, aber das ist nicht unbedingt eine schlechte Nachricht, wenn es die KI-Giganten dazu bringen soll, ihr LLM besser zu überwachen und die Umsetzung der Selbstbewertung zu fördern Werkzeuge. Es sollte auch beachtet werden, dass diese Studie zu einem Zeitpunkt erfolgt, an dem Googles Gemini-KI vorgeworfen wird, zu viele absurde Antworten zu produzieren.
