Ein großes Verkaufsargument für den Einsatz von generativen KI-Chatbots wie Copilot, Gemini und ChatGPT ist, dass sie Zeit sparen, indem sie Fragen zu Codierung und Programmierung schneller beantworten, als dies bei der Beantwortung derselben Fragen durch Menschen möglich wäre. Ein aktueller Bericht behauptet jedoch, dass ChatGPT viele falsche Antworten auf Programmierfragen gibt.

In einem Bericht, der Anfang Mai im Rahmen der Konferenz zur Computer-Mensch-Interaktion (über Gizmodo) hat ein Forschungsteam der Purdue University 517 Fragen von Stack Overflow überprüft, die zur Beantwortung an ChatGPT gesendet wurden.

Das Team der Purdue University berichtete, dass ChatGT in sage und schreibe 52 Prozent der Fälle falsche Antworten auf diese Programmierfragen gab.

Während es von einem KI-Chatbot vielleicht nicht anders zu erwarten ist, dass er falsche Antworten auf Fragen gibt, ging das Team der Perdue University noch weiter und gab an, dass menschliche Programmierer in 35 Prozent der Fälle die Antworten von ChatGPT bevorzugten, „aufgrund ihrer Vollständigkeit und ihres klar artikulierten Sprachstils“. Schlimmer noch: In 39 Prozent der Fälle verstanden die menschlichen Programmierer die Antworten von ChatGPT nicht.

Obwohl dies nur eine Studie zu einem Aspekt der Funktionen von ChatGPT ist, zeigt sie doch, dass generative KI-Bots immer noch dazu neigen, viele Fehler zu machen und dass Menschen diese Fehler möglicherweise nicht bemerken.

Die KI-Übersichten von google, die Anfang Mai in der US-Region für die Google-Suche eingeführt wurden, haben bereits seltsame und fehlerhafte Antwortzusammenfassungen für einige Suchzeichenfolgen generiert. Google hat versucht, diese offensichtlichen Fehler in Aussagen gegenüber Nachrichtenagenturen wie zu erklären Gizmodound erklärte:

Die Beispiele, die wir gesehen haben, sind im Allgemeinen sehr ungewöhnliche Abfragen und nicht repräsentativ für die Erfahrungen der meisten Leute. Die überwiegende Mehrheit der KI-Übersichten bietet qualitativ hochwertige Informationen mit Links, um im Web tiefer zu graben.

In der Erklärung hieß es weiter, Google werde diese „Einzelbeispiele“ nutzen, um „unsere Systeme zu verfeinern“.