Laut einer von Forschern der Purdue University durchgeführten Studie wurde festgestellt, dass das Sprachmodell von OpenAI, chatgpt, Software-Engineering-Fragen in etwa 52 Prozent der Fälle falsch beantwortet. Trotz seiner Beliebtheit mangelte es an gründlichen Untersuchungen zur Genauigkeit und Benutzerfreundlichkeit der Antworten von ChatGPT im Kontext von Software-Engineering-Anfragen. Um diese Lücke zu schließen, analysierten die Forscher 517 Fragen von Stack Overflow, die von ChatGPT beantwortet wurden.

Die Analyse ergab, dass 52 Prozent der Antworten von ChatGPT Ungenauigkeiten enthielten, während 77 Prozent übermäßig ausführlich waren. Interessanterweise wurde festgestellt, dass 54 Prozent der Fehler auf das mangelnde Verständnis von ChatGPT für die Konzepte in den Fragen zurückzuführen waren. Selbst wenn es die Fragen verstand, zeigte es oft kein Verständnis dafür, wie die gestellten Probleme gelöst werden sollten, was zu einer hohen Anzahl konzeptioneller Fehler führte.

Darüber hinaus stellten die Forscher eine Einschränkung der Denkfähigkeit von ChatGPT fest. In vielen Fällen stellte ChatGPT Lösungen, Code oder Formeln bereit, ohne die möglichen Ergebnisse vollständig zu berücksichtigen. Während schnelles Engineering und Human-in-the-Loop-Feinabstimmung teilweise dabei helfen können, ChatGPT zu untersuchen, um Probleme zu verstehen, reichen sie nicht aus, um Argumente in das Sprachmodell einzubauen.

Die Studie identifizierte auch andere Qualitätsprobleme mit ChatGPT, wie Ausführlichkeit und Inkonsistenz in den Antworten. Die manuelle Analyse ergab eine erhebliche Anzahl konzeptioneller und logischer Fehler in den von ChatGPT bereitgestellten Antworten. Die sprachliche Analyse ergab, dass die Antworten von ChatGPT typischerweise formell waren und selten negative Gefühle vermittelten.

Trotz der Ungenauigkeiten und Qualitätsprobleme bevorzugten die Benutzer aufgrund des umfassenden und klaren Sprachstils immer noch in etwa 39,34 Prozent der Fälle die Antworten von ChatGPT. Die Forscher betonen jedoch die Bedeutung einer gründlichen Fehlerkorrektur in ChatGPT sowie die Notwendigkeit, Benutzer über die potenziellen Risiken aufzuklären, die mit scheinbar genauen Antworten verbunden sind.

Insgesamt beleuchtet die Studie die Einschränkungen und Verbesserungsmöglichkeiten bei der Verwendung von ChatGPT für Software-Engineering-Anfragen.