Eine neue Studie von Forschern der Purdue University hat herausgefunden, dass 52 Prozent der Antworten von chatgpt auf Programmieranfragen voller Fehlinformationen waren. Trotzdem war es wahrscheinlicher, dass die Leute den Antworten vertrauten, weil sie die Anwendung als so verdammt höflich und wortgewandt empfanden. Es ist der Buster Scruggs der KI.

Das Team untersuchte ChatGPTs Versuche, 517 Programmierfragen zu beantworten. Über die Hälfte der Antworten des Chatbots enthielten irreführende Informationen. Die Antworten von ChatGPT waren im Vergleich zu von Menschen erstellten Lösungen auch deutlich wortreicher (77 Prozent). Darüber hinaus stellten die Forscher Inkonsistenzen zwischen den Antworten von ChatGPT und denen menschlicher Programmierer fest.

Eine Analyse von 2.000 zufällig ausgewählten ChatGPT-Antworten offenbarte auch einen deutlichen stilistischen Fingerabdruck: eine formellere, analytischere Sprache ohne „negative Stimmung“.„ Die Forscher vermuten, dass dieser nichtssagende, übermäßig optimistische Ton ein Merkmal der KI-Kommunikation ist, der oft die Nuancen und das kritische Denken fehlen, die in menschlichen Antworten stecken.

Trotz der hohen Fehlerquote ergab eine kleine Umfrage der Forscher, dass eine beträchtliche Anzahl von Programmierern (35 Prozent) die Antworten von ChatGPT tatsächlich bevorzugte. Die Teilnehmer erkannten auch fast 40 Prozent der von der KI generierten Fehler nicht.

„Die Folgeinterviews zeigten, dass die höfliche Sprache, die klar formulierten Antworten im Lehrbuchstil und die Vollständigkeit einige der Hauptgründe dafür waren, dass die Antworten von ChatGPT überzeugender wirkten“, stellten die Forscher fest. Im Wesentlichen ließen die Programmierer aufgrund des angenehmen Auftretens von ChatGPT ihre Abwehr sinken und übersahen die grundlegenden Ungenauigkeiten in seinen Antworten.