Laut einer Studie amerikanischer Wissenschaftler ist es möglicherweise keine gute Idee, sich beim Schreiben von Programmen auf chatgpt zu verlassen. Die Wahrscheinlichkeit, einen von einem Bot generierten Code mit Fehlern zu erhalten, ist ungefähr so ​​groß wie die Wahrscheinlichkeit, beim Werfen einer Münze „Kopf“ zu bekommen. Aufgrund des angenehmen Tons und der Zuversicht, mit der der Chatbot das Material übermittelt, neigen Menschen dazu, diese Fehler zu übersehen.

ChatGPT schlägt ständig fehl

Der Chatbot ChatGPT gebe in mehr als der Hälfte der Fälle falsche Antworten auf Fragen zum Thema Programmierung, schreibt The Register unter Berufung auf die Ergebnisse einer Studie von Wissenschaftlern der Purdue University (Indiana, USA). Gleichzeitig werden selbst falsche Informationen der Idee von OpenAI von seinen Nutzern oft als zuverlässig wahrgenommen.

Das Forschungsteam analysierte die Antworten von ChatGPT auf 517 auf der beliebten Programmierplattform Stack Overflow gepostete Fragen auf Richtigkeit, Konsistenz, Vollständigkeit und Prägnanz. Die Spezialisten führten außerdem eine sprachliche und sentimentale Analyse (Tonalitätsanalyse) des vom Bot erstellten Textes durch.

Die Teilnehmer der Studie, eine Gruppe von 12 Personen mit unterschiedlichem Hintergrund in der Softwareentwicklung, wurden dann gezielt gebeten, zu bestimmen, welche der Antworten – gegeben von ChatGPT oder einer realen Person von der Stack Overflow-Plattform – richtig war.

Die Studie zeigte, dass in 52 % der Fälle die Antworten von ChatGPT auf Fragen zum Schreiben von Code Fehler enthielten. In 39,34 % der Fälle erwiesen sich diese Antworten (davon 77 % als ausführlich beschrieben) jedoch als ausreichend überzeugend für die Studienteilnehmer, da sie vollständig und klar formuliert waren.

ChatGPT wird geglaubt, auch wenn es eindeutig falsch ist

Aus einem Vorabdruck mit dem Titel „Who Answers It Better?“ „An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions“, veröffentlicht auf arxiv.org, zeigt außerdem, dass die Studienteilnehmer Fehler bei der Ausgabe des OpenAI-Chatbots nur dann erkennen konnten, wenn sie völlig offensichtlich waren.

In Fällen, in denen es jedoch zur Identifizierung eines Fehlers erforderlich war, auf die Dokumentation oder Entwicklertools (z. B. auf eine integrierte Entwicklungsumgebung; IDE) zurückzugreifen, um die Leistung des vorgeschlagenen Codefragments in der Praxis zu überprüfen, Die Studienteilnehmer konnten die Aufgabe oft gar nicht bewältigen oder neigten dazu, die Schwere des Fehlers zu unterschätzen.

Selbst in Situationen, in denen sich der Fehler in der ChatGPT-Antwort als schwerwiegend herausstellte, bevorzugten zwei der zwölf Teilnehmer der Studie Empfehlungen eines Bots gegenüber einem Stack Overflow-Benutzer. Laut den Autoren der wissenschaftlichen Arbeit ist dieses Verhalten der Versuchspersonen auf die Art und Weise zurückzuführen, wie das Material durch den Chatbot präsentiert wird. Die Teilnehmer der Studie waren beeindruckt von der Höflichkeit von ChatGPT, der Genauigkeit der von ihm verwendeten Formulierungen und seinem Engagement für einen wissenschaftlichen Redestil. Diese Stilmerkmale des vom Chatbot generierten Textes sowie die Länge der angebotenen Antworten überzeugten die Probanden von ihrer Richtigkeit.

Höflichkeit ist die beste Waffe eines Chatbots

Entsprechend Sami Kabir (Samia Kabir), Co-Autorin des Papiers, ist einer der Hauptgründe, warum Benutzer den ChatGPT-Antworten vertrauen, dass sie umfassend sind. Die Studienteilnehmer hatten nichts dagegen, einen langen und detaillierten Text zu lesen, wenn dieser wertvolle Informationen enthielt.

Die positive emotionale Farbe des vom Bot generierten Textes und seine Höflichkeit sind zwei weitere ebenso wichtige Faktoren, die die Wahl des Benutzers beeinflussen.

Schließlich weckt das Vertrauen, mit dem ChatGPT manchmal falsche Informationen präsentiert, das Vertrauen der Benutzer und führt dadurch dazu, dass sie die falsche Antwort wählen.

ChatGPT ist anfällig für konzeptionelle Fehler

Zu den weiteren interessanten Beobachtungen, die in der Arbeit aufgezeichnet wurden, gehört die Tendenz von ChatGPT, konzeptionelle Fehler und in viel geringerem Maße sachliche Fehler zu begehen, was darauf zurückzuführen ist, dass der Bot den Kontext der ihm gestellten Frage nicht versteht.

Im Mai 2023 schrieb CNews, dass ein amerikanischer Anwalt Stephen Schwartz (Steven Schwartz) nutzte ChatGPT, um Dokumente für eine Klage gegen Avianca vorzubereiten. Der Versuch, seine Arbeit mit Hilfe von Algorithmen zu vereinfachen, erwies sich für den Anwalt als Desaster – die Entwicklung von OpenAI lieferte ihm unzuverlässige Informationen, von denen ein erfahrener Anwalt nicht einmal wusste.

Gleichzeitig warnt OpenAI auf seiner offiziellen Website, dass ChatGPT „möglicherweise ungenaue Informationen über Personen, Orte und Fakten liefert“.

Was ist ChatGPT?

ChatGPT ist ein Chatbot mit künstlicher Intelligenz, der auf dem GPT-Sprachmodell basiert. Es ist seit November 2022 in Betrieb und gehört dem amerikanischen Unternehmen OpenAI, in das Microsoft investiert.

Im aktuellen Entwicklungsstadium ist ChatGPT in der Lage, Informationen in einer einfachen und verständlichen Form darzustellen und prägnante Antworten auf Fragen des Benutzers zu einem breiten Themenspektrum zu formulieren.

Im Dezember 2022 schrieb CNews, dass google ernsthafte Angst vor ChatGPT habe und befürchte, dass es dem Unternehmen in Zukunft einen erheblichen Teil seiner Werbeeinnahmen entziehen könnte.

Später stellte sich heraus, dass der Bot bereit war, beim Verfassen einer Abschlussarbeit zu helfen, die die Beglaubigungskommission einer russischen Universität zufriedenstellen würde und bei Studenten von Bildungseinrichtungen auf der ganzen Welt allgemein große Popularität erlangte.

Darüber hinaus ist das neuronale Netzwerk in der Lage, Software-Schwachstellen zu erkennen, Optionen zu deren Behebung anzubieten und sogar selbst Code zu schreiben, wenn auch alles andere als fehlerfrei. Anwendung von ChatGPT gefunden und Angreifer, die das Tool nutzen, um Malware zu erstellen und Phishing-Angriffe umzusetzen.