In den frühen 2000er Jahren konnten Computer-Hobbyisten jeden der fast 700 Barnes and Noble-Buchhandlungen betreten und einen Gang nach dem anderen voller Handbücher zu Programmierung, Codierung, Design, dem Internet und praktisch jedem anderen Thema finden, das auch nur entfernt mit Computer zu tun hatte. Zahlreiche Zeitschriften ergänzten diesen Zufluchtsort für Computersüchtige.

Diese Zeilen sind seitdem aufgrund der Art und Weise, wie Benutzer heutzutage an Informationen gelangen, so gut wie verschwunden. Digitale Bücher und Internetressourcen haben diese Bücherstapel weitgehend ersetzt.

Eine wichtige Ressource, die zum Rückgang beigetragen hat, ist Stack Overflow, eine hoch angesehene Online-Community mit 20 Millionen registrierten Benutzern, die Ratschläge und Lösungen für Fragen zu allen Aspekten der Programmierung austauschen. Seit seiner Einführung im Jahr 2008 haben die Teilnehmer mehr als 24 Millionen Fragen gestellt und mehr als 35 Millionen Antworten erhalten.

Doch die viel bewunderte Website musste dieses Jahr einen Rückschlag einstecken, da sie der zunehmenden Beliebtheit von Chatbots wie ChatGPT zum Opfer fiel, obwohl Stack Overflow für viele immer noch eine unverzichtbare Ressource ist.

Ein Analyseunternehmen berichtete im Mai, dass Stack Overflow seit Jahresbeginn mehrere Monate in Folge einen Traffic-Rückgang von durchschnittlich 6 % erlitten habe. Im April gab es einen Rückgang um 17,7 % gegenüber den Zahlen vom März.

Sind Abtrünnige, die in Scharen zu ChatGPT strömen, ein kluger Schachzug?

Laut einer neuen Studie der Purdue University mit dem Titel „Who Answers It Better? An In-Depth Analysis of ChatGPT and Stack Overflow Answers to Software Engineering Questions“ ist dies möglicherweise nicht die beste Entscheidung.

Die Forscher fanden heraus, was viele bereits vermutet hatten: Eine beträchtliche Anzahl der Antworten von ChatGPT auf Programmierfragen waren ungenau oder völlig falsch. Als die Probanden jedoch gebeten wurden, die Antworten von Stack Overflow und ChatGPT zu vergleichen, gaben ironischerweise 40 % an, dass sie die Antworten von ChatGPT bevorzugten. Warum? Aufgrund der „Vollständigkeit“ und des überzeugenden „artikulierten Sprachstils“ der Antworten von ChatGPT.

Forscher sagten, dass 52 % der 512 ChatGPT-Antworten auf Fragen falsch waren. Beunruhigenderweise waren 77 % der von den Testteilnehmern bevorzugten Antworten falsch.

Selbst wenn die Antworten von ChatGPT offensichtlich falsch waren, zogen 2 von 12 Probanden die Antworten von ChatGPT den Antworten von Stack Overflow vor.

Laut Samia Kabir, einer der Autoren des Papiers, „ignorierten die Teilnehmer die Unrichtigkeit, als sie die Antwort von ChatGPT als aufschlussreich empfanden. Die Art und Weise, wie ChatGPT souverän aufschlussreich vermittelt.“ [even if incorrect] Informationen gewinnen das Vertrauen der Benutzer, was dazu führt, dass sie die falsche Antwort bevorzugen.“

„Es ist offensichtlich, dass höfliche Sprache, artikulierte und lehrbuchartige Antworten, Vollständigkeit und Zugehörigkeit der Antworten völlig falsche Antworten als richtig erscheinen lassen“, sagte Kabir.

Die Forscher stellten fest, dass große Sprachmodelle das Potenzial haben, alte Methoden zur Beschaffung von Programmierinformationen auf den Kopf zu stellen. Benutzer, die Hilfe suchen, erhalten auf Websites wie Stack Overflow wertvolles Feedback von einer Expertengemeinschaft. Bei diesen Websites kann es jedoch oft stunden- oder tagelang dauern, bis Lösungen gefunden werden.

ChatGPT kann komplexe Codierungsanweisungen in Sekundenschnelle liefern und führt eine menschenähnliche Konversation, um Fragen eingehend zu untersuchen.

Aber das Wissen um die Fähigkeit von Chatbots, fehlerhafte Informationen zu erfassen und zu verbreiten, „birgt Risiken für nicht fachkundige Endbenutzer, denen die Mittel fehlen, um sachliche Inkonsistenzen zu überprüfen“, sagte Kabir.

Die Besorgnis über die Möglichkeit, Informationspools mit falschen Daten zu verunreinigen, veranlasste Stack Overflow Anfang des Jahres dazu, jegliche von ChatGPT erhaltene Antwort zu sperren.

Die Purdue-Forscher bezeichneten das Überwiegen falscher Antworten als „alarmierend“. Sie forderten ChatGPT dazu auf, über den kurzen Haftungsausschluss, den es in jeder Antwort veröffentlicht, hinauszugehen und Benutzer auf mögliche Fehler hinzuweisen und ein Maß an Unrichtigkeit und Unsicherheit anzugeben.

„Es muss unbedingt untersucht werden, wie der Grad der Unrichtigkeit der Antworten kommuniziert werden kann“, sagten die Forscher in ihrem Bericht, der auf dem Preprint-Server veröffentlicht wurde arXiv am 10. August.

„KI ist am effektivsten, wenn sie von Menschen überwacht wird“, fügt der Bericht hinzu. „Deshalb fordern wir den verantwortungsvollen Einsatz von ChatGPT, um die Produktivität von Mensch und KI zu steigern.“