Eine aktuelle Studie hat herausgefunden, dass von chatgpt generierte wissenschaftliche Zitate oft nicht der echten wissenschaftlichen Arbeit entsprechen. Die Studie wurde in der Canadian Psychological Association veröffentlicht Mindpadfanden heraus, dass die „Raten falscher Zitate“ in verschiedenen Teilbereichen der Psychologie zwischen 6 % und 60 % lagen. Überraschenderweise enthalten diese erfundenen Zitate Elemente wie legitime Forschernamen und ordnungsgemäß formatierte digitale Objektidentifikatoren (DOIs), die sowohl Studenten als auch Forscher leicht in die Irre führen könnten.
ChatGPT ist ein von OpenAI entwickeltes Sprachmodell für künstliche Intelligenz, das in der Lage ist, auf der Grundlage der empfangenen Eingaben menschenähnlichen Text zu generieren. Als Teil der größeren GPT-Reihe (Generative Pre-trained Transformer) wurde ChatGPT anhand einer großen Menge an Textdaten trainiert, sodass kohärente Antworten zu verschiedenen Themen generiert werden können. Diese Fähigkeit stellt jedoch auch gewisse Herausforderungen dar, insbesondere in Kontexten, die eine hohe Genauigkeit und Zuverlässigkeit erfordern, wie beispielsweise beim wissenschaftlichen Schreiben.
Da KI-Tools wie ChatGPT immer zugänglicher und weit verbreiteter werden, wächst die Besorgnis über ihre Auswirkungen auf die akademische Integrität. Insbesondere die Fähigkeit des Tools, Informationen zu „halluzinieren“ – also plausible, aber nicht existierende Zitate zu generieren – stellt ein erhebliches Risiko dar.
„Anfangs war ich daran interessiert, Möglichkeiten zu finden, die ChatGPT-Nutzung in den von mir benoteten Schülerarbeiten zu identifizieren. Als ChatGPT veröffentlicht wurde, bemerkte ich, dass immer mehr Studenten über die Verwendung von ChatGPT sprachen und wie man es nutzt, ohne erwischt zu werden“, erklärte der Studienautor Jordan MacDonaldDoktorandin in Experimenteller Psychologie an der University of New Brunswick-Saint John.
„Ich nahm dies als Herausforderung an und begann, von ChatGPT Arbeiten zu verschiedenen Themen für mich vorbereiten zu lassen, um zu sehen, welche Fehler, wenn überhaupt, regelmäßig gemacht wurden. Da fiel mir auf, dass viele der von ChatGPT zitierten Referenzen tatsächlich nicht existierten.“
„Halluzinierte Zitate sind leicht zu erkennen, weil sie oft echte Autoren, Zeitschriften, korrekte Heft-/Bandnummern, die mit dem Veröffentlichungsdatum übereinstimmen, und DOIs enthalten, die legitim erscheinen. Wenn man sich die halluzinierten Zitate jedoch genauer anschaut, stellt man fest, dass sie sich auf Arbeiten beziehen, die es nicht gibt.“
„Die einzige Alternative zu einem großen Sprachmodell, das diese Zitate generiert, besteht darin, dass jemand manuell echte Autoren und echte Zeitschriftennamen (zusammen mit Heft- und Bandnummern) sammelt, einen gefälschten Titel erstellt und dann einen gefälschten DOI erstellt (der ein bestimmtes Format hat). und sehen normalerweise so aus: 10.1177/03057356211030985). Die Arbeit, die nötig wäre, um ein gefälschtes Zitat zusammenzustellen, würde die Arbeit übersteigen, die nötig wäre, um einfach ein echtes Zitat zu finden und die Arbeit selbst zu erledigen.“
Um die Genauigkeit von durch künstliche Intelligenz generierten Zitaten zu untersuchen, beauftragte MacDonald ChatGPT 3.5 mit der Generierung von 50 Zitaten für sechs psychologische Teilbereiche – Religion, Tier, Soziales, Klinik, Persönlichkeit und Neuropsychologie – insgesamt 300 Zitate.
Die Authentizität dieser Zitate wurde überprüft, indem ihre digitalen Objektidentifikatoren (DOIs) mit tatsächlichen Veröffentlichungen verglichen wurden. Wenn ein DOI nicht zu einem echten Dokument führte, wurde er als halluziniertes Zitat markiert. MacDonald untersuchte außerdem eine zufällige Auswahl sowohl halluzinierter als auch legitimer Zitate, um Unstimmigkeiten im Detail zu untersuchen.
MacDonald stellte fest, dass insgesamt 32,3 % der 300 von ChatGPT generierten Zitate halluziniert waren. Obwohl sie erfunden waren, enthielten diese halluzinierten Zitate scheinbar legitime Elemente – etwa echte Autoren, die in ihrem jeweiligen Fachgebiet anerkannt sind, ordnungsgemäß formatierte DOIs und Verweise auf legitime, von Experten begutachtete Fachzeitschriften.
Halluzinierte Zitate variierten je nach Unterfeld. ChatGPT halluzinierte beispielsweise nur drei Zitate im Zusammenhang mit der Neuropsychologie, halluzinierte jedoch 30 Zitate im Zusammenhang mit der Psychologie der Religionsforschung.
Selbst wenn die Zitate legitime DOIs enthielten, die korrekt auf echte Artikel umleiteten, deckte MacDonalds genauere Betrachtung interessanterweise oft Unstimmigkeiten auf. Die zitierten Artikel stimmten nicht immer mit den von ChatGPT bereitgestellten Titeln, Autoren oder Themen überein. Beispielsweise könnte ein DOI zu einem echten Artikel zu einem völlig anderen Thema führen als dem, den ChatGPT beschrieben hat.
„Das Ausmaß der Halluzination hat mich überrascht“, sagte MacDonald gegenüber PsyPost. „Fast jedes einzelne Zitat enthielt halluzinierte Elemente oder war einfach völlig gefälscht, aber ChatGPT bot Zusammenfassungen dieser gefälschten Forschung, die überzeugend und gut formuliert waren.“
„Mit zunehmender Verfeinerung von ChatGPT wird dieser Fehler meiner Meinung nach seltener auftreten, aber meines Wissens sind Zitier- und Informationshalluzinationen bei der Entwicklung von Sprachmodellen ein kniffliges Problem. Zumindest sind halluzinierte Zitate leicht zu identifizieren und ein wahrscheinlicher Indikator für die Verwendung von ChatGPT (oder einem anderen großen Sprachmodell).
Darüber hinaus stellte MacDonald fest, dass ChatGPT wissenschaftliche Artikel genau zusammenfassen konnte, wenn der Benutzer sie mit korrekten und vollständigen Referenzen versorgte. Allerdings „halluzinierte“ das Modell, wenn man es sich selbst überließ, häufig sowohl den Inhalt als auch den Kontext der Zitate.
„Ich denke, viele Menschen sind sowohl besorgt als auch begeistert über die möglichen Vor- und Nachteile von ChatGPT“, sagte MacDonald. „Einer der Vorteile besteht darin, dass ChatGPT von denjenigen genutzt werden kann, die in einem bestimmten Bereich gut ausgebildet sind, um sehr aktuelle Literaturscans durchzuführen. Jemand, der sich in seinem Fachgebiet gut auskennt, kann ChatGPT möglicherweise vorteilhaft nutzen und gleichzeitig Fehler erkennen.
„Der Nachteil und die Kehrseite desselben Problems besteht darin, dass Studenten und die allgemeine Bevölkerung möglicherweise ChatGPT verwenden, um Informationen zu einem Thema bereitzustellen, ihnen aber das Wissen über dieses Thema fehlt, um falsche oder irreführende Informationen erkennen zu können.“
„ChatGPT und andere große Sprachmodelle haben definitiv viele Vorteile, stecken aber offensichtlich noch in den Kinderschuhen“, erklärte MacDonald. „Ich denke, der Durchschnittsmensch sollte bei der Nutzung von ChatGPT genauso vorsichtig sein, wie er bei der Krebsdiagnose von Dr. Google vorsichtig sein sollte.“
„Ich denke, dass Pädagogen wissen sollten, dass ungültige Referenzen eine vernünftige Möglichkeit zu sein scheinen, KI-generierte Arbeit zu identifizieren Aber Es ist auch kein eindeutiger Beweis. Studierende können ChatGPT nutzen, um bei einer ersten Literaturrecherche zu helfen und dann selbst eine Arbeit zu schreiben. Das Ausmaß des Fehlverhaltens kann unterschiedlich sein.“
Wie bei allen Forschungsarbeiten sind auch bei der Studie einige Vorbehalte zu berücksichtigen. Der Umfang der Studie war auf eine Version von ChatGPT und einen bestimmten Satz psychologischer Teilbereiche beschränkt, und die Art der KI-Entwicklung bedeutet, dass neuere Versionen von ChatGPT möglicherweise nicht die gleichen Muster halluzinierter Zitate aufweisen.
„ChatGPT entwickelt sich weiter und meine Ergebnisse werden in zukünftigen Versionen möglicherweise nicht mehr im gleichen Maße genau sein“, bemerkte MacDonald und fügte hinzu: „Dies ist nicht mein Hauptforschungsgebiet, aber ich beabsichtige, weiterhin Wege zu finden, Plagiate oder akademisches Fehlverhalten mithilfe von ChatGPT zu identifizieren.“ oder andere große Sprachmodelle. Ich hoffe, dass diese Modelle so trainiert werden, dass Schüler sie nicht missbrauchen.“
Die Studie, „Alter, wo sind meine Zitate? ChatGPTs Halluzination von Zitaten„, wurde in der Winterausgabe 2023 von veröffentlicht Mindpad.
