Eine weitverbreitete Binsenweisheit unter Statistikern ist, dass „die Daten nicht lügen“. Jüngste Erkenntnisse italienischer Forscher könnten jedoch diejenigen, die Daten studieren, dazu veranlassen, zweimal darüber nachzudenken, bevor sie solche Annahmen treffen.

Giuseppe Giannaccare, ein Augenchirurg an der Universität von Cagliari in Italien, berichtet, dass ChatGPT Unmengen überzeugender gefälschter Daten heraufbeschworen hat, um einen chirurgischen Eingriff am Auge einem anderen vorzuziehen.

„GPT-4 hat innerhalb weniger Minuten einen gefälschten Datensatz von Hunderten von Patienten erstellt“, sagte Giannaccare. „Das war eine überraschende – und doch beängstigende – Erfahrung.“

Es gab unzählige Geschichten über die großen Erfolge und das Potenzial von ChatGPT, seit das Modell vor einem Jahr der Welt vorgestellt wurde. Aber neben den positiven Aspekten gab es auch Geschichten darüber, dass ChatGPT fehlerhafte, ungenaue oder völlig falsche Informationen produzierte.

Erst diesen Monat erklärte das Cambridge Dictionary „Halluzinieren“, die Tendenz großer Sprachmodelle, spontan falsche Informationen zu produzieren, zum Wort des Jahres.

Für Studierende, die eine Hausarbeit recherchieren, sind solche falschen Daten ein Ärgernis. Sie könnten eine nicht bestandene Note erhalten. Für zwei Anwälte, die sich im vergangenen Frühjahr unabsichtlich auf ChatGPT verlassen hatten, um Fallgeschichten zu erstellen, die sich als Fälschungen herausstellten, betrug die Strafe eine Geldstrafe von 5.000 US-Dollar und gerichtliche Sanktionen.

Da es jedoch Hinweise darauf gibt, dass gefälschte Daten in medizinische Studien eindringen und medizinische Verfahren beeinflussen können, sind die Bedrohung und ihre Folgen weitaus ernster.

„Es war eine Sache, dass generative KI zur Generierung von Texten genutzt werden könnte, die mit Plagiatssoftware nicht erkennbar wären, aber die Fähigkeit, gefälschte, aber realistische Datensätze zu erstellen, ist ein weiterer Grund zur Sorge“, sagt Elisabeth Bik, Beraterin für Forschungsintegrität in San Francisco. „Es wird es jedem Forscher oder jeder Gruppe von Forschern sehr einfach machen, gefälschte Messungen an nicht existierenden Patienten zu erstellen, Antworten auf Fragebögen zu fälschen oder einen großen Datensatz zu Tierversuchen zu erstellen.“

Giannaccare und sein Team beauftragten GPT-4, verknüpft mit einem fortschrittlichen Python-basierten Datenanalysemodell, klinische Studiendaten für zwei Ansätze zur Behandlung einer häufigen Augenerkrankung, Keratokonus, zu generieren.

Das Modell wurde mit riesigen Mengen „sehr komplexer“ Eingabeaufforderungen gefüttert, die den Augenzustand, Probandenstatistiken und eine Reihe von Regeln zum Erreichen von Ergebnissen detailliert darlegten. Sie wiesen es dann an, bei einem Eingriff „deutlich bessere visuelle und topografische Ergebnisse“ zu erzielen als beim anderen.

Das Ergebnis war ein überzeugender Fall, der das favorisierte Verfahren unterstützte, jedoch auf völlig falschen Informationen basierte. Nach früheren realen Tests gab es keinen signifikanten Unterschied zwischen den beiden Ansätzen.

„Es scheint ziemlich einfach zu sein, Datensätze zu erstellen, die zumindest oberflächlich plausibel sind“, sagte Jack Wilkinson, Biostatistiker an der Universität Manchester, Großbritannien. Er sagte, dass die GTP-4-Ausgabe „für ein ungeübtes Auge sicherlich wie ein echter Datensatz aussieht“.

„Das Ziel dieser Forschung war es, Licht auf die dunkle Seite der KI zu werfen, indem gezeigt wurde, wie einfach es ist, Daten zu erstellen und zu manipulieren, um absichtlich voreingenommene Ergebnisse zu erzielen und falsche medizinische Beweise zu generieren“, sagte Giannaccare. „Eine Büchse der Pandora ist geöffnet, und wir wissen noch nicht, wie die wissenschaftliche Gemeinschaft auf die möglichen Missbräuche und Bedrohungen im Zusammenhang mit KI reagieren wird.“

Das Papier„Large Language Model Advanced Data Analysis Abuse to Create a Fake Data Set in Medical Research“, das in der Zeitschrift erscheint JAMA Ophthalmologieräumt ein, dass eine genauere Prüfung der Daten verräterische Anzeichen einer möglichen Fälschung aufdecken könnte. Ein solches Beispiel war die unnatürliche Anzahl hergestellter Subjektalter, die mit den Ziffern 7 oder 8 endeten.

Giannaccare sagte, dass KI auch bei der Entwicklung besserer Ansätze zur Betrugserkennung hilfreich sein könne, da die von KI generierten Ergebnisse Faktenstudien verunreinigen.

„Ein angemessener Einsatz von KI kann für die wissenschaftliche Forschung von großem Nutzen sein“, sagte er und fügte hinzu, dass dies „einen erheblichen Unterschied für die Zukunft der akademischen Integrität machen wird“.