Ein Wissenschaftler der University of Wisconsin-Stout führte eine Studie durch, in der er die Fähigkeit der heute bekanntesten Big-Language-Modelle bewertete, festzustellen, ob eine Nachricht wahr oder falsch ist. Wie die Arbeit zeigte, unterscheidet chatgpt Fake News am besten – dieses Modell konnte in mehr als 70 % der Fälle wahre oder falsche Nachrichten richtig klassifizieren.
Unsplash
Wir schelten ChatGPT wegen Fehlern, aber es leistet gute Arbeit bei der Unterscheidung von Fälschungen. Die Wahrheit ist schlimmer als der Mann.
Neuere Forschungen zu Large Language Models (LLMs) haben hauptsächlich ihre Fähigkeit getestet, gut geschriebene Texte zu erstellen, bestimmte Begriffe zu definieren, Aufsätze oder andere Dokumente zu schreiben und effizienten Computercode zu generieren. Allerdings haben diese Modelle das Potenzial, einer Person bei der Lösung anderer realer Probleme zu helfen, einschließlich der Identifizierung von Fake News und Fehlinformationen.
Kevin Matte Caramanción von der University of Wisconsin-Stout leitete lernenin dem er die Fähigkeit der berühmtesten LLMs von heute beurteilte, festzustellen, ob eine Nachricht wahr oder falsch ist.
„Wir haben die Leistung großer Sprachmodelle anhand eines Testsatzes von 100 verifizierten Fakten unabhängiger Faktenprüfagenturen bewertet.“ spricht Caramanción. „Wir präsentierten dem Modell jede dieser Nachrichten unter kontrollierten Bedingungen und ordneten ihre Antworten dann einer von drei Kategorien zu: Richtig, Falsch und Teilweise wahr/falsch. Die Wirksamkeit der Modelle wurde daran gemessen, wie genau sie die Nachrichten im Vergleich zu verifizierten Fakten unabhängiger Agenturen klassifizierten.“
WERBUNG – FORTSETZUNG UNTEN
Fake-News
Effizienz der Nachrichtenprüfung anhand verschiedener Modelle
GPT-4.0 erkannte Fälschungen in mehr als 70 % der Fälle.
Desinformation ist zu einem der größten Probleme der letzten Jahrzehnte geworden, da das Internet und soziale Netzwerke eine immer schnellere Verbreitung von Informationen ermöglichen, unabhängig davon, ob sie wahr oder falsch sind. Daher versuchen viele Wissenschaftler, bessere Tools und Plattformen zur Faktenprüfung zu entwickeln.
Trotz der vielen Instrumente, die bisher entwickelt und getestet wurden, fehlt noch immer ein allgemein akzeptiertes und zuverlässiges Modell zur Bekämpfung von Desinformation. Im Rahmen seiner Forschung wollte Caramanción herausfinden, ob bestehende LLMs dieses globale Problem wirksam angehen könnten.
Insbesondere bewertete er die Leistung von vier LLMs: Chat GPT-3.0 und Chat GPT-4.0 von Open AI, Bard/LaMDA von google und Bing AI von Microsoft. Caramanción zeigte diesen Modellen dieselben faktengeprüften Nachrichtenberichte und verglich dann ihre Fähigkeit, festzustellen, ob die Berichte wahr, falsch oder teilweise wahr/unwahr waren.
Caramanción sagt: „Wir haben festgestellt, dass GPT-4.0 von OpenAI die anderen Modelle übertraf, was auf Fortschritte bei neuen LLMs hinweist. Allerdings hinken alle Modelle den Faktenprüfern hinterher. Darin sucht der Mensch heute seinesgleichen.
Der Forscher sagt, seine Arbeit unterstreiche die Notwendigkeit, diese Modelle weiter zu verfeinern und ihre Fähigkeiten mit der Arbeit von Faktenprüfern zu kombinieren, wenn wir wollen, dass sie zur Faktenprüfung verwendet werden.
Artikel wird geladen…
