Derzeit sind sogenannte Halluzinationen – also das Erfinden plausibler, aber fiktiver Fakten durch ein KI-Tool – ein entscheidender Faktor, der einer breiteren Akzeptanz großer Sprachmodelle (LLM) wie chatgpt oder Gemini im Wege steht.

Diese Fehler können dazu führen, dass LLMs unzuverlässig werden. Forscher verweisen auf Beispiele eines US-amerikanischen Anwalts, der in rechtliche Schwierigkeiten geriet, weil er einen von ChatGPT erfundenen Fall zitierte. Auch bei der Verwendung in der medizinischen Diagnose kann es gefährlich sein.

MEHR LESEN: Mann des Stalkings durch „hartnäckiges Anklopfen an Türen“ beschuldigt von Jury freigesprochen

In einer neuen Studie, die heute veröffentlicht wurde in Naturdemonstrierten die Oxford-Forscher eine neue Methode, um festzustellen, wann ein LLM wahrscheinlich „halluziniert“.

Dieser Fortschritt könnte neue Möglichkeiten für den Einsatz von LLMs in Situationen eröffnen, in denen „Flüchtigkeitsfehler“ kostspielig sind, wie etwa bei der Beantwortung juristischer oder medizinischer Fragen.

Die Forscher konzentrierten sich auf Halluzinationen, bei denen die LLMs bei jeder Frage an das Tool unterschiedliche Antworten gaben – selbst wenn der Wortlaut identisch war – was als Konfabulieren bezeichnet wird.

Der Autor der Studie, Dr. Sebastian Farquhar, sagte: „LLMs sind in der Lage, dasselbe auf viele verschiedene Arten zu sagen, was es schwierig machen kann, zu erkennen, wann sie sich einer Antwort sicher sind und wann sie sich buchstäblich nur etwas ausdenken.“

„Mit früheren Ansätzen war es nicht möglich, zwischen einem Modell zu unterscheiden, das unsicher war, was es sagen sollte, und einem Modell, das unsicher war, wie es es sagen sollte.

„Aber unsere neue Methode überwindet dies.“