Es ist eines der am schlechtesten gehüteten Geheimnisse der Welt, dass große Sprachmodelle offensichtlich falsche Antworten auf Anfragen geben und dies mit einer Zuversicht, die nicht von der zu unterscheiden ist, wenn sie richtig liegen. Dafür gibt es eine Reihe von Gründen. Die KI könnte mit Fehlinformationen trainiert worden sein; die Antwort könnte eine Extrapolation von Fakten erfordern, zu der das LLM nicht in der Lage ist; oder ein Aspekt des Trainings des LLM könnte eine Falschaussage gefördert haben.

Die vielleicht einfachste Erklärung ist jedoch, dass ein LLM nicht erkennt, was eine richtige Antwort ist, sondern gezwungen ist, eine zu geben. Er erfindet also einfach etwas, eine Gewohnheit, die als Konfabulation bezeichnet wird.

Herauszufinden, wann ein LLM etwas erfindet, wäre offensichtlich von enormem Wert, wenn man bedenkt, wie schnell die Menschen begonnen haben, sich bei allem, von College-Aufsätzen bis hin zu Bewerbungen, auf sie zu verlassen. Forscher der Universität Oxford sagen nun, sie hätten eine relativ einfache Methode gefunden, um festzustellen, wann LLMs zu konfabulieren scheinen, die mit allen gängigen Modellen und über ein breites Spektrum von Themen hinweg funktioniert. Und indem sie dies tun, entwickeln sie Beweise dafür, dass die meisten der alternativen Fakten, die LLMs liefern, das Produkt von Konfabulation sind.

Konfabulation auffangen

Die neue Forschung beschäftigt sich ausschließlich mit Konfabulationen und nicht mit Fällen wie dem Training mit falschen Eingaben. Wie das Oxford-Team sie in seinem Papier definiert, in dem die Arbeit beschrieben wird, handelt es sich bei Konfabulationen um Fälle, in denen „LLMs fließend Behauptungen aufstellen, die sowohl falsch als auch willkürlich sind – womit wir meinen, dass die Antwort empfindlich auf irrelevante Details wie den Zufallsstartwert reagiert.“

Die Begründung für ihre Arbeit ist eigentlich ganz einfach. LLMs werden nicht auf Genauigkeit trainiert; sie werden einfach anhand riesiger Textmengen trainiert und lernen dadurch, menschlich klingende Formulierungen zu produzieren. Wenn genügend Textbeispiele in seinem Training etwas konsistent als Tatsache darstellen, dann wird das LLM es wahrscheinlich auch als Tatsache darstellen. Aber wenn es nur wenige Beispiele in seinem Training gibt oder die Fakten inkonsistent sind, dann synthetisieren die LLMs eine plausibel klingende Antwort, die wahrscheinlich falsch ist.

Das LLM könnte jedoch auch in eine ähnliche Situation geraten, wenn es mehrere Möglichkeiten zur Formulierung der richtigen Antwort hat. Um ein Beispiel aus der Arbeit der Forscher zu verwenden: „Paris“, „Es ist in Paris“ und „Frankreichs Hauptstadt Paris“ sind alles gültige Antworten auf „Wo ist der Eiffelturm?“. Statistische Unsicherheit, in diesem Zusammenhang Entropie genannt, kann also entweder entstehen, wenn das LLM sich nicht sicher ist, wie es die richtige Antwort formulieren soll, oder wenn es die richtige Antwort nicht identifizieren kann.

Das heißt, es ist keine gute Idee, den LLM bei mehreren ungefähr gleichwertigen Antworten einfach dazu zu zwingen, „Ich weiß nicht“ zurückzugeben. Dadurch würden wir wahrscheinlich viele richtige Antworten blockieren.

Stattdessen konzentrieren sich die Forscher auf das, was sie semantische Entropie nennen. Dabei werden alle statistisch wahrscheinlichen Antworten, die vom LLM ausgewertet werden, ausgewertet und es wird ermittelt, wie viele davon semantisch äquivalent sind. Wenn eine große Anzahl davon dieselbe Bedeutung hat, ist sich das LLM wahrscheinlich unsicher, was die Formulierung angeht, hat aber die richtige Antwort. Wenn nicht, befindet es sich vermutlich in einer Situation, in der es zu Konfabulationen neigt und daran gehindert werden sollte.