Melden Sie sich für unseren kostenlosen wöchentlichen IndyTech-Newsletter an, der direkt in Ihren Posteingang geliefert wird

Melden Sie sich für unseren kostenlosen IndyTech-Newsletter an

Wissenschaftler haben möglicherweise eine Möglichkeit gefunden, eines der größten Probleme beliebter künstlicher Intelligenzsysteme zu überwinden.

Ein neues Tool könnte es den Tools ermöglichen, herauszufinden, wann sie „halluzinieren“ oder Fakten erfinden. Das ist derzeit eine große Gefahr, wenn man sich auf große Sprachmodelle oder LLMs verlässt.

LLMs, wie sie chatgpt und ähnlichen Tools zugrunde liegen, sind darauf ausgelegt, Sprache statt Fakten zu produzieren. Das bedeutet, dass sie oft „Halluzinationen“ erzeugen können, bei denen sie Behauptungen aufstellen, die selbstbewusst vorgebracht werden und legitim erscheinen, aber in Wirklichkeit nichts mit der Wahrheit zu tun haben.

Die Lösung dieses Problems hat sich als schwierig erwiesen, zum Teil, weil neue Systeme so plausibel aussehende Texte produzieren. Aber es ist auch von zentraler Bedeutung für die Hoffnung, die Technologie in einem breiten Anwendungsbereich einzusetzen, denn die Menschen müssen darauf vertrauen können, dass alle von den Systemen produzierten Texte wahrheitsgetreu und zuverlässig sind.

Mit der neuen Methode können Wissenschaftler sogenannte „Konfabulationen“ aufdecken, also Fälle, in denen LLMs ungenaue und willkürliche Texte produzieren. Dies geschieht häufig, wenn ihnen das Wissen fehlt, um eine Frage zu beantworten.

Dies geschieht, indem ein weiterer LLM die Arbeit des ursprünglichen überprüft und dann ein weiterer diese Arbeit bewertet. Ein Forscher, der nicht an der Arbeit beteiligt war, beschrieb es als „Feuer mit Feuer bekämpfen“ und meinte, dass LLMs ein wichtiger Teil der Selbstkontrolle sein könnten.

Im Mittelpunkt der Arbeit stehen nicht die Wörter selbst, sondern deren Bedeutungen. Die Ergebnisse des Systems, die überprüft werden mussten, wurden in ein anderes System eingespeist, das herausfand, ob die Aussagen die anderen implizierten, also im Wesentlichen nach Paraphrasen suchte.

Diese Paraphrasen könnten dann verwendet werden, um zu verstehen, wie wahrscheinlich es ist, dass die Ergebnisse des ursprünglichen Systems zuverlässig sind. Untersuchungen haben gezeigt, dass ein dritter LLM, der diese Arbeit evaluierte, zu ungefähr denselben Ergebnissen kam wie eine Person, die dies tat.

Das System könnte dabei helfen, LLMs zuverlässiger zu machen und sie so für ein breiteres Aufgabenspektrum und wichtigere Bereiche nutzbar zu machen. Wissenschaftler warnten jedoch, dass es auch andere Gefahren mit sich bringen könnte.

Bei der weiteren Untersuchung der Verwendung von LLMs zu diesem Zweck „müssen sich die Forscher mit der Frage auseinandersetzen, ob dieser Ansatz wirklich die Ausgabe von LLMs kontrolliert oder ob er unbeabsichtigt Öl ins Feuer gießt, indem er mehrere Systeme übereinander legt, die anfällig für Trugschlüsse und unvorhersehbare Fehler sind“, schrieb Karin Verspoor von der University of Melbourne in einem Begleitartikel.

Die Arbeit wird in einem neuen Artikel mit dem Titel „Detecting hallucinations in large language models using semantic entropy“ beschrieben, der veröffentlicht wurde in Natur.