Heute Morgen berichtete The Hill: „Studienergebnisse zeigen, dass KI-Modelle bei rechtlichen Fragen häufig „halluzinieren“..“ Es stellt sich heraus, dass Das Register Und Bloomberg machte mit. Wussten Sie, dass verbraucherorientierte generative KI-Tools bei juristischer Arbeit unglaublich schlecht sind? Oder haben Sie auch das Jahr eingesperrt in einem Bunker verbracht?

Im Ernst, angesichts dieser Geschichten und der Tatsache, dass Oberster Richter Roberts seinen Jahresbericht über die Bundesjustiz in einen tiefen Einblick in die künstliche Intelligenz der Ära 2013 verwandelt hat, ist es, als hätte sich letztes Jahr überhaupt niemand die Mühe gemacht, mit der künstlichen Intelligenz Schritt zu halten.

chatgpt und andere große Sprachmodelle halluzinieren die Rechtsprechung? Im Ernst! Anwälte wurden dafür sanktioniert. Ein anderer hat seines bekommen Lizenz suspendiert. Trumps ehemaliger Anwalt war darin verwickelt. Gibt es noch jemanden, der nicht wusste, dass diese Tools schlechte juristische Arbeit leisten?

Zur Verteidigung dieser Schlagzeilen: Sie stammen aus einer neuen Studie von Stanford befasst sich mit der Verbreitung von Rechtsfehlern bei der Gen-KI. Es ist eine nützliche Studie, allerdings nicht, weil sie eine kühne neue Offenbarung lieferte, sondern weil sie einige quantitative Erkenntnisse zu dem lieferte, was wir alle bereits wussten.

Das sind wertvolle Informationen zur Verfeinerung dieser Modelle. Aber auch GPT 4 ist bereits da. Llama 3 soll angeblich bald erscheinen.

Und während verbraucherorientierte Produkte wie ChatGPT Fehler verursachen, haben wir das Halluzinationsproblem bereits fast überwunden, da vertrauenswürdige Datensätze und rechtsorientierte Leitplanken den Raum einnehmen. Juristische Anwendungen konzentrieren sich jetzt auf Genauigkeit – darauf, wie man Bestände von Diktaten und von Fällen trennt, von denen die KI weiß, dass sie real sind.

Vielleicht sollte ich die Mainstream-Medien in diesem Punkt etwas zurückhalten. Man würde hoffen, dass Anwälte ihre Arbeit auf Tools beschränken, die speziell auf die juristische Arbeit zugeschnitten sind. Die Botschaft muss die Pro-Se-Gemeinschaft und diejenigen erreichen, die versuchen, ohne Rechtsbeistand mit nicht-streitigen Rechtsfragen umzugehen. Sie müssen vor der Gefahr gewarnt werden, sich bei der Rechtsberatung auf diese Bots zu verlassen.

Die Stanford-Studie unterstreicht dies:

Zweitens unterliegt die Rechtsprechung von niedrigeren Gerichten wie Bezirksgerichten häufigeren Halluzinationen als die Rechtsprechung von höheren Gerichten wie dem Obersten Gerichtshof. Dies deutet darauf hin, dass LLMs möglicherweise mit lokalisiertem Rechtswissen zu kämpfen haben, das in Fällen niedrigerer Gerichte oft von entscheidender Bedeutung ist, und lässt Zweifel an Behauptungen aufkommen, dass LLMs in den Vereinigten Staaten seit langem bestehende Barrieren beim Zugang zur Justiz verringern werden.

Wenn die Theorie wäre, dass Prozessparteien Bots verwenden könnten sich um ihre Probleme beim Zugang zur Justiz zu lösen, das stimmt. Aber das ist nicht die Schuld des LLM, sondern vielmehr die Tatsache, dass ein Tool, das für jemanden, der keinen Anwalt beauftragen kann, billig genug ist, zum Scheitern verurteilt ist. Aber LLMs, die mit dem richtigen, professionell geprüften Tool verbunden sind, können Pro-bono- und Low-bono-Arbeiten für Anwälte deutlich weniger belastend machen und einen anderen Weg zur Überbrückung der Justizlücke einschlagen.

Vielleicht ist es also in Ordnung, dass wir ein paar atemlose Schlagzeilen an die Öffentlichkeit über die Risiken der ChatGPT-Rechtsberatung bekommen, um der Leute willen, die wirklich keine Ahnung davon haben, wie die Rechtsbranche mit KI umgegangen ist.

Aber im Ernst, was ist die Entschuldigung von Oberster Richter Roberts?

Halluzinierendes Recht: Rechtliche Fehler bei großen Sprachmodellen sind allgegenwärtig [Stanford Human-Centered Artificial Intelligence]

Joe Patrice ist leitender Redakteur bei Above the Law und Co-Moderator von Denken wie ein Anwalt. Sie können uns jederzeit Tipps, Fragen oder Kommentare per E-Mail senden. Folgt ihm weiter Twitter wenn Sie sich für Recht, Politik und eine gesunde Portion Nachrichten aus dem Hochschulsport interessieren. Joe fungiert auch als Geschäftsführer bei RPN Executive Search.