Zählen Sie Richter Paul Engelmayer vom Southern District of New York als Skeptiker der künstlichen Intelligenz. Zumindest zu diesem Zeitpunkt. Der Richter beschrieb die Verwendung des Tools durch die Partei als „missbräuchlich“ und lehnte gerade einen Gebührenantrag ab, der sich – teilweise – auf chatgpt-Anfragen stützte.

Konkret beantragte die Anwaltskanzlei Cuddy Gebühren, nachdem sie sich in einer Angelegenheit des Individuals with Disabilities Education Act durchgesetzt hatte. Während die angemessenen Gebühren, die routinemäßig für IDEA-Angelegenheiten im SDNY zuerkannt werden, die relevanteste Grundlage für die Festlegung der Gebühren zu sein scheinen, argumentierte das Unternehmen, dass diese Auszeichnungen die in ihrem Tätigkeitsbereich erforderliche Vergütung niedrig darstellten, und führte Folgendes an: „(1) Der durchgeführte Real Rate Report von Wolters Kluwer; (2) der Rechtsstreit 2022 Umfrage und Bericht zu Stundensätzen, durchgeführt von der National Association of Legal Fee Analysis („NALFA“); (3) der 50. jährliche Survey of Law Firm Economics („ASLFE“); und (4) die Laffey-Matrix“, eine Reihe von Berichten, die sich nicht speziell auf IDEA-Fälle bezogen. Beispielsweise wurden im Real Rate Report Tarife zusammengestellt, die „im Allgemeinen von Prozesspartnern und Mitarbeitern in New Yorker Anwaltskanzleien“ verwendet werden. Richter Engelmayer sträubte sich dagegen, anzunehmen, dass Verwaltungsmaßnahmen im Zusammenhang mit IDEA vernünftigerweise denselben Preis haben wie die Vertretung von Goldman Sachs in einem Streit mit JPMC.

Das Unternehmen bot jedoch auch ergänzende Daten an, die auf einer ChatGPT-Suche basierten, um diese Daten „gegenzuprüfen“:

Es genügt zu sagen, dass die Berufung der Anwaltskanzlei Cuddy auf ChatGPT als Unterstützung für ihr aggressives Honorarangebot völlig und ungewöhnlich wenig überzeugend ist. Wie die Kanzlei hätte erkennen müssen, war es von Anfang an falsch, die Schlussfolgerungen von ChatGPT als nützlichen Maßstab für den angemessenen Abrechnungssatz für die Arbeit eines Anwalts mit einem bestimmten Hintergrund zu betrachten, der einen maßgeschneiderten Auftrag für einen Mandanten in einem Nischengebiet ausführt.

Das Unternehmen argumentierte dass die ChatGPT-Suche relevant war, weil sie zeigt, was ein Elternteil, der eine Vertretung sucht, zu zahlen erwarten würde. Eltern werden nicht alle diese Berichte lesen, bevor sie sich für die Beauftragung eines Anwalts entscheiden, sondern sie werden – zunehmend – einfach ChatGPT fragen, wie viel es kostet, einen Anwalt zu beauftragen.

Was nicht so völlig und ungewöhnlich wenig überzeugend ist, wie der Richter behauptet.

Andererseits ist „Gegenprüfung“ ein passender Begriff für das, was generative KI tut, weil sie einfach die gleichen oben zitierten Berichte aussortiert – und all die gleichen Unterscheidungsfaktoren beschönigt, die Richter Engelmayer anmerkt – und genau das Gleiche ausspuckt Antwort. Was ziemlich wenig überzeugend ist.

Leider geht die Begründung, diese Argumentation zurückzuweisen, in der Stellungnahme etwas zu weit:

In zwei aktuellen Fällen haben Gerichte des Second Circuit Anwälten vorgeworfen, sich auf ChatGPT verlassen zu haben, wobei sich ChatGPT als unfähig erwies, zwischen echten und fiktiven Fallzitaten zu unterscheiden.

Was hat das mit der halluzinierenden Rechtsprechung zu tun? Erstens haben diese Halluzinationsgeschichten aus der Rechtsprechung nichts mit der Technologie zu tun, sondern nur mit Anwälten, die sich nicht die Mühe machen, die von ihnen zitierten Fälle zu lesen. Das ist ein Problem, unabhängig von der Technologie, die das Zitat zusammengetragen hat.

Im Gegensatz zu diesen Dingen versuchte die Firma nicht zu behaupten, dass es da draußen eine schwarze Antwort gibt, sondern sie wollte sagen: „Dies ist eine Suchanfrage, die Eltern verwenden würden, und da würde X stehen“, was ohnehin keine Halluzination ist. Die Tatsache, dass der Bot den Familien mitteilen wollte, dass ihr IDEA-Anwalt für Verwaltungsverfahren Cravath-Tarife berechnen würde, macht es falsch, aber nicht halluzinatorisch.

Wir haben eine Menge Spaß auf Kosten der halluzinierenden KI, aber es ist entscheidend, dass wir aufhören, alle Nachteile der KI als Halluzinationsprobleme zu behandeln. Manchmal gibt es schlechte Antworten, weil es sich auf unangemessene oder unvollständige – aber sehr, sehr reale – Daten stützt, und wenn wir seine Probleme weiterhin ausschließlich durch die Linse von Halluzinationen betrachten, werden wir übersehen, wenn seine Antworten nachweislich real sind.

Aber einfach schlecht.

Früher: Aus Liebe zu allem, was heilig ist, hören Sie auf, ChatGPT für diesen schlechten Brief verantwortlich zu machen

Joe Patrice ist leitender Redakteur bei Above the Law und Co-Moderator von Denken wie ein Anwalt. Sie können uns jederzeit Tipps, Fragen oder Kommentare per E-Mail senden. Folgt ihm weiter Twitter wenn Sie sich für Recht, Politik und eine gesunde Portion Nachrichten aus dem Hochschulsport interessieren. Joe fungiert auch als Geschäftsführer bei RPN Executive Search.