OpenAI, das Unternehmen hinter dem beliebten chatgpt Large Language Model Generative AI-Dienst, hat ein Tool veröffentlicht, das Abfrageergebnisse im exakt vom Benutzer angegebenen Format zurückgibt.
Dies war die am häufigsten gestellte Anfrage unter Entwicklern, die die KI-Technologie nutzen. nach an den OpenAI-CEO Sam Altman.
Seit seinem Debüt im November 2022 wurde der ChatGPT-Dienst von unzähligen Anwendungsentwicklern für agentengesteuerte und andere Apps genutzt. Aber während ChatGPT Unmengen unstrukturierter Daten nutzt, um seine Ergebnisse zu liefern (über API-gesteuerte Funktionsaufruf) würden Anwendungsentwickler diese Ergebnisse viel lieber als strukturierte Daten erhalten, damit sie von ihren jeweiligen Apps besser analysiert werden können.
Im letzten Jahr erweiterte OpenAI seine API um Ergebnisse aus JSON. Diese Woche geht das Unternehmen noch einen Schritt weiter und stellt eine neue API-Funktion vor: Strukturierte Ausgabendas die Ergebnisse in dem JSON-Schema liefert, das der Entwickler in der Abfrage angibt.
„Entwickler arbeiten schon lange an den Einschränkungen von LLMs […] über Open-Source-Tools, indem Anfragen wiederholt abgefragt und wiederholt werden, um sicherzustellen, dass die Modellausgaben den für die Interoperabilität mit ihren Systemen erforderlichen Formaten entsprechen“, schrieb Michelle Pokrass, OpenAI technischer Mitarbeiter, in einer Blogeintrag gepostet am Dienstag.
„Structured Outputs löst dieses Problem, indem es OpenAI-Modelle so einschränkt, dass sie den vom Entwickler bereitgestellten Schemata entsprechen, und indem es unsere Modelle trainiert, komplizierte Schemata besser zu verstehen.“
Wie strukturierte Ergebnisse die Qualität des LLM verbessern
Strukturierte Ausgaben unterscheiden sich von den durch einfache Benutzereingaben generierten Ausgaben dadurch, dass sie hinsichtlich der Informationen, die sie bereitstellen können, eingeschränkt sind. Diese Technik wird als „eingeschränktes Sampling“ oder „eingeschränktes Decodieren“ bezeichnet.
„Um gültige Ausgaben zu erzwingen, beschränken wir unsere Modelle auf nur die Token, die gemäß dem bereitgestellten Schema gültig wären, und nicht auf alle verfügbaren Token“, erklärte Pokrass.
Für ChatGPT verbessert dieser zusätzliche Schritt des Ausfüllens des Schemas dessen Genauigkeit.
Die OpenAI-Entwickler stellten in Tests fest, dass ChgatGPT ein vordefiniertes Schema in 100 % der Fälle korrekt ausfüllen konnte, aber nur in 85 % der Fälle über einfache Eingabeaufforderungen die richtigen Antworten lieferte.
OpenAI-Diagramm, das die Zuverlässigkeit der für JSON-Schemas generierten ChatGPT-Antworten mit denen vergleicht, die von der Eingabeaufforderung generiert werden.
So erstellen Sie strukturierte Ausgaben
Wenn ihre Apps jetzt eine Anfrage stellen, liefern die Entwickler ein JSON-Schema über json_schemaeine neue Option für die Antwortformat Parameter. Der strikt Der Wert muss innerhalb der Funktionsdefinition auf „true“ gesetzt werden. Die Ausgabe des Modells würde dann seine Antworten am besten mit dem Schema abstimmen (das funktioniert sowohl für KI-Tools als auch für direkte Benutzeranfragen).
Die Antworten werden weiterhin den Anforderungen von OpenAI entsprechen. Sicherheitsanforderungen — das potenziell schädliche Inhalte blockiert — und gibt eine Ablehnung Zeichenfolgenwert auf Fragen, die es nicht beantwortet. Und es gibt noch weitere Einschränkungen: Es unterstützt nur eine Teilmenge der JSON-Schema. Fehler bei der Modelldefinition werden dadurch nicht verhindert und es kommt zu einer zusätzlichen Verzögerung bei der ersten Antwort, da ChatGPT das Schema des Entwicklers sortiert.
Sowohl die Node.js- als auch die Python-Softwareentwicklungskits von OpenAI wurden mit dem neuen aktualisiert Antwortformat Parameter.
Der größte mögliche Anwendungsfall ist natürlich die Formatierung unstrukturierter Daten in strukturierte Daten, sodass sie von einem relationalen Datenbanksystem aufgenommen und analysiert werden können. Dies war lange Zeit eine Herausforderung für Organisationen, die große Mengen an Informationen in Office-Dokumenten gespeichert hatten.
Pokrass erläutert jedoch einige mögliche erweiterte Einsatzmöglichkeiten der Technologie, darunter die Erstellung von Benutzeroberflächen im laufenden Betrieb auf der Grundlage von Benutzereingaben und die Bereitstellung einer einzigen Antwort ohne unterstützendes Material.
Dies sei eine „großartige und dringend benötigte Funktion“, sagt der Forscher für maschinelles Lernen Elvis Saravia bemerkt auf X. Saravia hat ein Tutorial für YouTube erstellt, in dem es um die Verwendung strukturierter Ausgaben geht:
YOUTUBE.COM/THENEWSTACK
Die Technik entwickelt sich schnell, verpassen Sie keine Folge. Abonnieren Sie unseren YouTube-Kanal, um alle unsere Podcasts, Interviews, Demos und mehr zu streamen.
ABONNIEREN
