Wer kann eine andere KI besser korrigieren als eine KI? Dies ist im Wesentlichen das, was die neueste Innovation von OpenAI beweisen will. Sein neues CriticGPT-Modell ist speziell darauf trainiert, die von chatgpt und anderen LLMs produzierten Antworten zu kritisieren und zu korrigieren …

Innerhalb eines Jahres hat generative KI bereits den Alltag vieler von uns verändert. Sie sind zu Arbeitsbegleitern geworden, die es vermeiden, Zeit auf einem leeren Blatt zu verschwenden, Ihre Arbeit kommentieren, Zusammenfassungen oder Übersetzungen erstellen, Ideen vorschlagen, erweiterte Antworten auf Ihre Fragen bieten, automatisch Codezeilen generieren, Sie entsperren, wenn Sie auf ein Problem stoßen usw .

Aber die generative KI hat auch einen großen Fehler: Wir wissen nie, wann sie sich versöhnt und ob wir ihrer Reaktion vertrauen können oder nicht. Und das ist nicht der geringste Fehler. Aber es ist Teil der Funktionsweise aktueller LLMs (Large Language Model). Und je ausgefeilter die Modelle werden, desto subtiler werden ihre Fehler und desto schwerer sind sie zu erkennen.

Um eine Lösung für dieses Problem zu finden, hatte OpenAI die Idee, eine KI zu entwickeln, die speziell dafür ausgebildet ist, KI-Antworten zu beurteilen und ihre Glaubwürdigkeit zu überprüfen.

Dieses neue Modell namens CriticGPT – das auf GPT-4 basiert – ist in der Lage, Fehler zu erkennen und zu verstehen, die in von ChatGPT generierten Computercodes entstehen. Letztlich geht es darum, dieses „Korrekturmodell“ für alle von der KI generierten Antworten zu nutzen.

Entwickelt, um Menschen bei der Bewältigung der KI zu helfen

CriticGPT wurde durch einen „Reinforcement Learning from Human Feedback“ (RLHF)-Prozess trainiert, ähnlich dem für ChatGPT verwendeten, jedoch mit einer Wendung: Es wurde einer großen Datenmenge ausgesetzt, die absichtlich eingefügte Fehler enthielt. Menschliche Trainer änderten die ChatGPT-Antworten, um Fehler hinzuzufügen, und stellten dann Beispiele für Kritik zu diesen Fehlern bereit. CriticGPT hat gelernt, diese Programmierfehler in neuen Codebeispielen zu identifizieren und hervorzuheben.

Studien von OpenAI zeigen, dass CriticGPT die Erkennung menschlicher Fehler deutlich verbessert. In Tests wurden von CriticGPT generierte Bewertungen von Annotatoren in 63 % der Fälle gegenüber menschlichen Bewertungen zu Fehlern bevorzugt, die natürlicherweise in ChatGPT-generiertem Code vorhanden sind. Wenn menschliche Trainer mit CriticGPT arbeiteten, produzierten sie außerdem umfassendere Rezensionen und weniger erfundene Fehler (Halluzinationen). Besser noch: CriticGPT konnte in 85 % der Fälle Anomalien finden, während Menschen sie nur in 25 % der Fälle entdeckten.

Die Kapazitäten sind noch begrenzt

CriticGPT ist noch nicht dazu gedacht, die Produktion von ChatGPT automatisch zu korrigieren, sondern den Menschen zu helfen, zu verstehen, was die KI erzeugt hat, und auf Fehler und Halluzinationen hinzuweisen.

Und natürlich hat CriticGPT seine Grenzen. Zumal es sich hierbei um eine erste experimentelle Version handelt. Dieses Modell wurde hauptsächlich an relativ kurzen Codeausschnitten getestet und kann manchmal die Schwere bestimmter Probleme überschätzen. Darüber hinaus reduziert es im Vergleich zu ChatGPT zwar die Fehlalarmrate, kann aber selbst nicht vorhandene Probleme „halluzinieren“.

Eine weitere wichtige Einschränkung besteht darin, dass CriticGPT hauptsächlich auf Python-Code trainiert wurde und bei anderen Programmiersprachen oder Inhaltstypen möglicherweise nicht so gut funktioniert. Die Forscher weisen außerdem darauf hin, dass das Tool nicht darauf ausgelegt ist, komplexe Fehler zu erkennen, die über mehrere Teile eines Programms verteilt sind.

Trotz dieser Einschränkungen stellt CriticGPT jedoch ein originelles Experiment und einen vielversprechenden Weg dar, um die Richtigkeit der von generativen Modellen generierten Antworten sicherzustellen. Fortgesetzt werden…

LESEN SIE AUCH:

LESEN SIE AUCH: