OpenAI hat ein neues Tool namens CriticGPT herausgebracht, ein neues Large Language Model (LLM) für künstliche Intelligenz (KI), das Menschen dabei helfen soll, Fehler in von chatgpt geschriebenem Code zu erkennen.
Um die Genauigkeit und Nützlichkeit seiner GPT-Modelle zu verbessern, verwendet OpenAI eine Technik namens Reinforcement Learning from Human Feedback (RLHF), bei der Menschen die Ergebnisse der KI-Modelle überprüfen und kritisieren. CriticGPT wurde entwickelt, um die KI-Trainer im RLHF-Prozess zu unterstützen.
Laut OpenAI„Wenn Leute Hilfe von CriticGPT bekommen, um ChatGPT-Code zu überprüfen, übertreffen sie in 60 % der Fälle diejenigen ohne Hilfe“, in einem Experiment, das zeigte, dass ein menschlicher KI-Trainer in 60 % der Fälle Kritiken von einem Team aus Mensch und CriticGPT einem Menschen ohne das KI-Tool vorzog.
Der Hauptvorteil der Zusammenarbeit eines Menschen und einer KI zur Bereitstellung von Feedback im RLHF-Prozess besteht darin, dass CriticGPT umfassendere und gründlichere Kritiken schreiben kann als ein Mensch allein. Zudem können Menschen eingreifen, wenn das Modell halluzinierte Fehler meldet oder wenn CriticGPT zu viele nicht hilfreiche „Kleinigkeiten“ meldet.
Wie wurde CriticGPT geschult?
CriticGPT wurde auch mit den RLHF-Methoden von OpenAI trainiert. Die Trainer nahmen von ChatGPT geschriebenen Code und fügten dann Fehler in den Code ein. Anschließend schrieben sie Beispiel-Feedback, das ein Modell bereitstellen könnte, wenn es den eingefügten Fehler gefunden hätte.
Anschließend verglich der Trainer die Ausgabe des neuen Modells, betrachtete mehrere Kritiken des geänderten Codesegments und prüfte, wann das Modell den eingefügten Fehler richtig identifiziert und erklärt hatte.
Was sind die Einschränkungen von CriticGPT?
Die Trainingsdaten für CriticGPT konzentrierten sich bisher nur auf kurze Antworten von ChatGPT. Um längere und komplexere Ergebnisse zu verarbeiten, sind weitere Forschung und Entwicklung erforderlich. Darüber hinaus ist es nicht frei von den gefürchteten KI-Halluzinationen, die LLMs plagen.
Darüber hinaus sind noch weitere Arbeiten erforderlich, bevor das Modell verstreute Fehler identifizieren und korrigieren kann. Derzeit kann es nur einzelne Fehler verarbeiten, die an einer Stelle auftreten.
Was kommt als Nächstes für CriticGPT?
OpenAI beabsichtigt, CriticGPT in seine RLHF-Pipeline zu integrieren und die Arbeit dann weiter zu skalieren und ihren Nutzen zu erhöhen.
