OpenAI gab bekannt, dass es ein auf GPT-4 basierendes KI-Modell namens CriticGPT fertiggestellt hat, das Fehler in der Codeausgabe von ChatGPT erkennen kann.

OpenAI sagt, dass Entwickler, die CriticGPT verwenden, um die Codeausgabe von ChatGPT zu überprüfen, in 60 % der Fälle effizienter sind als der Code, den sie alleine geschrieben haben.

OpenAI erklärt, dass ChatGPT mit der Weiterentwicklung des GPT-4-Modellverständnisses und -verhaltens immer genauer wird, seine Fehler jedoch für das KI-Schulungspersonal immer schwieriger zu erkennen sind. Sobald jedoch Fehler auftreten, erhöht sich die Schwierigkeit des Verstärkungslernens (Reinforcement Learning from Human Feedback, RLHF). Zu diesem Zweck schulte das Unternehmen CriticGPT darin, Bewertungen zu verfassen, die Ungenauigkeiten in den ChatGPT-Antworten hervorhoben.

CriticGPT ist ebenfalls ein mit RLHF trainiertes Modell, erkennt aber im Gegensatz zu ChatGPT eine große Anzahl von Fehlern in den Eingabedaten und beginnt dann mit der Kommentierung.Nachdem dieser Trainer die von mehreren CriticGPT erstellten Bewertungen vergleicht, ist es einfacher, das Problem zu erkennen.

Die Vorschläge von CriticGPT sind nicht immer richtig, aber OpenAI hat herausgefunden, dass es menschlichen Trainern dabei half, mehr Probleme im von ChatGPT generierten Code zu finden, als wenn sie Fehler selbst erkennen würden. Sie glauben, dass dies dazu beitragen wird, die Fähigkeiten menschlicher Trainer zu verbessern und Fehler zu reduzieren, die Halluzinationen in der KI verursachen.

OpenAI sagt, dass dies dabei helfen kann, die Qualität der KI-Systemausgabe zu beurteilen, die für Menschen schwer zu erkennen wäre. Das Unternehmen hat außerdem damit begonnen, CriticGPT in seinen RLHF()-Annotationsprozess zu integrieren, um die Schulung des Personals zu unterstützen.

Aber CriticGPT hat auch seine Grenzen. OpenAI verwendet kurze ChatGPT-Antworten, um CriticGPT zu trainieren. Dies reicht jedoch nicht aus, um die Komplexität der realen Welt zu bewältigen. In Zukunft müssen sie ihre Fähigkeit stärken, lange und komplexe Antwortinhalte zu verstehen. Zweitens weist das CriticGPT-Modell immer noch Halluzinationen auf, und sogar Menschen machen Kennzeichnungsfehler, wenn sie diese Halluzinationen sehen. Schließlich ist CriticGPT derzeit nicht in der Lage, an verschiedenen Stellen des Programmcodes verstreute Fehler aufzuzeigen, was das zukünftige Ziel von OpenAI ist.

Quelle:OpenAI