Was du wissen musst

• OpenAI hat vor Kurzem CriticGPT eingeführt, um bei der Identifizierung von Fehlern in mit ChatGPT generiertem Code zu helfen.
• Das Tool hilft KI-Trainern, Fehler schneller und einfacher zu erkennen, als dies ohne die Hilfe von KI normalerweise möglich wäre.
• Der Hersteller von ChatGPT räumt ein, dass die Genauigkeit des Tools nicht hundertprozentig ist und es mehrere Probleme gibt. Dazu gehören die Unfähigkeit, hochkomplexe Aufgaben zu bewältigen, und periodische Halluzinationen.

OpenAI vor kurzem CriticGPT mit GPT-4 gestartet. Wie der Name schon sagt, schreibt das Modell „Kritiken der ChatGPT-Antworten, um menschlichen Trainern zu helfen, Fehler zu erkennen“ in der Codeausgabe von ChatGPT.

Laut dem Hersteller von ChatGPT:

„Wir haben festgestellt, dass Leute, die Hilfe von CriticGPT zur Überprüfung von ChatGPT-Code erhalten, in 60 % der Fälle bessere Leistungen erbringen als Leute ohne Hilfe. Wir beginnen mit der Arbeit, CriticGPT-ähnliche Modelle in unsere RLHF-Kennzeichnungspipeline zu integrieren und unseren Trainern explizite KI-Unterstützung zu bieten.“

OpenAI plant, Reinforcement Learning from Human Feedback (RLHF) zu verwenden, um ChatGPT „hilfreicher und interaktiver“ zu machen. Ein wesentlicher Bestandteil dieses Prozesses besteht darin, Vergleiche von KI-Trainern zu sammeln. Dies basiert darauf, wie sie verschiedene ChatGPT-Antworten im Vergleich zueinander bewerten.

CriticGPT wird dazu beitragen, die Denkfähigkeiten von ChatGPT zu verbessern und so letztendlich Halluzinationen oder die Generierung falscher Antworten und Fehlinformationen zu reduzieren. Tatsächlich wird es für KI-Trainer mit der Weiterentwicklung von ChatGPT immer schwieriger, Fehler zu erkennen.

Das Tool ist in erster Linie darauf trainiert, Ungenauigkeiten in ChatGPT-Antworten zu erkennen und Kritiken zu schreiben, in denen darauf hingewiesen wird. OpenAI räumt ein, dass das Tool nicht immer 100 % genau ist, aber es hilft KI-Trainern, Fehler schneller und einfacher zu erkennen, als dies normalerweise ohne KI möglich wäre.

CriticGPT soll angeblich die Fähigkeiten erweitern und Menschen letztlich mit umfassenderen Kritiktechniken ausstatten. Während KI-Trainer und CriticGPT die Arbeit als separate Einheiten erledigen können, scheint eine Kombination aus Mensch und CriticGPT beliebt und gründlich zu sein, wenn es darum geht, genaue und detaillierte Kritiken zu liefern.

Laut den Erkenntnissen von OpenAI:

„Wir haben festgestellt, dass Trainer in 63 % der Fälle von natürlich auftretenden Fehlern Kritiken von CriticGPT gegenüber Kritiken von ChatGPT bevorzugen, zum Teil, weil der neue Kritiker weniger „Nitpicks“ (kleine Beschwerden, die nicht hilfreich sind) produziert und Probleme seltener halluziniert.“

CriticGPT ist noch in der Entwicklung

CriticGPT ist zwar beeindruckend, aber es muss noch viel daran gearbeitet werden. OpenAI hat die unten aufgeführten Mängel des Modells hervorgehoben:

• Wir haben CriticGPT anhand von ChatGPT-Antworten trainiert, die recht kurz sind. Um die Agenten der Zukunft zu betreuen, müssen wir Methoden entwickeln, die Trainern helfen, lange und komplexe Aufgaben zu verstehen.
• Models halluzinieren immer noch und manchmal machen Trainer Beschriftungsfehler, nachdem sie diese Halluzinationen gesehen haben.
• Manchmal können sich Fehler in der Praxis auf mehrere Teile einer Antwort verteilen. Unsere Arbeit konzentriert sich auf Fehler, die an einer Stelle aufgezeigt werden können, aber in Zukunft müssen wir uns auch mit verstreuten Fehlern befassen.
• Die Hilfe von CriticGPT ist begrenzt: Wenn eine Aufgabe oder Antwort extrem komplex ist, ist selbst ein Experte mit Modellhilfe möglicherweise nicht in der Lage, sie richtig zu bewerten.

In Zukunft will OpenAI mit CriticGPT noch größere Höhen erreichen, indem es seine RLHF-Daten für das GPT-4-Training verbessert. In einem separaten Bericht nutzten Oxford-Forscher die semantische Entropie, um die Qualität und Bedeutung der generierten Ausgaben zu bewerten, die Qualität der Antworten zu bestimmen und Spuren von Halluzinationen zu erkennen.

KI-Modelle werden immer fortschrittlicher und ausgefeilter, sodass sie komplexe Aufgaben besser bewältigen können. NVIDIA-CEO Jensen Huang argumentiert, dass Programmieren als Karriereoption für die zukünftige Generation möglicherweise ausgestorben ist. Huang könnte damit nicht ganz falsch liegen, wenn man die Programmierfähigkeiten von OpenAI GPT-4o als Maßstab nimmt. Stattdessen empfiehlt er, nach alternativen Karrieremöglichkeiten in den Bereichen Biologie, Bildung, Fertigung oder Landwirtschaft zu suchen.