• chatgpt kann möglicherweise Codezeilen schreiben, diese sind jedoch häufig voller Fehler.
• OpenAI glaubt, eine Lösung für das Problem gefunden zu haben: CriticGPT.
• Das neue Modell soll KI-Trainern dabei helfen, die Codierungsfehler von ChatGPT besser zu erkennen.

OpenAI beginnt ernsthaft nach Fehlern zu suchen, die im von ChatGPT generierten Code lauern.

Seit seiner Veröffentlichung hat der KI-Chatbot die Entwicklergemeinde mit seiner Fähigkeit beeindruckt, Code in Programmiersprachen wie Python und Ruby zu erstellen. Doch er gibt Entwicklern auch Anlass zur Skepsis: Der von ChatGPT erstellte Code ist oft voller Fehler.

Eine im August 2023 veröffentlichte Studie von Forscher an der Purdue University stellte fest, dass die Antworten von ChatGPT auf Fragen zum Code im Entwicklerforum Stack Overflow in 52 % der Fälle falsch waren, nachdem sie auf „Korrektheit, Konsistenz, Vollständigkeit und Prägnanz“ geprüft wurden.

Noch schlimmer sei, so stellten die Forscher fest, dass die Fehler oft schwer zu erkennen seien: Die scheinbar „ausgeprägten“ Antworten von ChatGPT machten es schwierig, die Fehler zu erkennen.

OpenAI scheint das Problem erkannt zu haben und reagiert mit einer neuen Lösung: CriticGPT.

Das neue Modell, das das Startup letzte Woche vorgestellt hat, wurde entwickelt, um „Fehler in der Codeausgabe von ChatGPT abzufangen“. Laut OpenAI klingt das auf seinem GPT-4-Modell basierende Tool so, als könnte es Entwicklern eine große Hilfe sein.

„Wir haben festgestellt, dass Benutzer, die Hilfe von CriticGPT zur Überprüfung des ChatGPT-Codes erhalten, in 60 % der Fälle bessere Ergebnisse erzielen als Benutzer ohne Hilfe“, so der sagte das Unternehmen in einem Blogbeitrag.

„Weniger halluzinierte Käfer“

Zunächst beschränkt OpenAI den Zugriff von CriticGPT auf KI-Trainer. In der Praxis bedeutet das, dass Menschen, deren Aufgabe darin besteht, die von ChatGPT erstellten Antworten zu überprüfen – durch verstärktes Lernen aus menschlichem Feedback (RLHF) –, von CriticGPT Unterstützung bei der Beurteilung der Genauigkeit erhalten.

Laut OpenAI bietet CriticGPT den Menschen eine KI, die „ihre Fähigkeiten erweitert, was zu umfassenderen Kritiken führt, als wenn Menschen allein arbeiten“, wenn sie ChatGPT-Antworten überprüfen, und „weniger halluzinierte Fehler verursacht, als wenn das Modell allein arbeitet“.

Sie hoffen, dass dies einen immer schwieriger werdenden Überprüfungsprozess beschleunigen wird. OpenAI hat eingeräumt, dass es für KI-Trainer umso schwieriger werden kann, „Ungenauigkeiten zu erkennen, wenn sie auftreten“, je fortgeschrittener seine KI-Modelle werden.

Das größere Problem, das dadurch entstehen kann, besteht laut dem Unternehmen darin, dass es immer schwieriger wird, die Modelle auf die beabsichtigten Ziele auszurichten, „da sie nach und nach mehr Wissen erlangen als jede Person, die Feedback geben könnte.“

Eine Zukunft, in der die von KI-Unternehmen entwickelten Modelle tatsächlich mehr Wissen erlangen als der Mensch, der sie verwendet, ist noch nicht in Sicht. KI-Forscher, deren Schwerpunkt auf der Sicherheit liegt, denken jedoch darüber nach, wie sich solche Modelle unter Kontrolle halten lassen, damit von ihnen keine Bedrohung ausgeht.

Zu diesen Forschern gehört Jan Leike, der OpenAI im Mai aus Sicherheitsbedenken verließ und zufällig einer von mehreren Co-Autoren des Papiers war, in dem die Funktionsweise von CriticGPT erklärt wird.

OpenAI räumt ein, dass CriticGPT einige Einschränkungen aufweist.

Derzeit werden nur Antworten von ChatGPT verarbeitet, „die ziemlich kurz sind“. KI-Modelle sind außerdem immer noch anfällig für Halluzinationen, die von KI-Trainern übersehen werden können, sagte OpenAI.

Dennoch scheint Sam Altmans Unternehmen daran interessiert zu sein, die Programmierkenntnisse seines Chatbots zu verbessern, indem es versucht, dessen Fehler zu erkennen. CriticGPT hat eindeutig noch einen langen Weg vor sich, zeigt aber, dass OpenAI zumindest versucht, das Problem anzugehen.