Seit chatgpt im Jahr 2022 vorgestellt wurde, wird viel darüber gesprochen, dass der KI-Chatbot das Potenzial hat, Menschen bei einigen Jobs zu ersetzen. Während einige Tech-Experten glauben, dass der KI-Chatbot einige menschliche Jobs wie das Programmieren übernehmen wird, argumentieren andere, dass die Technologie nie so intelligent wie Menschen sein kann und ihnen nur helfen wird, ihre Arbeit besser zu machen. Einige Tech-Bonzen haben in der Vergangenheit auch gesagt, dass menschliche Programmierer in einigen Jahren überhaupt nicht mehr nötig sein werden, da KI das Programmieren übernehmen wird. Aber ist das wirklich der Fall? Eine aktuelle Studie sagt, dass dies nicht unbedingt der Fall ist.
Die in der Juni-Ausgabe von IEEE Transactions on Software Engineering veröffentlichte Studie verglich den von ChatGPT erstellten Code mit dem von menschlichen Programmierern geschriebenen Code und konzentrierte sich dabei auf Funktionalität, Komplexität und Sicherheit. Die Studie ergab, dass die Erfolgsquote von ChatGPT bei der Erstellung von funktionsfähigem Code stark variierte. Je nach Schwierigkeit der Aufgabe, verwendeter Programmiersprache und anderen Faktoren lag die Erfolgsquote der KI zwischen 0,66 Prozent und 89 Prozent. Diese große Spanne weist darauf hin, dass ChatGPT zwar manchmal mit menschlichen Programmierern mithalten oder sie sogar übertreffen kann, aber auch erhebliche Einschränkungen aufweist.
Yutian Tang, ein Dozent an der Universität Glasgow, der an der Studie beteiligt war, stellte fest, dass KI-basierte Codegenerierung die Produktivität steigern und einige Softwareentwicklungsaufgaben automatisieren könne. Es ist jedoch entscheidend, sowohl die Stärken als auch die Schwächen dieser KI-Modelle zu verstehen. Tang betonte die Notwendigkeit einer umfassenden Analyse, um potenzielle Probleme zu identifizieren und KI-generierte Codetechniken zu verbessern.
Um diese Einschränkungen genauer zu untersuchen, testete das Forschungsteam die Fähigkeit von GPT-3.5, 728 Codierungsprobleme der LeetCode-Plattform in fünf Programmiersprachen zu lösen: C, C++, Java, JavaScript und Python. Die Studie ergab, dass ChatGPT bei der Lösung von Codierungsproblemen vor 2021 auf LeetCode ziemlich gut war und Erfolgsraten von etwa 89 Prozent bei einfachen Problemen, 71 Prozent bei mittleren Problemen und 40 Prozent bei schwierigen Problemen erreichte.
Allerdings ließ die Leistung der KI bei der Bewältigung von Codierungsproblemen, die nach 2021 auftraten, deutlich nach. So sank beispielsweise die Erfolgsquote von ChatGPT bei einfachen Problemen von 89 Prozent auf 52 Prozent. Bei schwierigen Problemen sank die Erfolgsquote von 40 Prozent auf lediglich 0,66 Prozent. Dies deutet darauf hin, dass ChatGPT mit neueren Codierungsproblemen zu kämpfen hat, möglicherweise weil seine Trainingsdaten diese neueren Herausforderungen nicht berücksichtigen.
Tang schlug eine vernünftige Hypothese für die schwankende Leistung von ChatGPT vor. Er schlug vor, dass die KI bei Algorithmusproblemen aus der Zeit vor 2021 besser abschneidet, da diese Probleme eher in ihrem Trainingsdatensatz enthalten sind. Im Zuge der Weiterentwicklung der Programmierung wurde ChatGPT nicht mit neuen Problemen und Lösungen konfrontiert, da ihm die kritischen Denkfähigkeiten eines menschlichen Programmierers fehlen. Diese Einschränkung bedeutet, dass ChatGPT zwar Probleme, auf die es zuvor gestoßen ist, effektiv lösen kann, aber mit neueren, unbekannten Problemen zu kämpfen hat.
Die Ergebnisse der Studie deuten darauf hin, dass KI-Modelle wie ChatGPT zwar vielversprechend für die Produktivitätssteigerung und die Automatisierung bestimmter Programmieraufgaben sind, aber noch kein Ersatz für menschliche Programmierer sind. Die Unfähigkeit der KI, neuere Programmierprobleme zu lösen, unterstreicht die Notwendigkeit kontinuierlicher Entwicklung und Schulung, um mit dem sich ständig weiterentwickelnden Bereich der Softwareentwicklung Schritt zu halten.
