Wie gut schreiben KI-Tools Code? Im letzten Jahr oder so habe ich große Sprachmodelle einer Reihe von Tests unterzogen, um zu sehen, wie gut sie einige ziemlich grundlegende Programmierherausforderungen bewältigen.

Außerdem: Die besten kostenlosen KI-Kurse (und ob sich KI-Mikro-Abschlüsse und -Zertifikate lohnen)

Die Idee ist einfach: Wenn sie diese grundlegenden Herausforderungen nicht bewältigen können, lohnt es sich wahrscheinlich nicht, etwas Komplexeres von ihnen zu verlangen. Wenn sie diese grundlegenden Herausforderungen jedoch bewältigen können, könnten sie zu hilfreichen Assistenten für Programmierer werden, die Zeit sparen möchten.

Um diesen Maßstab festzulegen, habe ich drei Tests verwendet (und gerade einen vierten hinzugefügt). Sie sind:

1. Schreiben eines WordPress-Plugins:Dabei wird die grundlegende Webentwicklung mit der Programmiersprache PHP innerhalb von WordPress getestet. Es erfordert auch ein wenig Aufbau der Benutzeroberfläche. Wenn ein KI-Chatbot diesen Test besteht, kann er als Assistent von Webentwicklern dabei helfen, rudimentären Code zu erstellen. Ich habe diesen Test ursprünglich in „Ich habe chatgpt gebeten, ein WordPress-Plugin zu schreiben, das ich brauchte. Es hat es in weniger als 5 Minuten erledigt.“
2. Umschreiben einer String-Funktion: Dieser Test bewertet, wie ein KI-Chatbot eine Dienstprogrammfunktion aktualisiert, um eine bessere Funktionalität zu erzielen. Wenn ein KI-Chatbot diesen Test besteht, kann er möglicherweise dabei helfen, Tools für Programmierer zu erstellen. Wenn es fehlschlägt, können Programmieranfänger im ersten Jahr wahrscheinlich einen besseren Job machen. Ich habe diesen Test ursprünglich in „OK, also hat ChatGPT gerade meinen Code debuggt. Im Ernst“ dokumentiert.
3. Einen lästigen Fehler finden: Dieser Test erfordert genaue Kenntnisse über die Funktionsweise von WordPress, da die offensichtliche Antwort falsch ist. Wenn ein KI-Chatbot dies richtig beantworten kann, ist seine Wissensbasis selbst mit Frameworks wie WordPress ziemlich vollständig. Ich habe diesen Test ursprünglich in „OK, also hat ChatGPT gerade meinen Code debuggt. Im Ernst“ dokumentiert.
4. Ein Skript schreiben: Bei diesem Test wird ein KI-Chatbot aufgefordert, mit zwei ziemlich speziellen Programmiertools zu programmieren, die vielen Benutzern nicht bekannt sind. Es testet im Wesentlichen das Wissen des KI-Chatbots über die großen Sprachen hinaus. Ich habe diesen Test ursprünglich in „google stellt Gemini Code Assist vor und ich bin vorsichtig optimistisch, dass es Programmierern helfen wird“ dokumentiert.

Ich werde Sie durch jeden Test führen und die Ergebnisse mit denen der anderen KI-Chatbots vergleichen, die ich getestet habe. Auf diese Weise können Sie besser einschätzen, wie sich KI-Chatbots in Bezug auf die Codierungsleistung unterscheiden.

Dieses Mal stelle ich Metas neue Meta-KI auf die Probe. Lass uns anfangen.

1. Ein WordPress-Plugin schreiben

Hier ist die von Meta AI generierte Schnittstelle auf der linken Seite im Vergleich zur von ChatGPT generierten Schnittstelle auf der rechten Seite:

Beide KI-Chatbots generierten die erforderlichen Felder, aber die Präsentation von ChatGPT war übersichtlicher und enthielt Überschriften für jedes der Felder. ChatGPT hat die Schaltfläche „Randomisieren“ angesichts der Funktionalität auch an einer passenderen Stelle platziert.

Außerdem: So starten Sie mit Meta AI in Facebook, Instagram und mehr

Was die Funktionsweise betrifft, hat ChatGPT erwartungsgemäß eine Reihe von Namen übernommen und zufällige Ergebnisse erzeugt. Leider hat Meta AI eine Reihe von Namen aufgenommen, etwas aufblitzen lassen und dann einen weißen Bildschirm angezeigt. Dies wird in der WordPress-Welt häufig als „Der weiße Bildschirm des Todes“ beschrieben.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta-KI: Schnittstelle: ausreichend, Funktionalität: mangelhaft
• Metacode-Aufruf: Völliger Misserfolg
• Google Gemini Advanced: Schnittstelle: gut, Funktionalität: fehlgeschlagen
• ChatGPT: Schnittstelle: gut, Funktionalität: gut

2. Umschreiben einer String-Funktion

Dieser Test dient zum Testen von Dollar- und Cent-Umrechnungen. Meta AI hatte vier Hauptprobleme: Sie nahm Änderungen an korrekten Werten vor, wenn dies nicht hätte der Fall sein sollen, testete nicht ordnungsgemäß auf Zahlen mit mehreren Dezimalstellen und schlug völlig fehl, wenn ein Dollarbetrag weniger als zwei Dezimalstellen hatte (mit anderen Worten, sie würde es tun). (Fehler mit $5 oder $5,2 als Eingaben) und lehnte korrekte Zahlen ab, sobald die Verarbeitung abgeschlossen war, weil diese Zahlen falsch formatiert wurden.

Außerdem: So verwenden Sie ChatGPT

Dies ist eine ziemlich einfache Aufgabe, die die meisten Informatikstudenten im ersten Jahr bewältigen können sollten. Es ist enttäuschend, dass Meta AI gescheitert ist, insbesondere da Metas Code Llama im gleichen Test erfolgreich war.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta-KI: Fehlgeschlagen
• Metacode-Aufruf: Erfolgreich
• Google Gemini Advanced: Fehlgeschlagen
• ChatGPT: Erfolgreich

3. Einen lästigen Fehler finden

Dies ist keine Programmieraufgabe. Bei diesem Test werden einige bereits vorhandene Codeabschnitte zusammen mit Fehlerdaten und einer Problembeschreibung berücksichtigt. Anschließend wird der KI-Chatbot gebeten, herauszufinden, was mit dem Code nicht stimmt, und eine Lösung zu empfehlen.

Die Herausforderung besteht darin, dass es eine offensichtliche Antwort gibt, die falsch ist. Das Problem erfordert ein tiefes Wissen über die Funktionsweise der WordPress-API sowie ein Verständnis des Zusammenspiels zwischen verschiedenen Komponenten des zu schreibenden Programms.

Meta AI hat diese Prüfung mit Bravour bestanden. Es identifizierte nicht nur den Fehler korrekt, sondern machte sogar einen Vorschlag, der zwar nicht notwendig war, aber die Effizienz des Codes verbesserte.

Nachdem ich beim Umschreiben einer einfachen String-Funktion so kläglich gescheitert war, hatte ich nicht erwartet, dass Meta AI bei einem wesentlich anspruchsvolleren Problem erfolgreich sein würde. Dies zeigt, dass KI-Chatbots in ihren Antworten nicht unbedingt konsistent sind.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta-KI: Erfolgreich
• Metacode-Aufruf: Fehlgeschlagen
• Google Gemini Advanced: Fehlgeschlagen
• ChatGPT: Erfolgreich

4. Ein Skript schreiben

Für diesen Test sind Programmierkenntnisse des MacOS-Skripttools erforderlich Keyboard-MaestroApples Skriptsprache AppleScript und Chrome-Skriptverhalten.

Keyboard Maestro ist ein erstaunlich leistungsfähiges Tool (das ist einer der Gründe, warum ich Macs als meine primären Arbeitsmaschinen verwende), aber es ist auch ein ziemlich obskures Produkt, das von einem einzelnen Programmierer in Australien geschrieben wurde. Wenn ein KI-Chatbot mit diesem Tool programmieren kann, ist die Wahrscheinlichkeit groß, dass er über gute Programmierkenntnisse in allen Sprachen verfügt. AppleScript ist die MacOS-Skriptsprache von apple, aber sie ist auch ziemlich undurchsichtig.

Außerdem: Die besten KI-Bildgeneratoren: Getestet und bewertet

Sowohl Meta AI als auch Metas Code Llama scheiterten auf genau die gleiche Weise: Sie haben die Daten nicht wie angewiesen von Keyboard Maestro abgerufen. Keiner schien von dem Tool überhaupt etwas zu wissen. Im Gegensatz dazu wussten sowohl Gemini als auch ChatGPT, dass es sich um ein separates Tool handelte, und konnten die Daten korrekt abrufen.

Hier sind die Gesamtergebnisse dieses und früherer Tests:

• Meta-KI: Fehlgeschlagen
• Metacode-Aufruf: Fehlgeschlagen
• Google Gemini Advanced: Erfolgreich
• ChatGPT: Erfolgreich

Gesamtergebnis

Hier sind die Gesamtergebnisse der vier Tests:

Ich nutze ChatGPT nun seit etwa sechs Monaten, um bei Codierungsprojekten zu helfen. Nichts in den Ergebnissen hier hat mich überzeugt, zu einem anderen KI-Chatbot zu wechseln. Wenn ich einen dieser KI-Chatbots verwenden würde, hätte ich tatsächlich Angst, dass ich möglicherweise mehr Zeit mit der Überprüfung und Fehlersuche verbringe, als mit der Erledigung der Arbeit.

Ich bin von den anderen großen Sprachmodellen enttäuscht. Meine Tests zeigen, dass ChatGPT zumindest vorerst immer noch der unangefochtene Coding-Champion ist.

Haben Sie versucht, mit Meta AI, Gemini oder ChatGPT zu programmieren? Welche Erfahrungen haben Sie gemacht? Lass es uns unten in den Kommentaren wissen.

Sie können meine täglichen Projektaktualisierungen in den sozialen Medien verfolgen. Unbedingt abonnieren mein wöchentlicher Update-Newsletterund folgen Sie mir auf Twitter/X unter @DavidGewirtzauf Facebook unter Facebook.com/DavidGewirtzauf Instagram unter Instagram.com/DavidGewirtzund auf YouTube unter YouTube.com/DavidGewirtzTV.