Vor ein paar Wochen, Meta CEO Das gab Mark Zuckerberg via Facebook bekannt dass sein Unternehmen sein großes Sprachmodell (LLM) Code Llama, eine Engine für künstliche Intelligenz (KI) ähnlich GPT-3.5 und GPT-4 in chatgpt, als Open-Source-Lösung anbietet.

Zuck kündigte drei interessante Dinge zu diesem LLM an: Es ist Open-Source, es soll beim Schreiben und Bearbeiten von Code helfen und sein Modell verfügt über 70B-Parameter. Die Hoffnung besteht darin, dass Entwickler das Modell mit anspruchsvolleren Problemen versorgen können und die Engine bei der Beantwortung genauer ist.

Außerdem: Warum generative Open-Source-KI-Modelle immer noch einen Schritt hinter GPT-4 zurückliegen

Das Open-Sourcing-Thema ist interessant. Dabei handelt es sich um einen Ansatz, der impliziert, dass Sie das Ganze herunterladen, auf Ihrem eigenen Server installieren und das Modell verwenden können, um Programmierhilfe zu erhalten, ohne jemals das Risiko einzugehen, dass die Overlords von Facebook Ihren Code für Schulungen oder andere schändliche Zwecke aufsaugen.

Für diese Arbeit müssen Sie einen linux-Server einrichten und alle möglichen Aufgaben ausführen. Es stellt sich jedoch heraus, dass die Spezialisten von Hugging Face den Code Llama 70B LLM bereits in ihre HuggingChat-Schnittstelle implementiert haben. Das werde ich als nächstes testen.

Erste Schritte mit Code Llama

Um zu beginnen, müssen Sie ein kostenloses Konto bei Hugging Face erstellen. Wenn Sie bereits eines haben (wie ich), können Sie das 70B Code Llama LLM mit diesem Konto verwenden.

Außerdem: GitHub: KI hilft Entwicklern, sichereren Code zu schreiben, aber Sie müssen die Grundlagen richtig beherrschen

Es ist wichtig zu beachten, dass Sie Code Llama zwar auf Ihrem eigenen Server installieren und dabei keinen Code teilen könnten, bei Hugging Face sieht die Sache jedoch ganz anders aus. Dieser Dienst besagt, dass alles, was Sie eingeben, möglicherweise mit den Modellautoren geteilt wird, es sei denn, Sie deaktivieren diese Option in den Einstellungen:

Wenn du Melden Sie sich bei HuggingChat an, wird Ihnen ein leerer Chat-Bildschirm angezeigt. Wie Sie unten sehen können, ist mein aktuelles LLM openchat/openchat-3.5-0106, aber ich werde es in Code Llama ändern – und ich zeige Ihnen, wie.

Sie ändern Ihr aktuelles Modell in den Einstellungen, zu denen Sie über das Zahnradsymbol gelangen:

Klicken Sie in den Einstellungen (bei 1) auf codellama/CodeLlama-70b-Instruct-hf auf der linken Seite, überprüfen Sie (bei 2), ob das Code Llama LLM ausgewählt wurde, und klicken Sie dann auf Aktivieren (bei 3):

Wenn Sie jetzt mit der Chat-Oberfläche sprechen, verwenden Sie das Code-Llama-Modell, wie oben in der Chat-Oberfläche überprüft:

Zum Testen habe ich beschlossen, Eingabeaufforderungen aus einem früheren Codierungstestlauf zu ziehen, den ich mit Bard (jetzt Gemini) durchgeführt habe, und habe die gleichen Tests in HuggingChat durchgeführt.

Test 1: Schreiben eines WordPress-Plugins

Mein erster Test war die Erstellung eines WordPress-Plugins. ChatGPT hat diese Aufgabe recht gut gemeistert. Bard war schwach, versuchte aber sein Bestes. Aber wie wäre es mit Code Llama? Okay, lass uns nachsehen. Hier ist die Eingabeaufforderung:

Schreiben Sie ein mit PHP 8 kompatibles WordPress-Plugin, das ein Texteingabefeld bereitstellt, in das eine Liste von Zeilen eingefügt werden kann, und eine Schaltfläche, die beim Drücken die Zeilen in der Liste zufällig anordnet und die Ergebnisse in einem zweiten Texteingabefeld ohne Leerzeichen anzeigt Zeilen und stellt sicher, dass keine zwei identischen Einträge nebeneinander liegen (es sei denn, es gibt keine andere Option) … wobei die Anzahl der übermittelten Zeilen und die Anzahl der Zeilen im Ergebnis identisch sind. Unter dem ersten Feld wird der Text „Zu randomisierende Zeile:“ mit der Anzahl der nicht leeren Zeilen im Quellfeld angezeigt. Unter dem zweiten Feld wird der Text „Zeilen, die zufällig ausgewählt wurden:“ mit der Anzahl der nicht leeren Zeilen im Zielfeld angezeigt.

Und hier sind die Ergebnisse, wie sie sind:

Das stimmt auf so vielen Ebenen nicht. Erstens hat Code Llama nicht den Plugin-Header erstellt, einen sehr einfachen Satz von Feldern, die für alle Plugins erforderlich sind. Dann wurde Code generiert, den der Codeformatierer meines Programmiereditors nicht interpretieren konnte, was darauf hindeutet, dass im Code Elemente fehlen.

Darüber hinaus kann der Code nicht getestet werden. Das ist ein Fehlschlag.

Test 2: Eine String-Funktion umschreiben

Für diesen Test habe ich eine Anfrage zum Umschreiben von Zeichenfolgen verwendet, die ich einmal an ChatGPT gesendet habe. Ich wollte einen Fehler in meinem Code beheben, der nur ganze Zahlen zuließ, obwohl Dollar und Cent hätten zugelassen werden sollen (mit anderen Worten, eine bestimmte Anzahl von Ziffern, möglicherweise gefolgt von einem Punkt, und dann, wenn es einen Punkt gibt, zwei). mehr Ziffern).

Ich habe die gleiche Eingabeaufforderung eingegeben, die ich in meinem vorherigen Artikel verwendet habe, und diese Antwort erhalten:

Dieser Code funktioniert und ich bin damit zufrieden.

Test 3: Einen Fehler finden, den ich nicht finden konnte

Auch hier habe ich einen Test wiederverwendet, über den ich in einem früheren Artikel geschrieben habe. Ich verweise Sie auf den Originalartikel, wenn Sie Einzelheiten zu dem Problem erfahren möchten, das ich mit Code Llama ausprobiert habe. Das Codierungsproblem ist langwierig und ziemlich kompliziert, weshalb ich nicht herausfinden konnte, was falsch war.

ChatGPT hat das Problem sofort gelöst; Bard tat es nicht. Bard scheiterte, weil es die Oberfläche des Problems betrachtete und nicht, wie der Gesamtcode aufgebaut war und ausgeführt werden musste. Eine Analogie ist, mit Kopfschmerzen zum Arzt zu gehen. Ein Arzt könnte Ihnen raten, zwei Aspirin zu nehmen und ihn morgens nicht anzurufen. Der andere Arzt könnte versuchen, die Grundursache der Kopfschmerzen herauszufinden und bei der Lösung zu helfen.

Auch: So verwenden Sie ChatGPT zum Schreiben von Code

ChatGPT hat sich auf die Ursache konzentriert und ich konnte den Fehler beheben. Bard hat sich nur die Symptome angesehen und keine Lösung gefunden.

Leider hat Code Llama genau das Gleiche getan wie Bard und nur die Oberfläche des Problems betrachtet. Die KI gab Empfehlungen ab, aber diese Empfehlungen haben die Situation nicht verbessert.

Und der Gewinner ist…

Meine Testsuite ist alles andere als umfassend. Aber wenn Code Llama bei zwei der drei Tests scheitert, die ChatGPT nicht einmal verlangsamt haben, scheint die KI noch nicht bereit für die Hauptsendezeit zu sein.

Der einzige Grund, warum Sie Code Llama anstelle von ChatGPT verwenden möchten, besteht darin, dass Sie es auf Ihrem eigenen Server installieren, da Ihr Code dann nicht mit Meta geteilt wird. Aber was nützt die Privatsphäre, wenn das Ding keine richtigen Antworten gibt?

Wenn ChatGPT nicht so gut gewesen wäre, hätte ich Code Llama wahrscheinlich einige Punkte gegeben. Aber wir wissen, was mit ChatGPT möglich ist – und Code Llama ist weit davon entfernt. Kurz gesagt, es sieht so aus, als müsste Facebook nachlegen und einige Verbesserungen vornehmen.

Außerdem: KI in die Softwareentwicklung implementieren? Hier finden Sie alles, was Sie wissen müssen

Ehrlich gesagt hatte ich mehr erwartet und bin ein wenig enttäuscht. Aber wenn es eine Sache gibt, an die sich Tech-Kolumnisten gewöhnen, dann ist es, von vielen der Produkte und Projekte, die wir betrachten, ein wenig enttäuscht zu sein. Ich denke, das ist der Grund, warum wir uns so freuen, wenn etwas heraussticht und unsere Welt erschüttert. Und Code Llama gehört leider nicht dazu.

Haben Sie eine der KIs als Codierungshilfe ausprobiert? Welche haben Sie verwendet? Wie haben sie geklappt? Lass es uns unten in den Kommentaren wissen.

Sie können meine täglichen Projektaktualisierungen in den sozialen Medien verfolgen. Abonnieren Sie unbedingt meinen wöchentlichen Update-Newsletter auf Substackund folgen Sie mir auf Twitter unter @DavidGewirtzauf Facebook unter Facebook.com/DavidGewirtzauf Instagram unter Instagram.com/DavidGewirtzund auf YouTube unter YouTube.com/DavidGewirtzTV.