Guanaco, ein Open-Source-Chatbot, der von Forschern der University of Washington entwickelt wurde, soll mit chatgpt konkurrieren und gleichzeitig weniger Geld und Zeit für die Schulung erfordern.

Guanaco, ein von Forschern der University of Washington entwickelter Open-Source-Chatbot, versucht, mit der Leistung von ChatGPT zu konkurrieren und dabei während des Trainings deutlich weniger Zeit und Ressourcen zu verbrauchen. Guanaco, benannt nach einem Lama-Verwandten aus Südamerika, basiert auf dem LLaMA-Sprachmodell und verwendet eine brandneue Feinabstimmungstechnik namens QLoRA.

Die Entwickler von Guanaco behaupten, dass die Leistung mit ChatGPT vergleichbar ist und dass die Schulung nur einen Tag dauert. Möglich wird diese erstaunliche Leistung durch QLoRA, eine Methode zur Feinabstimmung von Sprachmodellen, die den für das Training erforderlichen GPU-RAM deutlich senkt. Die einfachste Version von Guanaco benötigt nur 5 GB GPU-RAM, verglichen mit den atemberaubenden 780 GB von ChatGPT für ein Modell mit 65 Milliarden Parametern.

Guanaco und andere solche Open-Source-Modelle stellen die Idee in Frage, dass für hochmoderne Sprachmodelle mit diesen spektakulären Effizienzvorteilen kostspieliges Training erforderlich ist. Die Zukunft teurer Modelle wie GPT wurde angesichts des Aufstiegs von Modellen wie Guanaco, Alpaca und anderen, die für einen kleinen Bruchteil des Preises trainieren, in Frage gestellt.

Allerdings teilt nicht jeder diese optimistische Meinung zu Open-Source-Modellen. Alpakas werden als Vorbilder herangezogen, doch eine aktuelle Studie der University of California hat ihre Fähigkeiten und ihr echtes Potenzial in Frage gestellt. Die Forscher kamen zunächst zu dem gleichen Schluss wie die Designer von Guanaco: Bei richtiger Schulung können Open-Source-Modelle hinsichtlich der Leistungsfähigkeit mit GPT konkurrieren. Zusätzliche Tests ergaben eine erhebliche Einschränkung. Diese „Dolly“-Modelle, wie sie allgemein genannt werden, sind geschickt darin, Lösungen für Probleme zu modellieren, auf die sie während des Trainings gestoßen sind. Wenn es um Aufgaben geht, denen sie offiziell nicht ausgesetzt waren, bleiben sie hinter anspruchsvolleren Modellen zurück.

Diese Informationen lassen vermuten, dass die Millionen, die für das Training von GPT und verwandten Modellen ausgegeben wurden, nicht umsonst waren. Obwohl Guanaco und seine Konkurrenten ermutigende Ergebnisse vorweisen, schneiden komplexere Modelle in einigen Fällen weiterhin besser ab. Es ist wichtig anzumerken, dass die Forschung der University of California Zweifel an der weit verbreiteten Annahme aufkommen lässt, dass günstige Modelle wie GPT vollständig durch Open-Source-Alternativen ersetzt werden könnten.

Es wird faszinierend sein zu sehen, wie Guanaco und andere Open-Source-Modelle im Vergleich zu seriösen Benchmarks wie ChatGPT abschneiden, während sich der Bereich der Verarbeitung natürlicher Sprache weiterentwickelt. Die Zukunft der Sprachmodelle wird zweifellos von der hohen Innovationsrate und der laufenden Forschung beeinflusst, die auch bestimmen wird, welche Modelle für bestimmte Anwendungen bevorzugt werden.