Im Bereich der Konversationsforschung zu künstlicher Intelligenz (KI) herrscht das vorherrschende Verständnis vor, dass die Erweiterung der Modellparameter und der Trainingsdatengröße die Qualität und Leistungsfähigkeit von Large Language Models (LLMs) erheblich verbessert. Während der aktuelle Trend darin besteht, Modelle auf atemberaubende Größen zu skalieren, wobei hochmoderne Systeme Hunderte von Milliarden Parametern aufweisen, verursacht dieser Ansatz erhebliche praktische Kosten im Hinblick auf den Inferenzaufwand. Das Streben nach kompakteren und effizienteren Chat-KIs, die in der Lage sind, das Engagement der Benutzer aufrechtzuerhalten und die Konversationsqualität auf dem Niveau ihrer größeren Gegenstücke aufrechtzuerhalten, bleibt unerlässlich.

Während ein einzelnes kleines Modell möglicherweise Schwierigkeiten hat, mit riesigen LLMs auf dem neuesten Stand der Technik zu konkurrieren, stellt sich eine interessante Frage: Kann ein Kollektiv mittelgroßer LLMs gemeinsam eine Chat-KI mit gleichwertigen oder überlegenen Fähigkeiten bilden? Ausgehend von dieser Frage stellt ein kürzlich erschienenes Papier mit dem Titel „Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM“ eines Forschungsteams der University of Cambridge und des University College London den Blended-Ansatz vor.

Blended bietet eine einfache, aber wirkungsvolle Methode zur Zusammenführung mehrerer Chat-KIs durch stochastische Auswahl von Antworten aus verschiedenen Systemen. Dieser Ansatz erweist sich als unerwartet leistungsstark und ermöglicht es einem Konsortium aus drei 6-13B-Parametermodellen, die Engagement- und Bindungsfähigkeiten des 175B chatgpt zu übertreffen. Im Kern nutzt Blended das kollaborative Potenzial bestehender kleiner Konversations-LLMs, um eine einheitliche Chat-KI zu schaffen, die fesselndere und vielfältigere Antworten generiert.

Der Blended-Ansatz versucht, Stichproben aus der echten Ensembleverteilung anzunähern. Um diese Annäherung zu erreichen, muss Blended bei jeder Runde zufällig und gleichmäßig die Chat-KI auswählen, die für die Generierung der aktuellen Antwort verantwortlich ist. Die generierte Antwort hängt von allen vorherigen Antworten zuvor ausgewählter Chat-KIs ab und ermöglicht so einen impliziten Einfluss auf die Ausgabe. Diese kollaborative Synergie führt zu einer gemischten Reaktion, die die Stärken einzelner Chat-KIs nutzt, um eine insgesamt ansprechendere Konversation zu gestalten.

Die Forscher validieren die Wirksamkeit von Blended durch umfangreiche groß angelegte A/B-Tests an echten Nutzern auf der CHAI-Plattform. Die Ergebnisse unterstreichen, dass ein Blended-Ensemble, bestehend aus drei LLMs mit 6-13B-Parametern, die Leistung von OpenAIs ChatGPT mit 175B+ Parametern übertrifft. Insbesondere weisen gemischte Ensembles eine deutlich höhere Benutzerbindung auf, was darauf hindeutet, dass Benutzer den ansprechenden, unterhaltsamen und nützlichen Charakter gemischter Chat-KIs bevorzugen. Bemerkenswert ist, dass all diese Erfolge nur mit einem Bruchteil der Inferenzkosten und des Speicheraufwands verbunden sind, die typischerweise mit herkömmlichen Ansätzen verbunden sind.

Blended erweist sich als bahnbrechender Ansatz auf der Suche nach effizienter und ansprechender Konversations-KI. Durch die strategische Kombination kleinerer Modelle stellt es nicht nur die Dominanz massiver LLMs in Frage, sondern stellt auch eine kostengünstige Alternative dar, die das Benutzererlebnis in den Vordergrund stellt, ohne Kompromisse bei der Leistung einzugehen. Während sich die KI-Landschaft weiterentwickelt, ist Blended ein Beweis für die transformative Kraft der Zusammenarbeit zwischen Modellen bescheidener Größe und gestaltet die Zukunft der Konversations-KI neu.

Das Papier Blending ist alles, was Sie brauchen: Günstigere, bessere Alternative zu Billionen-Parametern-LLM An arXiv.

Autor: Hekate Er | Editor:Kette Zhang

Wir wissen, dass Sie keine Neuigkeiten oder Forschungsdurchbrüche verpassen möchten. Abonnieren Sie unseren beliebten Newsletter Wöchentlich synchronisierte globale KI um wöchentliche KI-Updates zu erhalten.