Large Language Models (LLMs) haben sich als Game Changer im Bereich der Verarbeitung natürlicher Sprache herausgestellt. Sie werden zu einem wichtigen Bestandteil unseres täglichen Lebens. Das bekannteste Beispiel für ein LLM ist chatgpt, und man kann davon ausgehen, dass mittlerweile fast jeder davon weiß und die meisten von uns es täglich nutzen.

LLMs zeichnen sich durch ihre enorme Größe und Fähigkeit aus, aus großen Textdatenmengen zu lernen. Dies ermöglicht es ihnen, kohärente und kontextrelevante, menschenähnliche Texte zu generieren. Diese Modelle basieren auf Deep-Learning-Architekturen wie GPT (Generative Pre-trained Transformer) und BERT (Bidirektionale Encoder-Repräsentationen von Transformers), die Aufmerksamkeitsmechanismen nutzen, um weitreichende Abhängigkeiten in einer Sprache zu erfassen.

Durch den Einsatz von Vorschulungen auf großen Datensätzen und der Feinabstimmung auf bestimmte Aufgaben haben LLMs bei verschiedenen sprachbezogenen Aufgaben, einschließlich Textgenerierung, Stimmungsanalyse, maschineller Übersetzung und Beantwortung von Fragen, bemerkenswerte Leistungen gezeigt. Während sich LLMs weiter verbessern, bergen sie ein enormes Potenzial, das Verständnis und die Generierung natürlicher Sprache zu revolutionieren und die Lücke zwischen Maschinen und menschenähnlicher Sprachverarbeitung zu schließen.

Andererseits waren einige Leute der Meinung, dass LLMs nicht ihr volles Potenzial ausschöpfen würden, da sie sich nur auf die Texteingabe beschränken. Sie haben daran gearbeitet, das Potenzial von LLMs über die Sprache hinaus zu erweitern. Einige der Studien haben LLMs erfolgreich mit verschiedenen Eingabesignalen wie Bildern, Videos, Sprache und Audio integriert, um leistungsstarke multimodale Chatbots zu erstellen.

Allerdings liegt hier noch ein langer Weg vor uns, da den meisten dieser Modelle das Verständnis der Beziehungen zwischen visuellen Objekten und anderen Modalitäten fehlt. Während visuell verbesserte LLMs qualitativ hochwertige Beschreibungen generieren können, tun sie dies in einer Black-Box-Manier, ohne sich explizit auf den visuellen Kontext zu beziehen.

Die Herstellung einer expliziten und informativen Entsprechung zwischen Text und anderen Modalitäten in multimodalen LLMs kann die Benutzererfahrung verbessern und eine neue Reihe von Anwendungen für diese Modelle ermöglichen. Treffen wir uns BuboGPT, das diese Einschränkung angeht.

BuboGPT ist der erste Versuch, visuelle Erdung in LLMs zu integrieren, indem visuelle Objekte mit anderen Modalitäten verbunden werden. BuboGPT ermöglicht das gemeinsame multimodale Verstehen und Chatten für Text, Bild und Audio durch das Erlernen eines gemeinsamen Darstellungsraums, der gut mit vorab trainierten LLMs übereinstimmt.

Visuelle Erdung ist keine leichte Aufgabe und spielt daher eine entscheidende Rolle BuboGPT’s Pipeline. Um dies zu erreichen, baut BuboGPT eine Pipeline auf, die auf einem Selbstaufmerksamkeitsmechanismus basiert. Dieser Mechanismus stellt feinkörnige Beziehungen zwischen visuellen Objekten und Modalitäten her.

Die Pipeline umfasst drei Module: ein Tagging-Modul, ein Erdungsmodul und ein Entity-Matching-Modul. Das Tagging-Modul generiert relevante Text-Tags/Beschriftungen für das Eingabebild, das Grounding-Modul lokalisiert semantische Masken oder Boxen für jedes Tag und das Entity-Matching-Modul verwendet LLM-Argumentation, um übereinstimmende Entitäten aus den Tags und Bildbeschreibungen abzurufen. Durch die Verbindung visueller Objekte und anderer Modalitäten durch Sprache, BuboGPT verbessert das Verständnis multimodaler Eingaben.

Um ein multimodales Verständnis beliebiger Eingabekombinationen zu ermöglichen, BuboGPT verwendet ein zweistufiges Trainingsschema ähnlich Mini-GPT4. In der ersten Phase werden ImageBind als Audio-Encoder, BLIP-2 als Vision-Encoder und Vicuna als LLM verwendet, um einen Q-Former zu erlernen, der Bild- oder Audiofunktionen mit der Sprache in Einklang bringt. In der zweiten Stufe führt es eine multimodale Anweisungsoptimierung an einem hochwertigen Anweisungsfolgedatensatz durch.

Die Erstellung dieses Datensatzes ist für das LLM von entscheidender Bedeutung, um die bereitgestellten Modalitäten zu erkennen und festzustellen, ob die Eingaben gut übereinstimmen. Daher, BuboGPT erstellt einen neuartigen, hochwertigen Datensatz mit Teilmengen für Sehanweisung, Audioanweisung, Tonlokalisierung mit positiven Bild-Audio-Paaren und Bild-Audio-Untertitel mit negativen Paaren für semantisches Denken. Durch die Einführung negativer Bild-Audio-Paare BuboGPT erlernt eine bessere multimodale Ausrichtung und zeigt ein stärkeres gemeinsames Verständnis.

Besuche die Papier, GithubUnd Projekt. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 28k+ ML SubReddit, Über 40.000 Facebook-Community, Discord-Kanal, Und E-Mail-Newsletterwo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.