Haben Sie jemals darüber nachgedacht, wie große Sprachmodelle wie chatgpt die Fähigkeit erhalten würden, Anweisungen zu befolgen? Verschiedene Foundation-Language-Modelle erhalten es durch Supervised Fine-Tuning (SFT). Der entscheidende Faktor für den Erfolg von SFT ist die Vielfalt und Komplexität der Datensätze. Ihre qualitative Analyse und Definitionen müssen klarer sein.

Forscher der Alibaba DAMO Academy schlagen einen offenen, feinkörnigen Tagger namens „InsTag“ vor, um Proben innerhalb des SFT-Datensatzes auf der Grundlage von Semantik und Absichten zu markieren und so die Vielfalt und Komplexität von Anweisungen in Bezug auf Aufgaben zu definieren. Sie behaupten, dass die Modellfähigkeit mit komplexeren und vielfältigeren Daten zunimmt.

Forscher schlagen außerdem einen auf InsTag basierenden Datenselektor vor, um 6.000 verschiedene und komplexe Stichproben aus Open-Source-Datensätzen auszuwählen und Modelle anhand von InsTag ausgewählten Daten zu verfeinern. Sie behaupten, dass eine große Auswahl an Trainingsdaten, die verschiedene Semantiken und Fachgebiete abdecken, für gut auf die menschlichen Erwartungen abgestimmte LLMs von entscheidender Bedeutung ist, die menschliche Absichten präzise erkennen und Antworten in natürlichen Sprachen ordnungsgemäß formalisieren können.

InsTag ist eine automatische Instruction-Tagging-Methode, die durch den leistungsstarken Chatbot ChatGPT unterstützt wird. Es handelt sich um ein Framework, das ChatGPT automatisch dazu auffordert, Abfragen Tags zuzuweisen. ChatGPT verwendet eine systematische Tag-Normalisierungstechnik, um jedes zugewiesene Tag zu erklären. Wenn InsTag auf vorhandene Open-Source-Datensätze angewendet wird, werden offene, fein trainierte Tags erstellt, die weiter detailliert und analysiert werden, um Verteilungen basierend auf Komplexität und Diversität zu erhalten. LLMs, die mit den vom InsTag-Selektor ausgewählten Daten verfeinert wurden, schneiden im MIT-Benchmark besser ab.

Beim Versuch, mit ChatGPT Absichts-Tags zu generieren, identifizierten die Forscher drei Arten von Geräuschen. Aufgrund der Instabilität von ChatGPT bei der Einhaltung von Ausgabeformatanweisungen wurde Lexical Noise erzeugt. Die überspezifischen Tags erzeugen eine unkontrollierte Granularität, was zu Rauschen führt. Aufgrund der Voreingenommenheit von ChatGPT tauchten einige Tags oft zusammen auf und führten zu falschen Korrelationen.

Um diese Probleme zu lösen, normalisieren sie Open-Set-Tagging-Ergebnisse unter Verwendung verschiedener Aspekte wie Format, Semantik und Assoziationen. Sie filtern zunächst Long-Tail-Tags heraus, die weniger als ein bestimmter festgelegter Parameter (sogenannter Hyperparameter, der sich auf die Skalierung des Datensatzes bezieht) erscheinen. Alle Tags wurden in Kleinbuchstaben umgewandelt, um den Einfluss von Großbuchstaben zu vermeiden. Schließlich wenden sie Stemming auf jedes Tag an. Stemming ist eine Technik, mit der die Grundform von Wörtern durch Entfernen von Affixen daraus extrahiert wird.

Die Forscher wählten die 13B-Version von LLaMA zur Feinabstimmung und andere ähnliche LLMs zum Vergleich. Ihre Ergebnisse zeigen, dass ihre Modelle alle auf Open-Source ausgerichteten LLMs übertreffen und auf der MIT-Bench einen Durchschnittswert von 6,44 erreichen.

Zusammenfassend sagen die Forscher, dass ihr vorgeschlagener InsTag einen neuen Aspekt für ein tieferes Verständnis der Abfrageverteilung bei der Ausrichtung von LLMs bietet. Es verfügt über ein starkes Potenzial für die Erweiterung auf weitere Anwendungen über die Datenauswahl hinaus, wie etwa umfassende Auswertungen und tagbasierte Selbstanweisung.

Besuche die Papier, GitHubUnd Probieren Sie es hier aus. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachen unser 28k+ ML SubReddit, Über 40.000 Facebook-Community, Discord-Kanal, Und E-Mail-Newsletterwo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Wenn Ihnen unsere Arbeit gefällt, folgen Sie uns bitte weiter Twitter