Während künstliche Intelligenz dem Menschen Komfort bringt, belastet sie auch den Energieverbrauch. Einige Daten deuten darauf hin, dass chatgpt mehr als 500.000 Kilowattstunden Strom pro Tag verbraucht und alle 5 bis 50 verarbeiteten Eingabeaufforderungen fast einen halben Liter Wasser für die Computerkühlung verbrauchen . Die Situation ist besorgniserregend. Vor diesem Hintergrund hat das google DeepMind-Forschungsteam kürzlich eine neue Methode zur Beschleunigung des Trainings für künstliche Intelligenz vorgeschlagen. Mithilfe von multimodalem kontrastivem Lernen und gemeinsamer Exemplarauswahl können die für das Training künstlicher Intelligenz erforderlichen Rechenressourcen und -zeiten erheblich reduziert werden Iteration Die Häufigkeit ist 13-mal geringer als die aktuelle, und der Berechnungsaufwand ist ebenfalls 10-mal geringer, wodurch die fortschrittlichsten Modelle erfolgreich übertroffen werden.

Laut einem vom Google DeepMind-Forschungsteam veröffentlichten Forschungsbericht ist die Datenqualität ein wichtiger Faktor für die Leistung vor dem Training. Modelle wie Phi-3 und Gemma 2 zeigen, dass mit weniger, aber qualitativ hochwertigen Daten eine höhere Leistung erzielt werden kann. Um qualitativ hochwertige Daten herauszufiltern, ist der Aufbau einer effektiven Datenpipeline der Schlüssel. Derzeit werden sie grob in manuelle Verwaltungsmethoden und modellbasierte Datenverwaltungsmethoden unterteilt. Erstere ist jedoch kostspielig und schwer zu erweitern, während letztere voraussichtlich das Skalierungsgesetz für multimodale, groß angelegte Sprachmodelle (LLM) implementieren.

Das vom Forschungsteam veröffentlichte JEST-Prinzip ist einfach und leicht zu verstehen. Das Modell filtert „Sub-Batch“ aus dem „Super-Batch“ heraus, was die Lerneffizienz erheblich verbessern kann. Forschungsdaten zeigen, dass JEST bei der Filterung von 90 % der Daten die Leistung um 6 % verbessern kann, und bei Maximierung der Trainingsgeschwindigkeit oder -effizienz auf Kosten der Berechnung kann JEST die Geschwindigkeit im Vergleich zu vergleichbaren IID-Trainingsläufen um das 13-fache steigern.

Der Forschungsbericht zeigt das große Potenzial der JEST-Datenqualitätsberatung. Selbst kleine ausgewählte Datensätze können das Lernen größerer, nicht verwalteter Datensätze unterstützen und neue Wege für die Entwicklung künstlicher Intelligenz und multimodaler Modelle eröffnen.

Quelle:Toms Hardware

In Verbindung stehende Artikel:

[Lehre]Stable Diffusion XL ist ohne leistungsstarke Hardware einfach und kostenlos auf Mobiltelefonen zu spielen. Mit einfacher Syntax können Bilder von hübschen Mädchen generiert werden

[Lehre]ChatGPT stellt eine Verbindung zu Google Spreadsheet her, um verschiedene Diagramme und berechnete Daten zu generieren

[Bewertung]Google Pixel 8a Form, Haptik, Bildschirm, Kameraleistung, Unboxing-Bewertung