LLMs sind Systeme der künstlichen Intelligenz, die in der Lage sind, natürliche Sprache aus großen Textdatenmengen zu verstehen und zu generieren. Beispiele für LLMs sind GPT-3 und GPT-4 von OpenAI, mit denen kohärente und abwechslungsreiche Texte zu jedem Thema erstellt werden können, von Nachrichtenartikeln über Gedichte bis hin zu Computercodes. Diese Modelle sind sehr leistungsstark, aber auch sehr speicher- und rechenintensiv, was ihre Bereitstellung auf mobilen Geräten wie iPhones, die über eine begrenzte Speicherkapazität verfügen, eine Herausforderung darstellt.
Um dieser Herausforderung zu begegnen, haben Apple-Forscher eine innovative Technik entwickelt, die Flash-Speicher – denselben Speicher, in dem Ihre Apps und Fotos gespeichert sind – zum Speichern von Sprachmodelldaten verwendet. Diese Technik reduziert die Datenübertragung zwischen Flash-Speicher und Arbeitsspeicher (RAM) und erhöht den Durchsatz des Flash-Speichers, was den Prozess der Sprachmodellinferenz beschleunigt. Dies legt jedenfalls eine im letzten Monat veröffentlichte Studie nahe.
Der Forschungsartikel trägt den Titel „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“. Die Autoren stellen fest, dass Flash-Speicher in mobilen Geräten häufiger vorhanden ist als der RAM, der traditionell zum Betrieb von Modellen verwendet wird. Daher umgeht ihre Methode diese Einschränkung geschickt, indem sie zwei Schlüsseltechniken verwendet, die die Datenübertragung minimieren und den Flash-Speicherdurchsatz maximieren:
- Fenggen: Dies ist eine Recyclingmethode. Anstatt jedes Mal neue Daten zu laden, verwendet das KI-Modell einige der bereits verarbeiteten Daten wieder. Dies reduziert die Notwendigkeit, ständig Daten aus dem Speicher abzurufen, was den Prozess schneller und reibungsloser macht;
- Zeilen-Spalten-Gruppierung: Diese Technik ist so, als würde man ein Buch in Teilen lesen und nicht nur ein Wort nach dem anderen. Durch die effizientere Gruppierung von Daten können diese schneller aus dem Flash-Speicher gelesen werden, wodurch die Fähigkeit der KI, Sprache zu verstehen und zu generieren, beschleunigt wird.
Dem Artikel zufolge ermöglicht die Kombination dieser Methoden, dass KI-Modelle mit bis zu der doppelten Größe des verfügbaren Speichers des iPhones arbeiten. Dies führt zu einer Geschwindigkeitssteigerung um das 4,5-fache bei Standardprozessoren (CPUs) und um das 20,25-fache bei Grafikprozessoren (GPUs). Die Autoren schrieben: „Dieser Fortschritt ist besonders wichtig für den Einsatz fortschrittlicher Modelle in ressourcenbeschränkten Umgebungen und erweitert ihre Anwendbarkeit und Zugänglichkeit.“ Analysten sagen, dass dies ein großer Fortschritt ist, der neue Möglichkeiten für die zukünftigen Geräte von Apple eröffnet.
Laut iOS 17.4-Code testet Apple derzeit vier verschiedene Sprachmodelle.
Laut iOS 17.4-Code enthält das iphone OS-Update ein neues privates SiriSummarization-Framework, das die ChatGPT-API von OpenAI verwendet. Offenbar nutzt Apple es, um seine neuen KI-Funktionen intern zu testen.
Es gibt auch viele Beispiele für Systemaufforderungen für das SiriSummarization-Framework in iOS 17.4. Dazu gehören Nachrichten wie „Bitte zusammenfassen“, „Bitte beantworten Sie diese Frage“ und „Bitte fassen Sie den angegebenen Text zusammen“.
Die Systemansagen sagen Ihnen auch, was zu tun ist, wenn Daten in Form einer iMessage oder SMS empfangen werden. Dies deckt sich mit einem früheren Bericht von Bloomberg, in dem es hieß, Apple arbeite an der Integration von KI in die Nachrichten-App, die Fragen beantworten und Sätze automatisch vervollständigen kann.
Schlagen Sie anhand der vom Benutzer empfangenen SMS, die die Felder Absender, Inhalt und Sendezeit enthält, einem Sprachassistenten eine geeignete Aktion vor, einschließlich des Aktionstyps, des Aktionswerts, des Werttyps der Aktion und des Konfidenzindex im JSON-Format. Mögliche Aktionstypen sind MessageReply, GetDirection, Call, SaveContact, Remind, MessageContact und None. Mögliche Aktionswerttypen sind Nachricht, Adresse, Telefonnummer, Kontakt, Rückruf. Der mögliche Bewertungswert liegt zwischen 0 und 1 und stellt den Konfidenzwert der vorgeschlagenen Aktion dar.
Es ist unwahrscheinlich, dass Apple OpenAI-Modelle verwendet, um seine KI-Funktionen in iOS 18 zu unterstützen. Vielmehr testet das Unternehmen seine eigenen KI-Modelle gegen ChatGPT.
Beispielsweise kann das SiriSummarization-Framework mithilfe von Vorlagen auf dem Gerät Zusammenfassungen erstellen. Apple scheint seine eigenen Modelle der künstlichen Intelligenz zu verwenden, um dieses Framework zu betreiben, und vergleicht seine Ergebnisse dann intern mit ChatGPT.
Laut iOS 17.4-Code testet Apple derzeit vier verschiedene Sprachmodelle. Eines davon ist Apples internes Modell namens Ajax, das mit 200 Milliarden Parametern arbeitet, was auf ein hohes Maß an Komplexität und Kapazität beim Verstehen und Generieren der Sprache schließen lässt. iOS 17.4 zeigt, dass es zwei Versionen von AjaxGPT gibt, eine, die auf dem Gerät verarbeitet wird, und eine, die nicht verarbeitet wird.
Zu den weiteren Modellen, auf die iOS 17.4 verweist, gehören das bereits erwähnte ChatGPT sowie das FLAN-T5. Die wichtigste Schlussfolgerung aus diesen Ergebnissen ist, dass Apple seine Bemühungen zur Integration großer Sprachmodelle in iOS verdoppelt. Interessant ist auch, dass Apple gleichzeitig ein eigenes System entwickelt und die Ergebnisse dieses Systems mit Tools wie ChatGPT und FLAN-T5 vergleicht.
Dieser Durchbruch ist besonders wichtig für den Einsatz fortschrittlicher LLMs in ressourcenbeschränkten Umgebungen und erweitert deren Anwendbarkeit und Zugänglichkeit. Es eröffnet auch neue Möglichkeiten für zukünftige iPhones, wie zum Beispiel erweiterte Siri-Funktionen, Echtzeitübersetzung und auf künstlicher Intelligenz basierende Funktionen in der Fotografie und Augmented Reality. Die Technologie schafft auch die Voraussetzungen dafür, dass iPhones komplexe Assistenten und Chatbots auf dem Gerät ausführen können, woran Apple Berichten zufolge bereits arbeitet.
Apple wird voraussichtlich im Juni mit iOS 18 neue Funktionen für künstliche Intelligenz vorstellen. In der Zwischenzeit können Benutzer die Fähigkeiten von Siri in iOS 17.4 testen, das sich derzeit in der Betaversion für Entwickler und öffentliche Tester befindet.
Schon jetzt Kritik an diesem Ansatz
Apples Bestreben, KI-Modelle direkt auf iPhones laufen zu lassen, wird wegen seiner offensichtlichen Hardware-Einschränkungen kritisiert, die das Benutzererlebnis beeinträchtigen könnten. Die Einbettung von KI-Modellen auf Mobilgeräten mit begrenzter Speicherkapazität wirft Platzprobleme für Benutzer auf.
Einige Kritiker sagen, Apple sei zu sehr auf Übernahmen angewiesen, um Innovationen voranzutreiben. Anstatt sich intern weiterzuentwickeln, akquiriert das Unternehmen tendenziell Technologie-Startups, was Fragen zu seiner Fähigkeit zur unabhängigen Innovation aufwirft. Man muss sagen, dass das kalifornische Unternehmen seit 2017 21 auf KI spezialisierte Startups übernommen hat, die sich auf die Lösung der technologischen Herausforderungen konzentrieren, die mit dem Einsatz von KI auf mobilen Geräten, insbesondere iPhones, verbunden sind.
Abschluss
Mehrere Analysten glauben, dass Apple ist der Zug im Vergleich zu seinen Konkurrenten, obwohl das Unternehmen 2018 John Giannandrea, den Top-KI-Manager von google, eingestellt hat. Während Microsoft und Google sich weitgehend auf die Bereitstellung von Chatbots und anderen generativen KI-Diensten über das Internet von ihren riesigen Cloud-Plattformen aus konzentriert haben, deuten Apples Untersuchungen darauf hin, dass sie sich stattdessen darauf konzentrieren werden An eine KI, die direkt auf einem iPhone laufen kann. Eine Initiative, die einen großen Unterschied machen kann. Berichten zufolge bereiten einige Apple-Konkurrenten wie Samsung die Einführung eines neuen Typs von KI-Smartphones in diesem Jahr vor.
Counterpoint Research geht davon aus, dass im Jahr 2024 mehr als 100 Millionen KI-fähige Smartphones auf den Markt kommen werden und dass bis 2027 40 % der neuen Geräte über solche Funktionen verfügen werden. Cristiano Amon, CEO von Qualcomm, dem weltweit größten Hersteller mobiler Chips, weist seinerseits darauf hin Die Einführung von KI in Smartphones würde neue Erlebnisse für Verbraucher schaffen und den Abwärtstrend bei den Mobiltelefonverkäufen umkehren. „Anfang 2024 werden Geräte mit einer Reihe generativer KI-Anwendungsfälle auf den Markt kommen“, sagte Amon kürzlich in einem Interview.
Unabhängig davon stößt Apples Bestreben, KI-Modelle direkt auf iPhones auszuführen, auf offensichtliche Hardware-Einschränkungen. Die Rechen- und Speicherkapazitäten von Smartphones sind im Vergleich zu Cloud-Servern notorisch begrenzt. Bei diesem Ansatz besteht die Gefahr, dass die Gesamtleistung von iPhones zugunsten lokaler KI-Funktionen geopfert wird und dadurch das Benutzererlebnis beeinträchtigt wird.
KI-Modelle, insbesondere solche, die für fortgeschrittene Aufgaben benötigt werden, sind umfangreich. Die Idee, diese Modelle in mobile Geräte mit begrenzter Speicherkapazität zu integrieren, gibt Anlass zu ernsthaften Bedenken. Benutzer könnten mit Platzproblemen konfrontiert sein, die diese Funktion für eine große Anzahl von Benutzern unpraktisch machen könnten.
Quellen: FLAN-T5Bloomberg
Und du ?
Was halten Sie von Apples neuer Technik zur Verwendung von Flash-Speicher zum Speichern von Sprachmodelldaten?
Welche Funktionen von Siri würden Sie gerne mit großen Sprachmodellen verbessert sehen?
Welche Risiken und Chancen sind mit der Verwendung großer Sprachmodelle auf Mobilgeräten verbunden?
Verstehen Sie die Kritiker, die bereits über Platzprobleme für dieses Feature nachdenken?
