Gerüchten zufolge hat apple seit langem Pläne für einen großen KI-Vorstoß bis 2024 und darüber hinaus, und nun könnten neue Forschungsergebnisse einen großen Beitrag dazu leisten, dass dies Wirklichkeit wird und gleichzeitig Apples Forderung nach Sicherheit und Datenschutz aufrechterhalten werden kann.

Bisher wurden große Sprachmodelle (LLMs), wie sie chatgpt zugrunde liegen, von Computern in Rechenzentren betrieben und über eine Webseite oder eine iphone-App aufgerufen. Dabei handelt es sich um riesige Softwarepakete, die ebenso große Mengen an Ressourcen erfordern, um ordnungsgemäß zu funktionieren. Daher ist es problematisch, sie lokal auf Telefonen wie dem kommenden iPhone 16 laufen zu lassen. Aber wenn LLMs in Rechenzentren laufen, gibt es Bedenken hinsichtlich des Datenschutzes Da Apple bereits daran arbeitet, so viele Siri-Anfragen wie möglich auf dem Gerät zu halten, ist es keine Überraschung, dass Apple das Gleiche mit jeder LLM-Implementierung tun möchte, an der es arbeitet.

Nun könnte eine Forschungsarbeit die Antwort liefern und die Tür für ein Debüt von Apples hauseigenem Apple GPT außerhalb von Apple Park öffnen. Aber wenn Siri wirklich ein großes Upgrade bekommt, könnten die iPhones 2024 dann zu früh kommen?

Verarbeitung auf dem Gerät

Der Forschungsberichtmit dem Titel „LLM in a flash: Efficient Large Language Model Inference with Limited Memory“ wurde von mehreren Apple-Ingenieuren verfasst und erörtert, wie ein LLM auf Geräten mit begrenztem RAM (oder DRAM) wie iPhones verwendet werden könnte. Das Papier wäre auch nützlich, um Siri-Upgrades auf ähnliche Geräte mit begrenztem RAM wie MacBooks und das iPad der unteren Preisklasse zu bringen, ganz zu schweigen von der Apple Watch.

„Große Sprachmodelle (LLMs) sind von zentraler Bedeutung für die moderne Verarbeitung natürlicher Sprache und liefern außergewöhnliche Leistung bei verschiedenen Aufgaben“, beginnt der Artikel. „Ihre hohen Rechen- und Speicheranforderungen stellen jedoch eine Herausforderung dar, insbesondere für Geräte mit begrenzter DRAM-Kapazität. In diesem Artikel geht es um die Herausforderung, LLMs, die die verfügbare DRAM-Kapazität überschreiten, effizient auszuführen, indem die Modellparameter im Flash-Speicher gespeichert, aber bei Bedarf in den DRAM übertragen werden.“ .”

Flash-Speicher oder der Speicher, den Sie beim Kauf Ihres iPhones wählen, ist viel umfangreicher und kann für die Speicherung der LLM-Daten reserviert werden. In dem Artikel werden verschiedene Möglichkeiten zur Verwendung des Flash-Speichers eines Geräts anstelle von DRAM erörtert. Es werden hauptsächlich zwei Methoden besprochen, darunter „Fensterung“ und „Zeilen-Spalten-Bündelung“.

In dem Papier wird erklärt, dass „diese Methoden insgesamt die Ausführung von Modellen mit bis zu doppelter Größe des verfügbaren DRAM ermöglichen, mit einer 4-5-fachen bzw. 20-25-fachen Steigerung der Inferenzgeschwindigkeit im Vergleich zu naiven Ladeansätzen in CPU bzw. GPU.“

Offensichtliche Vorteile

Die Vorteile eines solchen Ansatzes liegen auf der Hand. Das Speichern eines LLM auf einem iPhone wäre nicht nur vorteilhaft, da es nicht mehr in einem entfernten Rechenzentrum gespeichert werden muss und den Datenschutz verbessert, sondern es wäre auch viel schneller. Die Beseitigung der durch schlechte Datenverbindungen verursachten Latenz ist eine Sache, aber die Geschwindigkeitssteigerung geht darüber hinaus und könnte dazu führen, dass Siri präziser und schneller als je zuvor reagiert.

Gerüchten zufolge arbeitet Apple bereits daran, verbesserte Mikrofone in die iPhone 16-Reihe einzuführen, wahrscheinlich um sicherzustellen, dass Siri klarer hört, was die Leute von ihm verlangen. Kombiniert man das mit dem Potenzial für einen LLM-Durchbruch, könnten die iPhones 2024 ernsthafte KI-Probleme mit sich bringen.

Mehr von iMore