Das Forschungsteam von apple hat eine bahnbrechende Entdeckung veröffentlicht, die die Ausführung von Modellen künstlicher Intelligenz auf einem iphone einfacher und schneller machen könnte. Die Entdeckung könnte dazu führen, dass Siri in Zukunft ein massives Upgrade erhält, einschließlich der vollständigen Konversationsfunktionen eines Tools wie chatgpt.
Die Entwicklung ermöglicht die effiziente Ausführung großer Sprachmodelle (LLM) auf einem Gerät mit begrenztem Speicher. Dies ist wichtig, da dadurch die gesamte Verarbeitung auf dem iPhone erfolgen kann, wodurch die Menge vertraulicher Informationen reduziert wird, die vom Gerät in die Cloud gesendet werden.
google bringt im nächsten Jahr seinen Bard AI-Chatbot in seinen Assistenten ein, aber dafür werden wahrscheinlich Gespräche vom Telefon zur Verarbeitung gesendet werden müssen.
Apple war schon immer auf Sicherheit bedacht und daher müsste jedes LLM-Upgrade für Siri auf dem iPhone durchgeführt werden. Ob es sich hierbei um eine Version des gemunkelten Apple-GPT handelt oder um etwas ganz anderes, ist unklar.
Was ist das Problem bei der lokalen Ausführung von LLMs?
Chatbots wie ChatGPT und Bard sind speicherintensive Anwendungen. Ein Großteil der Verarbeitung wird von leistungsstarken GPUs in großen Cloud-Rechenzentren abgewickelt und auf diesen ausgeführt. Es muss komplexe Abfragen und riesige Datenmengen durchgehen, um eine begründete Antwort zu finden.
Die meisten Telefone, einschließlich iPhones, verfügen über begrenzte Speicherkapazitäten und ein Großteil ihrer Speicherkapazität wird vom Betriebssystem und anderen Anwendungen genutzt.
Eine Lösung besteht darin, die Größe des KI-Modells zu reduzieren. Microsoft hat kürzlich ein kleines Sprachmodell namens Phi-2 veröffentlicht und Google hat eine Version von Gemini namens Nano, die auf dem Gerät ausgeführt werden kann.
Aber die Verkleinerung des Modells, um es auf einem weniger leistungsstarken Prozessor laufen zu lassen, verringert auch seine Fähigkeiten und löst nicht immer das Speicherproblem.
Wie funktioniert der Durchbruch?
Apple-Forscher haben einen Weg dazu gefunden Verwenden Sie Flash-Speicher, wo die Apps und Daten gespeichert werden, und nicht nur begrenzter RAM. Das iphone 15 verfügt über 6 GB RAM, aber mindestens 128 GB Flash-Speicher.
Das Team fand einen Weg, diese umfangreichere Form der Speicherung zu nutzen, indem es Daten recycelte und Informationsblöcke bündelte.
Dadurch kann ein KI-Modell effektiv vier- bis fünfmal schneller laufen, als es sonst möglich wäre, wodurch Reaktionsverzögerungen reduziert werden, die es andernfalls unbrauchbar machen würden.
„Dieser Durchbruch ist besonders wichtig für den Einsatz fortschrittlicher LLMs in ressourcenbeschränkten Umgebungen und erweitert dadurch ihre Anwendbarkeit und Zugänglichkeit“, erklärte das Team.
Was bedeutet das alles für Siri?
Im Moment reagiert Siri basierend auf seinen vorprogrammierten Fähigkeiten, aber mit einem großen Sprachmodell, das den Chatbot antreibt, wäre es in der Lage, natürlichere Gespräche zu führen.
Jedes LLM-bezogene Upgrade auf Siri würde auch eine tiefere Integration mit dem iPhone insgesamt ermöglichen. Dies liegt daran, dass die KI des Basismodells komplexere Abfragen verarbeiten kann und sogar als Funktion der Nachrichten-App zum Erstellen komplexer Nachrichten integriert werden könnte.
Es gibt eine wachsende Zahl von KI-gestützten Anwendungen für das iPhone, darunter E-Mail-Clients, Chatbots und sogar eine, mit der Sie LLMs lokal ausführen können – wenn auch kleinere Modelle und mit einer gewissen Verzögerung der Reaktionszeit.
Dieser neue Schritt würde eine tiefere Integration und eine sicherere Umgebung ermöglichen, in der Daten das Gerät nicht verlassen müssen. Es ermöglicht Apple außerdem, mit Gemini Nano von Google zu konkurrieren, einem geräteinternen kleinen Sprachmodell, das Android-Entwicklern zur Verwendung in ihren Apps zur Verfügung steht.
