Wenn ein KI-Labor sein zugrunde liegendes großes Sprachmodell aktualisiert, kann dies häufig zu unerwartetem Verhalten führen, einschließlich einer völligen Änderung der Art und Weise, wie es auf Abfragen reagiert. Forscher bei apple haben neue Möglichkeiten entwickelt, um die Benutzererfahrung zu verbessern, wenn ein KI-Modell aktualisiert wird, mit dem sie gewohnt sind zu arbeiten.
In einem Papiersagten Apples Forscher, dass Benutzer ihr eigenes System entwickeln, um mit einem LLM zu interagieren, einschließlich Eingabeaufforderungsstilen und -techniken. Der Wechsel zu einem neueren Modell kann eine anstrengende Aufgabe sein, die ihre Erfahrung mit dem KI-Modell trübt.
Ein Update könnte dazu führen, dass Benutzer gezwungen sind, die Art und Weise zu ändern, wie sie Eingabeaufforderungen schreiben. Während frühe Anwender von Modellen aus chatgpt dies möglicherweise akzeptieren, wird ein Mainstream-Publikum, das iOS verwendet, dies wahrscheinlich nicht akzeptabel finden.
Um dieses Problem zu lösen, befasste sich das Team mit der Erstellung von Metriken zum Vergleichen von Regressionen und Inkonsistenzen zwischen verschiedenen Modellversionen und entwickelte außerdem eine Trainingsstrategie, um das Auftreten dieser Inkonsistenzen von vornherein zu minimieren.
Obwohl noch nicht klar ist, ob dies Teil einer zukünftigen iOS Apple Intelligence sein wird, ist es klar, dass Apple sich auf das vorbereitet, was passiert, wenn es seine zugrunde liegenden Modelle aktualisiert, um sicherzustellen, dass Siri in Zukunft auf die gleichen Fragen auf die gleiche Weise reagiert.
KI abwärtskompatibel machen
Apple präsentiert MUSCLEA-Modellaktualisierungsstrategie für kompatible LLM-EntwicklungLarge Language Models (LLMs) werden aufgrund von Daten- oder Architekturänderungen häufig aktualisiert, um ihre Leistung zu verbessern. Bei der Aktualisierung von Modellen konzentrieren sich Entwickler häufig auf die Verbesserung der Gesamtleistung… pic.twitter.com/ATm2zM4Poc15. Juli 2024
Mit ihrer neuen Methode sei es den Forschern gelungen, die Zahl der negativen Flips – also die Zahl der Antworten, die ein altes Modell richtig und ein neueres Modell falsch liefert – um bis zu 40 Prozent zu reduzieren.
Die Autoren der Studie sprachen sich außerdem dafür aus, sicherzustellen, dass die Fehler eines neuen Modells mit denen eines älteren Modells übereinstimmen.
„Wir meinen, dass Konsistenz auch dann sinnvoll ist, wenn beide Modelle falsch sind“, sagten sie und fügten hinzu: „Ein Benutzer hat möglicherweise Bewältigungsstrategien entwickelt, wie er mit einem Modell umgehen soll, wenn es falsch ist.“ Inkonsistenzen würden daher zu Unzufriedenheit bei den Benutzern führen.
Sie spielen mit ihren MUSKELN
Angesichts der hohen Geschwindigkeit, mit der Chatbots wie ChatGPT und Googles Gemini aktualisiert werden, hat Apples Forschung das Potenzial, neuere Versionen dieser Tools zuverlässiger zu machen
Die Methode, mit der diese Hindernisse überwunden wurden, nannten sie MUSCLE (ein Akronym für Model Update Strategy for Compatible LLM Evolution). Sie erfordert keine Änderung des Trainings des Basismodells und basiert auf Trainingsadaptern, die im Grunde Plug-ins für LLMs sind. Sie bezeichneten diese als Kompatibilitätsadapter.
Um zu testen, ob ihr System funktioniert, aktualisierte das Forschungsteam LLMs wie Llama und Phi und stellte bei verschiedenen Aufgaben manchmal negative Flips von bis zu 60 % fest. Zu den Tests, die sie durchführten, gehörte es, den aktualisierten Modellen mathematische Fragen zu stellen, um zu sehen, ob sie die Antwort auf ein bestimmtes Problem immer noch richtig hatten.
Mithilfe des von ihnen vorgeschlagenen MUSCLE-Systems ist es den Forschern gelungen, eine ganze Reihe dieser negativen Ausschläge zu reduzieren – manchmal um bis zu 40 %.
Angesichts der hohen Geschwindigkeit, mit der Chatbots wie ChatGPT und Googles Gemini aktualisiert werden, hat Apples Forschung das Potenzial, neuere Versionen dieser Tools zuverlässiger zu machen. Es wäre schade, wenn Benutzer Kompromisse eingehen müssten, indem sie auf neuere Modelle umsteigen, aber unter einer schlechteren Benutzererfahrung leiden.
Mehr von Tom's Guide
Zurück zum MacBook Air
