Ein Team von Apple-Forschern hat ReALM (Reference Resolution as Language Modeling) vorgestellt, ein neues KI-Modell, das darauf abzielt, das Verständnis und die Reaktion von Sprachassistenten auf Befehle radikal zu verbessern.

Unternehmen sprichtDass dieses große Sprachmodell „mehrdeutige Referenzen“ in Bildschirmobjekten entschlüsseln kann und auch mit dem Verstehen gesprochener und Hintergrundkontexte zurechtkommt. ReALM kann zu intuitiveren und natürlicheren Interaktionen mit Geräten führen.

Mehrdeutige Verweise beziehen sich auf Pronomen und ähnliche Sprachelemente, die von Benutzern während eines Gesprächs verwendet werden.

Für Sprachassistenten war diese Fähigkeit in der Vergangenheit ein großes Problem. Das ReALM-System von Apple versucht, dieses Problem zu lösen, indem es den komplexen Prozess der Interpretation von Links in eine Sprachmodellierungsaufgabe umwandelt.

ReALM rekonstruiert das visuelle Layout eines Bildschirms mithilfe von Textdarstellungen, einschließlich der Analyse von Bildschirmobjekten und ihrer Position, um ein Textformat zu erstellen, das den Inhalt und die Struktur des Bildschirms widerspiegelt. Apple-Forscher fanden heraus, dass diese Strategie und die spezielle Feinabstimmung der Sprachmodelle herkömmliche Methoden, einschließlich der in ChatGPT verwendeten, deutlich übertreffen.

Das neue KI-System von Apple könnte eine effektivere Interaktion mit digitalen Assistenten ermöglichen, basierend auf dem, was gerade auf dem Bildschirm angezeigt wird, sodass keine klärenden Worte erforderlich sind. Dies könnte digitale Assistenten in verschiedenen Situationen effektiver machen. Beispielsweise können wir Fahrern dabei helfen, sich während der Fahrt in den Mediensystemen von Fahrzeugen zurechtzufinden, oder behinderten Benutzern helfen, indem sie einfachere und genauere Mittel zur indirekten Interaktion bereitstellen. [MacRumors]

iPhones.ru

Ein Team von Apple-Forschern hat ReALM (Reference Resolution as Language Modeling) vorgestellt, ein neues KI-Modell, das darauf abzielt, das Verständnis und die Reaktion von Sprachassistenten auf Befehle radikal zu verbessern. Das Unternehmen sagt, dass dieses große Sprachmodell „mehrdeutige Referenzen“ in Objekten auf dem Bildschirm entschlüsseln sowie Konversations- und Hintergrundkontexte verstehen kann. ReALM könnte zu mehr führen…

Artjom Bausow

@Dralker

Chef für Neuigkeiten, Clickbait und Tippfehler. Ich liebe Elektrotechnik und betreibe Feuermagie. Bei allen Fragen schreiben Sie an Telegram: @TemaBausov

• Zu ←

  watchOS 11 unterstützt die Apple Watch Series 4 nicht

• Nach →

  Mit iOS 17.5 können Sie Apps von EU-Entwicklerseiten herunterladen und auf dem iphone installieren