Gestern hat OpenAI in seinem Frühjahrsupdate eine vollständig native Mac-App für ChatGPT herausgebracht und außerdem sein neues Flaggschiffmodell GPT-4o vorgestellt. An bemerkenswerten Demos und Spannung mangelte es nicht, insbesondere für apple-Benutzer, die über die angebliche Apple-OpenAI-Partnerschaft für iOS 18 nachdachten.

Eine wichtige Sache, die mein Interesse geweckt hat vollständiges Veranstaltungsvideo war eine kommende ChatGPT-App-Funktion, die vorgeführt wurde, aber keine wirklichen Details preisgegeben wurden. Welche Funktion? Die Möglichkeit für ChatGPT, alles zu sehen, was auf dem Bildschirm Ihres Geräts passiert.

Sind Sie bereit, ChatGPT Ihre Bildschirminhalte anzuvertrauen?

Beim Start unterstützt die ChatGPT-Mac-App die manuelle Aufnahme eines Screenshots oder das Hochladen einer Datei, um dann ChatGPT danach abzufragen. Aber in Zukunft werden Sie, wie im Video unten zu sehen ist, in der Lage sein, auf eine Schaltfläche zu klicken, die der App Zugriff auf alles und jedes auf Ihrem Display gewährt.

Diese Funktion wird offenbar nicht auf den Mac beschränkt sein, da die iOS- und iPadOS-App im folgenden Tutorial-Beispiel die gleiche Technologie demonstrierte.

Es ist nicht bekannt, wann diese Bildschirmanzeigefunktionen in ChatGPT verfügbar sein werden. Sie scheinen jedoch selbstverständliche Ergänzungen für ein nahtloseres und interaktiveres Erlebnis zu sein. Apple stellt Entwicklern sogar APIs zur Verfügung, mit denen sie auf den Bildschirminhalt eines Geräts zugreifen können – natürlich mit Zustimmung des Benutzers. OpenAI tut also nichts Schlimmes, indem es diese Funktionen hinzufügt.

9to5Macs Take

Der Zugriff von ChatGPT auf den gesamten Inhalt Ihres Bildschirms könnte sich sicherlich als etwas gruselig erweisen, aber es wird zweifellos auch unglaublich nützlich sein.

Höchstwahrscheinlich wird es zeitliche Beschränkungen für den Zugriff der App auf Ihr Display geben, sodass Sie jedes Mal, wenn Sie Zugriff gewähren möchten, eine Taste drücken müssen. Aber theoretisch ist es eines Tages sinnvoll, dass KI-Tools ständigen Zugriff auf alles haben, was Sie sehen können, was eine nahtlosere Hilfe mit minimaler Reibung ermöglicht.

Ein KI-Assistent, der alles sehen kann, was Sie auf Ihren Geräten sehen, scheint etwas zu sein, was Apple auf Systemebene auf seinen Plattformen ermöglichen könnte. Wenn Siri mit neuer KI-Intelligenz ausgestattet wäre, könnte es sich mit seiner umfassenden Systemintegration als echter Gewinn für Benutzer von iOS 18 und höher erweisen.