• OpenAI hat Funktionen eingeführt, mit denen ChatGPT „hören“ und „sehen“ kann.
• ChatGPT-Benutzer können Bilder hochladen und anhand der Bilder Fragen stellen.
• Die neue Funktion verfügt über einige Schutzmaßnahmen, darunter eine, die verhindert, dass sie zur Identifizierung von Menschen verwendet wird.

OpenAI hat einige beeindruckende neue Funktionen für seinen viralen Chatbot ChatGPT eingeführt.

Ende September gab das Unternehmen bekannt, dass der KI-gestützte Bot eine neue Stimme und einige „Augen“ bekommt.

Benutzer, die sich für das Abonnementmodell ChatGPT Plus angemeldet haben, können mithilfe der Sprachfunktion „in einem Hin- und Her-Gespräch“ interagieren. sagte das Unternehmen.

Außerdem können Benutzer Bilder in den Chatbot hochladen und auf der Grundlage der Bilder Fragen stellen. Es ist unklar, wann die Bild- und Sprachfunktionen für Basisbenutzer verfügbar sein werden.

Die neue Bildfunktion von ChatGPT ist einfach zu verwenden.

In der Webversion erscheint auf der linken Seite der Textleiste ein Bildsymbol, auf das Benutzer klicken können, um ein Bild in den Chatbot hochzuladen. Wenn Benutzer über die mobile ChatGPT-App verfügen, können sie auch ein Foto auf ihrem Smartphone machen und alles einkreisen, worauf der Chatbot achten soll.

Nach dem Hochladen können Benutzer Fragen zum Bild stellen.

Ich habe ChatGPT zum Beispiel ein Bild einiger – etwas zufälliger – Zutaten geschickt und um Rezeptvorschläge gebeten. Der Bot kam innerhalb weniger Minuten mit vier Vorschlägen zurück, die alle auf den ersten Blick zumindest essbar wirkten, obwohl sie ein paar Grundnahrungsmittel aus dem Schrank enthielten, die auf dem Bild nicht zu sehen waren.

Die Funktion hat noch weitere praktische Einsatzmöglichkeiten. Beispielsweise war der Bot in der Lage, meine unvollkommene Handschrift zu verstehen und einige handschriftliche Notizen abzutippen. Es hat auch gute Arbeit bei der Identifizierung von Objekten in freier Wildbahn geleistet und einige Ratschläge gegeben, wie ich meine sterbende Pflanze wieder zum Leben erwecken kann.

Aber die neue Funktion kann nicht nur für Kücheninspiration und gärtnerische Ratschläge genutzt werden.

KI-Startup Gründer Mckay Wrigley teilte mit ein weiteres Beispiel für die neue Bildfunktion. In einem auf X geposteten Video zeigte Wrigley, wie ChatGPT Code aus einer Whiteboarding-Sitzung schreiben kann.

Wrigley lud ein Bild eines Whiteboards hoch, das Website-Anweisungen in einfachem Englisch darstellte, und bat den Bot, den Code zu generieren. Das Modell hat die Anweisungen in funktionierenden Code umgewandelt.

Obwohl die Funktion offensichtliche Vorteile hat, wirft sie auch Fragen zum Datenschutz auf. Zum Beispiel von Wired Reece Rogers erinnerte Benutzer daran Vermeiden Sie das Hochladen persönlicher Datensensible Fotos an ChatGPT senden, wenn Sie die Bildfunktion ausprobieren.

Der Bot hat auch einige neue Leitplanken bekommen. OpenAI hat den Chatbot daran gehindert, Fragen zu beantworten, die Menschen identifizieren.

Als ich ihm ein Bild der mexikanischen Künstlerin Frida Kahlo zeigte, weigerte er sich, das Bild zu identifizieren. Nach einigem Hin und Her tat es dies jedoch schließlich, nachdem in der oberen rechten Ecke ein Etikett zitiert wurde.

„Ich bin so programmiert, dass ich es aus Datenschutzgründen vermeide, echte Personen anhand von Bildern zu identifizieren“, sagte mir ChatGPT. „Das von Ihnen bereitgestellte Kunstwerk ist jedoch beschriftet.“