Moderne Chatbots wie ChatGPT können jede Sekunde Dutzende Wörter ausgeben, was sie zu unschätzbaren Werkzeugen für die Recherche und Analyse großer Informationsmengen macht. Mit über 500 GB Trainingsdaten und geschätzten 300 Milliarden Wörtern kann das KI-Sprachmodell auch viele sachliche Fragen beantworten. Doch so menschlich die Antworten von ChatGPT auch klingen mögen, eine entscheidende Frage bleibt: Wie genau sind die bereitgestellten Informationen?

Während ChatGPT die meiste Zeit beeindruckend informativ sein kann, haben Sie wahrscheinlich schon von unzähligen Kontroversen rund um generative KI gehört. Von rassistischen Vorurteilen bis hin zu schädlichen Inhalten gibt es eine Reihe von Kontroversen, die es zu berücksichtigen gilt, bevor man KI-generierten Ergebnissen vertraut.

Ja, ChatGPT hat das Potenzial, präzise zu sein, insbesondere bei sachlichen Fragen mit klaren Antworten. Wenn es um seit langem bestehende Informationen geht, kann ChatGPT relevante Daten aus seinem Training abrufen und wahrheitsgetreue Antworten liefern. Auf eine Frage wie „Was ist die Hauptstadt Frankreichs?“ erhalten Sie höchstwahrscheinlich die richtige Antwort.

Allerdings fabrizieren Chatbots wie ChatGPT häufig Informationen, wenn sie auf eine neuartige oder schwierige Frage stoßen. Dies liegt daran, dass generative Sprachmodelle darauf ausgelegt sind, die Art und Weise, wie Menschen schreiben, nachzuahmen, und nicht die Art und Weise, wie wir denken. Folglich verfügen sie nur über begrenzte logische Denkfähigkeiten.

Das Problem mit der Genauigkeit von ChatGPT liegt tiefer, als Sie denken. Es werden häufig völlig fiktive Details eingebunden und als Reaktion auf bestimmte Aufforderungen überzeugend klingende Fakten erfunden. Der Ersteller des Chatbots hat mehrere Sicherheitsvorkehrungen getroffen, um Halluzinationen vorzubeugen, aber wie unsere Tests später in diesem Artikel zeigen werden, ist er nicht vollständig wirksam.

Wenn Sie empirische Daten suchen, haben mehrere Studien die Genauigkeit von ChatGPT ausführlich getestet, um einen klaren Trend aufzuzeigen. ChatGPT bietet eine überraschend hohe Genauigkeitsbewertung für typische Fragen. In Eins medizinisches StudiumBeispielsweise erreichte der Chatbot eine durchschnittliche Bewertung von 5,5 auf einer 6-Punkte-Skala.

Allerdings kann die Tendenz von ChatGPT, routinemäßige Aktualisierungen zu erhalten, auch seine Genauigkeit und Nützlichkeit beeinträchtigen. Eine weitere Gruppe von Forschern der UC Berkeley und der Stanford University gefunden dass die Fähigkeit des Chatbots, Primzahlen zu identifizieren, innerhalb von drei Monaten von beeindruckenden 84 % auf nur noch 51 % sank. Kurz gesagt: Sie können und sollten den Antworten von ChatGPT nicht vertrauen, zumindest nicht, ohne sie vorher auf Fakten zu überprüfen.

Wenn Sie ChatGPT nur gelegentlich nutzen, haben Sie möglicherweise nie darüber nachgedacht, auf die kostenpflichtige Stufe des Chatbots zu wechseln. Dies erhöht jedoch die Genauigkeit um ein Vielfaches und sollte auf Ihrer Prioritätenliste ganz oben stehen, wenn Sie sich auf die Antworten des Chatbots verlassen. Dies liegt daran, dass das ChatGPT Plus-Abonnement für 20 US-Dollar den Zugriff auf das GPT-4 Turbo-Sprachmodell freischaltet.

Das GPT-4-Sprachmodell ist weitaus leistungsfähiger als sein Vorgänger GPT-3.5, der auch heute noch das grundlegende Chatbot-Erlebnis unterstützt. Laut OpenAI erreichte das neuere Modell das 89. Perzentil des SAT Math, das 90. Perzentil des Uniform Bar Exam und das 80. Perzentil des GRE Quantitative. Fast alle dieser Ergebnisse sind deutlich besser als die von GPT-3.5.

Ergebnisse im 80. bis 90. Perzentil bedeuten, dass die Genauigkeit von GPT-4 die von menschlichen Experten auf ihrem jeweiligen Gebiet nicht übertrifft. Allerdings schaltet ChatGPT Plus auch die Unterstützung für das Surfen im Internet frei, wodurch der Chatbot Wikipedia und andere Online-Quellen konsultieren kann. Sie können es sich wie eine Live-Recherche vorstellen, da es der Art und Weise ähnelt, wie wir über eine google-Suche die richtige Antwort finden. Wie genau ist ChatGPT und lohnt es sich, für die Plus-Stufe zu bezahlen? Lass es uns herausfinden.

ChatGPT 4-Genauigkeit getestet: Free vs. Plus im Vergleich

Wie ich bereits erwähnt habe, kann ChatGPT mit GPT-4 und aktiviertem Browsing deutlich genauere Antworten liefern. Ich habe dem Chatbot eine Handvoll Sachfragen gestellt, von denen einige besonders unklar waren, um zu testen, ob ich eine zuverlässig genaue Antwort bekommen konnte oder nicht.

• Frage 1: Ist 17077 eine Primzahl? Denken Sie Schritt für Schritt nach und antworten Sie dann [Yes] oder [No].

Ein kürzlich durchgeführtes ChatGPT-Update fügte dem Chatbot eine Gedankenkette hinzu, die es ihm ermöglicht, menschliches Denken nachzuahmen. Das scheint sich ausgezahlt zu haben, denn beide Versionen von ChatGPT konnten eine Primzahl korrekt identifizieren. Allerdings hat die kostenpflichtige Version des Chatbots einen benutzerdefinierten Python-Code geschrieben, um die Berechnungen durchzuführen. Obwohl es das Ergebnis nicht verbesserte, hatte ich das Gefühl, dass die Antwort vertrauenswürdiger war.

• Frage 2: Deckt der Setouchi Area Pass alle öffentlichen Verkehrsmittel in Osaka ab?

Da viele von uns ChatGPT für Reisehinweise nutzen, habe ich beschlossen, eine relativ obskure Frage in diesem Bereich zu stellen. Leider reagierte das GPT-3.5-Basismodell ungenau und gab erst einen Fehler zu, als ich die richtige Antwort vorschlug. Der Wechsel zu ChatGPT-4 änderte jedoch das Ergebnis und gab mir sofort die richtige Antwort. Kann der Chatbot die manuelle Recherche dennoch vollständig ersetzen? Ich bin mir nicht sicher, zumal konkurrierende Chatbots wie Perplexity AI ihre Quellen angeben.

• Frage 3: Wählen Sie zwei zufällige ganze Zahlen zwischen 2459 und 3593 aus und multiplizieren Sie sie

Das Stellen einer mathematischen Frage führt fast immer zum Stolpern von ChatGPT, und genau das ist mit GPT-3.5 oder der kostenlosen Version des Chatbots passiert. Es lieferte eine plausibel klingende Antwort (2865×3035 = 8.697.975), war aber tatsächlich ziemlich weit von der wahren Antwort entfernt (8.695.275). ChatGPT-4 verwendete erneut Python-Code, um die richtige Antwort zu finden, aber die Chancen stehen gut, dass es auch ohne fremde Hilfe fehlgeschlagen wäre.

Denken Sie zusammenfassend daran, dass ChatGPT fast immer versucht, eine Lösung für Ihr Problem oder Ihre Frage zu liefern, ohne großen Wert auf deren Genauigkeit zu legen. Es gibt nur manchmal zu, dass es eine Frage nicht beantworten kann oder sich nicht ausreichend mit der Thematik auskennt. Andernfalls kann es genauso leicht zu Halluzinationen von Informationen ohne offensichtliche Anzeichen kommen.