Die Ergebnisse werden durch die Bewertungen der Konsistenz verkompliziert. Einige Antworten wurden hinsichtlich ihrer Angemessenheit positiv bewertet, aber der Chatbot stimmte nicht mit der Art und Weise überein, wie er auf mehrmalige Nachfrage reagierte, was seine Zuverlässigkeit in Frage stellte.
„Insbesondere die chatgpt-Antworten auf mehr als 90 % der Fragen waren angemessen und nützlich, selbst wenn man die Standards berücksichtigte, die man von allgemeinen Ratschlägen durch nuklearmedizinisches Personal erwarten würde. „In den drei Antworten, die als ‚ziemlich wenig hilfreich‘ oder ‚ziemlich unangemessen‘ bewertet wurden, waren die Antworten in mindestens einem der wiederholten Versuche präzise und richtig“, so der Hauptautor Julian Rogasch, MDvon Charité-Universitätsmedizin Berlin, und Kollegen schrieben. „Obwohl diese Beobachtung zeigt, dass ChatGPT per se in der Lage ist, auf alle 25 Aufgaben angemessene Antworten zu geben, führten diese unterschiedlichen Antworten zu der Bewertung ‚erhebliche Inkonsistenz‘.“
Die Autoren stellten fest, dass keine der von ChatGPT generierten Antworten Schaden angerichtet hätte. Und im Allgemeinen stimmten die Antworten auf Patientenfragen im Zusammenhang mit PET/CT-Scans mit denen eines medizinischen Fachpersonals überein. Die endgültige Bewertung für jede Abfrage wurde durch Abstimmung der Forscher ermittelt.
„Im medizinischen Kontext kann ChatGPT eher als Informationstool denn als Beratungs- oder Entscheidungstool betrachtet werden. Jede Antwort von ChatGPT enthielt die Aussage, dass die Ergebnisse und ihre Konsequenzen immer mit dem behandelnden Arzt besprochen werden sollten“, schrieben sie.
Einige der gestellten Fragen wurden hinsichtlich ihrer Empathie bewertet, wobei die Antwort von ChatGPT in fünf von sechs Fällen positiv bewertet wurde. Das heißt, das Programm scheint auch gut am Krankenbett zu funktionieren.
„Fragen, die auf entscheidende Informationen wie Stadieneinteilung oder Behandlung abzielten, wurden mit dem nötigen Einfühlungsvermögen und einer optimistischen Einstellung beantwortet“, schreiben die Autoren.
