chatgpt und Bard sind sich darin ähnlich, die am besten geeignete urologische Bildgebungsmethode basierend auf den Kriterien des American College of Radiology (ACR) vorzuschlagen, einer am 20. Oktober veröffentlichten Studie Aktuelle Probleme in der diagnostischen Radiologie gefunden.

Forscher unter der Leitung von Sishir Doddi von der University of Toledo in Ohio fanden heraus, dass beide Chatbots eine angemessene Bildgebungsmodalitätsrate von über 60 % aufwiesen und keinen signifikanten Unterschied voneinander im Anteil der korrekt ausgewählten Bildgebungsmodalität aufwiesen.

„Dennoch mangelt es beiden … an konsistenter Genauigkeit und für die Implementierung im klinischen Umfeld ist eine weitere Entwicklung erforderlich“, schrieben Doddi und Kollegen.

Großsprachige Modelle wie ChatGPT von OpenAI und google Bard waren im vergangenen Jahr für medizinische Fachkräfte, einschließlich Radiologen, von Interesse. Die Idee ist, dass diese Tools eines Tages die täglichen klinischen Arbeitsabläufe verbessern werden. Während frühere Studien gezeigt haben, dass Chatbots noch einen langen Weg vor sich haben, bevor dies zu einer praktikablen Option wird, haben sie auch ihre Fähigkeit unter Beweis gestellt, Antworten zu liefern, die den ACR-Kriterien entsprechen.

Doddi und Co-Autoren untersuchten, ob ChatGPT und Bard konsistent genaue Antworten für die beste Bildgebungsmodalität für urologische klinische Situationen liefern können und ob sie mit den ACR-Angemessenheitskriterien übereinstimmen.

Die Kriterien bieten eine Reihe von 21 urologischen klinischen Szenarien. Für jedes Szenario stellen die Kriterien ein bis sechs verschiedene Eingabeaufforderungen oder Präsentationen für diese Fälle bereit. Für jedes Szenario wurden alle Eingabeaufforderungen in ChatGPT und Bard eingegeben und als „nicht angemessen“, möglicherweise angemessen“ oder „normalerweise angemessen“ bewertet.

Die Forscher fanden heraus, dass die Chatbots in allen urologischen Situationen eine Antwortrate von 62 % auf die „normalerweise angemessene“ Bildgebungsmodalität hatten. Sie hatten auch ähnliche „nicht angemessen“-Antwortquoten von 34 % bzw. 36 %.

Das Team stellte außerdem fest, dass insgesamt kein signifikanter Unterschied im Anteil korrekter Bildgebungsmodalitäten festgestellt wurde (p > 0,05). Es wurde auch kein signifikanter Unterschied in der „normalerweise angemessenen“ Reaktion zwischen den Chatbots für jedes einzelne urologische Szenario festgestellt.

ChatGPT lieferte jedoch bei allen urologischen Eingabeaufforderungen kürzere Antworten als Bard. Dies beinhaltete eine Antwortlänge von 1.595 Zeichen im Vergleich zu Bards 1.925 Zeichen (p

Schließlich stellten die Forscher fest, dass Bard nicht in der Lage war, die geeignete Bildgebungsmodalität für drei klinische Szenarien zu bestimmen, während ChatGPT ein genaues Szenario hatte, bei dem keine geeignete Bildgebungsmodalität bestimmt wurde.

Die Studienautoren schlugen vor, dass die Chatbots zwar nicht mit ihren Antworten übereinstimmten, aber „eine vielversprechende Rolle bei der Unterstützung von Gesundheitsdienstleistern bei der Bestimmung der besten Bildgebungsmodalität spielen“.

Den vollständigen Bericht finden Sie hier Hier.