Eine aktuelle Studie gibt Anlass zur Sorge hinsichtlich der Genauigkeit von chatgpt

Jüngste Untersuchungen haben ernsthafte Fragen zur Zuverlässigkeit von ChatGPT, einem beliebten, von OpenAI entwickelten Chatbot, bei der Bereitstellung genauer medikamentenbezogener Informationen aufgeworfen. Von den 39 drogenbezogenen Fragen, die an ChatGPT gestellt wurden, erhielten nur 10 zufriedenstellende Antworten. Die restlichen 29 Fragen wurden entweder falsch beantwortet, unvollständig oder beides. Diese Inkonsistenz in den Antworten unterstreicht eine erhebliche Lücke in der Fähigkeit des Chatbots, zuverlässige Arzneimittelinformationen bereitzustellen.

ChatGPTs ungenaue und unvollständige Antworten auf Drogenfragen

Forscher der American Society of Health-System Pharmacists forderten ChatGPT mit echten Fragen heraus, die über einen Zeitraum von 16 Monaten in den Jahren 2022 und 2023 an den Arzneimittelinformationsdienst des College of Pharmacy der Long Island University gestellt wurden. Die Ergebnisse waren alarmierend. ChatGPT lieferte zufriedenstellende Antworten auf nur 10 der 39 Fragen. Auch bei der Aufforderung, Referenzen zur Überprüfung seiner Informationen vorzulegen, scheiterte ChatGPT und war in nur acht seiner Antworten erfolgreich. Noch besorgniserregender ist, dass jede dieser acht Antworten nicht vorhandene Referenzen enthielt.

Bedenken hinsichtlich der Datenbeschränkungen und potenziellen Risiken von ChatGPT

In der Studie wurden Bedenken hinsichtlich der Datenbeschränkungen des Chatbots und der potenziellen Risiken hervorgehoben, die sich daraus ergeben, wenn man sich auf seine Informationen verlässt. ChatGPT lieferte lediglich auf 10 der 39 Fragen eine zufriedenstellende Antwort gemäß den Kriterien. Bei den anderen 29 Fragen ging der Chatbot entweder nicht direkt auf die Frage ein oder gab eine falsche oder unvollständige Antwort. Noch besorgniserregender ist, dass ChatGPT auch gefälschte Verweise mit URLs auf nicht existierende Studien zitierte, was Fragen zur Zuverlässigkeit seiner Quellen aufwirft.

Die Mängel von ChatGPT und die Notwendigkeit einer Überprüfung

Eine andere Studie ergab, dass ChatGPT bei 26 von 30 von der FDA zugelassenen Medikamenten mindestens die Hälfte der festgestellten Nebenwirkungen übersehen hat. Darüber hinaus gab ChatGPT auf 74 % der 39 Fragen keine Antwort, eine ungenaue Antwort oder eine unvollständige Antwort. Zu den Einschränkungen dieser Studien gehören das Fehlen validierter Tools zur Messung der Genauigkeit von ChatGPT und die Verwendung von ChatGPT-Versionen, die möglicherweise nicht die aktuellsten sind. Die Ergebnisse unterstreichen jedoch die Notwendigkeit, die von ChatGPT generierten Informationen zu überprüfen und äußern Bedenken hinsichtlich ihrer Genauigkeit und ihres Potenzials, Apotheker zu ersetzen.

Die Zukunft der KI in der Medizin und die Notwendigkeit regulatorischer Standards

Während einige Experten das Potenzial von KI in der Medizin sehen, weisen sie auf das Fehlen regulatorischer Standards und Qualitätsrahmen für KI-Tools hin. Die Studien unterstreichen die Notwendigkeit regulatorischer Standards und Qualitätsrahmen, insbesondere wenn KI-Tools wie ChatGPT zur Bereitstellung wichtiger Gesundheits- und Medikamenteninformationen eingesetzt werden. Die Unterscheidung zwischen richtigen und falschen Informationen ist im medizinischen Bereich von entscheidender Bedeutung, und diese Studien zeigen, dass es zu potenziell schädlichen Fehlinformationen führen kann, wenn man sich für solche Informationen ausschließlich auf KI-Chatbots verlässt.