Kann nicht mit Kindern arbeiten.
Laut einer neuen Studie eignet sich die neueste Variante von chatgpt nicht gut zur Erkennung von Kinderkrankheiten.
Laut einer Studie in JAMA Pediatrics ist die vierte Version des großen Sprachmodells sogar noch schlimmer, da Kinder bei der Erkennung pädiatrischer medizinischer Fälle eine Trefferquote von nur 17 Prozent hatten. Der niedrige Wert zeigt, dass menschliche Kinderärzte nicht bald entlassen werden, falls Sie sich Sorgen machen. Wie die Autoren sagen: „Diese Studie zeigt, wie wichtig klinische Erfahrung ist.“
Aber es zeigt die großen Mängel auf, die die Fehlerquote von ChatGPT so hoch gemacht haben, und zeigt Wege auf, es zu einem praktischen Werkzeug in der klinischen Versorgung zu machen. Bei so viel Aufsehen und dem Ausprobieren von KI-Chatbots sehen viele Kinderärzte und andere Mediziner ihren Einsatz in der klinischen Versorgung als sicher an.
Für den ChatGPT-Test kopierten die Forscher den Schlüsseltext der medizinischen Fälle in die Eingabeaufforderung, und dann markierten zwei geschulte Ärzte-Forscher die von der KI erstellten Antworten als richtig, falsch oder „keine Diagnose erhalten“.
Im letzten Fall stellte ChatGPT einen mit der Klinik verbundenen Zustand fest, der zu weit gefasst oder zu vage war, um die richtige Diagnose zu sein.
ChatGPT sagte zum Beispiel, dass der Fall eines Kindes durch eine Kiemenspaltzyste – eine Beule im Nacken oder unter dem Schlüsselbein – verursacht wurde, obwohl die richtige Diagnose das Branchio-oto-renale Syndrom war, ein Genproblem, das seltsames Gewebewachstum verursacht im Nacken und Veränderungen an Ohren und Nieren.
Eines der Anzeichen des Problems ist die Entstehung von Kiemenspaltzysten. Insgesamt erhielt ChatGPT in nur 17 der 100 Fälle die richtige Antwort. In 72 Fällen war es falsch, in den anderen 11 Fällen wurde die Diagnose nicht gestellt. Von den 83 falschen Diagnosen betrafen 47 (57 Prozent) dasselbe Organ. Um fair zu sein, wurde jedoch keine Behandlung mit Blutegeln empfohlen.
Unter den Fehlern stellten die Forscher fest, dass ChatGPT Schwierigkeiten hatte, bekannte Zusammenhänge zwischen Erkrankungen zu erkennen, die ein guter Arzt hoffentlich erkennen würde.
ChatGPT stellte die Diagnose einer seltenen Krankheit, bei der es sich lediglich um einen Vitaminmangel handelte. Obwohl der Chatbot bei diesem Test Schwierigkeiten hatte, sagen die Forscher, dass er besser werden könnte, wenn er speziell und sorgfältig anhand echter und vertrauenswürdiger medizinischer Bücher geschult würde – und nicht mit Dingen aus dem Internet.
Sie sagen auch, dass Chatbots durch mehr Echtzeitzugriff auf medizinische Daten verbessert werden könnten, sodass die Modelle ihre Genauigkeit verbessern könnten.
