Seit seinem Debüt Ende 2022 haben Menschen mit der Verwendung des KI-Chatbots (künstliche Intelligenz) ChatGPT für alles experimentiert, von der Rezeptplanung über die Beantwortung von Quizfragen bis hin zur Hilfe bei Hausaufgaben. Aber ChatGPT hat Probleme mit der Genauigkeit.

Regelmäßige körperliche Aktivität ist für die Gesundheit und Krankheitsprävention von entscheidender Bedeutung, doch nur 25 % der Erwachsenen in den USA erfüllen die nationalen Richtlinien für körperliche Aktivität. Seit der öffentlichen Premiere von ChatGPT nutzen Menschen das Tool, um Pläne für körperliche Aktivität zu erstellen.

Ein Team bestehend aus Forschern des UConn College of Agriculture, Health and Natural Resources und des Hartford Hospital untersuchte kürzlich die Genauigkeit der Trainingsempfehlungen von ChatGPT. Sie veröffentlichten diese Erkenntnisse im JMIR Medizinische Ausbildung in einer Sonderausgabe zum Thema ChatGPT und generative Sprachmodelle in der medizinischen Ausbildung. Das Team wurde von Amanda Zaleski '08, '14, '18 (CAHNR) geleitet, einer leitenden Wissenschaftlerin in der Abteilung für präventive Kardiologie am Hartford Hospital.

„Es ist ein großes Thema und niemand weiß, was er damit anfangen soll“, sagt Linda Pescatello, angesehene Professorin für Kinesiologie.

Das Forschungsteam entwickelte eine formelle Bewertungsrubrik, um die von der KI generierten Übungsempfehlungen zu bewerten. Die Rubrik umfasste 10 Kategorien, die eine „Goldstandard“-Übungsempfehlung gemäß den Richtlinien für Übungstests und -verschreibungen des American College of Sports Medicine (ACSM) darstellen. Pescatello war mit diesen Empfehlungen bereits bestens vertraut. Sie war Mitglied des 2018 Physical Activity Guidelines Advisory, der diese Richtlinien ins Leben gerufen hat.

Der KI-Chatbot wurde dann aufgefordert, individuelle Übungsempfehlungen für alle 26 klinischen Populationen bereitzustellen, für die es in den ACSM-Richtlinien eine Evidenzbasis gibt. Anschließend verglich das Team die von der KI generierten Übungsempfehlungen mit der Goldstandard-Referenz und bewertete deren Vollständigkeit, Genauigkeit und Lesbarkeit.

Die Forscher fanden heraus, dass die Ausgabe von ChatGPT nur 41 % des Inhalts lieferte, der in einer Goldstandard-Übungsempfehlung erwartet wird, was auf eine geringe Vollständigkeit hinweist.

Der Chatbot konnte zwar allgemeine Empfehlungen geben, etwa 150 Minuten Bewegung pro Woche, konnte aber keine Hinweise zu anderen Schlüsselelementen wie Häufigkeit, Intensität, Zeit und Art geben, auch bekannt als FITT-Prinzip der körperlichen Aktivität .

Bei den bereitgestellten Inhalten zeigte die ChatGPT-Ausgabe jedoch eine hohe Genauigkeit von etwa 91 %.

Die häufigste Quelle für Fehlinformationen war die Empfehlung, vor der Ausübung jeglicher körperlicher Betätigung eine ärztliche Genehmigung einzuholen, was im Allgemeinen nicht erforderlich ist, außer wenn eine Person Anzeichen und Symptome einer Krankheit aufweist.

Der KI-Chatbot berücksichtigte auch keine besonderen Überlegungen, etwa wie die Medikamente, die eine Person einnimmt, mit einem neuen Trainingsprogramm interagieren könnten.

Darüber hinaus wurde die ChatGPT-Ausgabe auf Hochschulebene geschrieben. Dies liegt weit über der Empfehlung der American Medical Association, gesundheitsbezogenes Lehrmaterial auf einem Niveau zu verfassen, das ein Sechstklässler verstehen kann.

Die Forscher empfehlen, bei der Befolgung der Trainingsempfehlungen von ChatGPT vorsichtig zu sein, da sie kein vollständiges Programm für körperliche Aktivität bieten.

Diese Ergebnisse werden durch eine weitere Arbeit von Pescatellos Team unter der Leitung von Shiqi Chen, einem Masterstudenten, vervollständigt, in der vorhandene mobile Apps auf Übungsempfehlungen analysiert wurden. Diese Arbeit war veröffentlicht im Zeitschrift für kardiovaskuläre Entwicklung und Krankheit.

Sie stellten fest, dass es derzeit keine App auf dem Markt gibt, die evidenzbasierte Trainingsempfehlungen für Menschen mit Risikofaktoren für Herz-Kreislauf-Erkrankungen im Einklang mit den Richtlinien von ACSM und American Heart Association bietet.

„Wir haben keine einzige App auf dem Markt gefunden, die das konnte“, sagt Pescatello.

Die 219 von ihnen untersuchten Apps wurden mit mehr als 1.000 Rezensionen hoch bewertet, waren kostenlos herunterladbar und nicht geschlechtsspezifisch. Lediglich 0,5 % der Apps waren evidenzbasiert. Nur 3,7 % nahmen an einem Screening vor der Teilnahme teil und weniger als ein Drittel erstellte Risikoprofile für Herz-Kreislauf-Erkrankungen.

Ein Großteil der Apps (64,8 %) konzentrierte sich eher auf das Körperbild und/oder die sportliche Leistung als auf die Gesundheit.

In diesem Umfeld der Unsicherheit und Unzulänglichkeiten hat Pescatello ihr eigenes Tool P3-EX LLC entwickelt, das evidenzbasierte personalisierte Trainingsempfehlungen für Menschen mit Risikofaktoren für Herz-Kreislauf-Erkrankungen bietet.

Ärzte können das Tool nutzen, um in weniger als fünf Minuten eine Übungsempfehlung zu erstellen. Dies ist eine wichtige Ressource, da die meisten Ärzte an der medizinischen Fakultät keine Schulung zur Erstellung von Übungsrezepten erhalten.

„Unsere Forschung zeigt, dass wir etwas ansprechen und einen ungedeckten klinischen Bedarf identifizieren“, sagt Pescatello.

Während das Tool derzeit nur Klinikern zur Verfügung steht, hofft Pescatello, P3-EX so zu skalieren, dass es eines Tages der Öffentlichkeit zugänglich sein könnte.

Das Tool wird im Übungsverordnungsprogramm von UConn verwendet.

„Unsere Mission ist es, den Menschen den Wert von Bewegung bewusst zu machen und diesen Wert mit Werkzeugen zu versehen, die Bewegung leichter zugänglich machen und die Einhaltung erhöhen“, sagt Pescatello.