Seitdem chatgpt das Feld der künstlichen Intelligenz revolutioniert hat, hat es schnell die Aufmerksamkeit von Wissenschaftlern und Praktikern aus verschiedenen Bereichen auf sich gezogen, und sie freuen sich darauf, dass diese bahnbrechende Technologie neue Veränderungen in ihren eigenen Branchen mit sich bringt.

Kürzlich veranstaltete Professor Shen Dinggang, Gründungsdekan der School of Biomedical Engineering an der ShanghaiTech University und Co-CEO von United Imaging, einen akademischen Online-MICS-Salon. Liu Wei, Professor für Wissenschaft und Forschung, Direktor der Abteilung für Medizinische Physik, AAPM Fellow , Yan Pingkun, außerordentlicher Professor des PK Lashmet-Lehrstuhls in der Abteilung für Biomedizintechnik am Rensselaer Polytechnic Institute, und Li Xiang, Dozent an der Harvard Medical School und dem Massachusetts General Hospital, untersuchten gemeinsam die Rolle von ChatGPT in den vielen Möglichkeiten auf diesem Gebiet der medizinischen Bildgebung.

Während der Diskussion wies Liu Tianming darauf hin, dass die erstaunliche Wirkung von ChatGPT auf die Verwendung von Technologien wie In-Context Learning oder Prompt (Eingabeworte) und die Verwendung von Transformer mit einer großen Anzahl von Parametern zur Verarbeitung des konvertierten Textes zurückzuführen ist in Vektoren. Die Entwicklung dieser Technologien erfordert eine langfristige Akkumulation und Forschung.

In hochspezialisierten Bereichen wie der Medizin ist die Leistung von ChatGPT jedoch nicht gut genug und es muss immer noch vom gesunden Menschenverstand auf biomedizinisches Fachwissen sowie weiteres Lernen und Training übertragen werden, um seine Leistung in Berufsfeldern zu verbessern. Leistung.

Liu Wei sagte, dass multimodales Lernen unerlässlich sei, wenn man ChatGPT auf die medizinische Bildgebung anwenden möchte. Derzeit gibt es im medizinischen Bereich viele verschiedene Arten von Daten wie Bilder, Audio und Text, die durch multimodales Lernen kombiniert werden müssen, bevor sie in der klinischen Arbeit angewendet werden können.

Darüber hinaus muss auch die Einschränkung der Daten in einem bestimmten Bereich berücksichtigt werden. Für Daten in einem Berufsfeld wie der Medizin müssen professionellere Aufforderungswörter verwendet werden, um Fragen zu generieren.

Li Xiang teilte eine neue Entwicklung des Teams mit. Sie versuchten, die Wissenskarte mit dem Fachwissen im medizinischen Bereich zu nutzen, um ChatGPT besser nutzen zu können.

Wissensgraphen können dem gesamten Prozess hinzugefügt werden, sei es die Texteingabe, die Sprachgenerierung oder die Effektverbesserung von ChatGPT.

Es ist jedoch sehr schwierig, eine gute Wissenskarte zu erhalten. Das Team von Li Xiang versucht, mithilfe von ChatGPT automatisch Wissenskarten aus einer großen Anzahl professioneller Korpora zu ermitteln und so wichtige Vorkenntnisse für den Einsatz von Sprachmodellen in der klinischen Arbeit bereitzustellen.

Yan Pingkun glaubt, dass aus Sicht der Bildanalyse der Grund für den Erfolg von ChatGPT, insbesondere im Vergleich zum aktuellen visuellen Modell, darin liegt, dass das Objekt, das es lernt – Text – die inhärenten Vorteile des menschlichen Ausdrucks aufweist.

Derzeit sollte darüber nachgedacht werden, wie Bildinformationen besser in das große Modell eingegeben werden können. Eine Möglichkeit besteht darin, die Informationen im Bild über das Bildanalysemodell zu extrahieren und an ChatGPT zu senden. Ein weiterer Ansatz ist multimodales Lernen, insbesondere Vision-Language-Learning. Sobald die Bildinformationen mit der Sprache kombiniert sind, können die Bildinformationen direkt codiert und zusammen mit dem Text an das große Modell gesendet werden.

Das Folgende ist der Hauptinhalt dieses Seminars, Leifeng.com(Öffentliche Nummer: Leifeng.com)„Medical and Health AI Nuggets“ wurde bearbeitet und organisiert, ohne die ursprüngliche Bedeutung zu ändern (Sie können die Liste der an diesem akademischen Salon beteiligten Artikel am Ende des Artikels überprüfen):

Shen Dinggang: Lassen Sie mich zunächst mein eigenes Verständnis von ChatGPT vorstellen. OpenAI ist ein kleines Unternehmen mit nur 87 jungen Mitarbeitern mit einem Durchschnittsalter von 32 Jahren. Die meisten Mitarbeiter sind über 90 Jahre alt.

Im Bereich der Datenanalyse stellen junge Menschen eine sehr wichtige Kraft dar. An den Leistungen des ChatGPT-Teams lässt sich auch erkennen, dass wir die Entwicklung junger Menschen unterstützen und ihnen Wachstumschancen bieten müssen.

Obwohl die Zahl gering ist, handelt es sich bei den Mitgliedern des ChatGPT-Teams allesamt um erfahrene Talente, die an renommierten Schulen ihren Abschluss gemacht haben und in bekannten Unternehmen wie google, Facebook, NVIDIA, Microsoft, DeepMind und apple gearbeitet haben.

Die Teamzusammensetzung von ChatGPT ist relativ ausgewogen, darunter Studenten, Master und Ärzte. Talente auf allen Ebenen sind sehr wichtig, damit die Technologie gut umgesetzt werden kann. Das Team ist zwar jung, aber sehr erfahren und zu seinen Mitgliedern zählen auch Spitzen-KI-Wissenschaftler.

Eine solche Zusammensetzung der Mitglieder ermöglicht es ihnen, gute Ergebnisse im Bereich KI zu erzielen, und beweist auch, dass nicht nur die Anzahl der Personen ausschlaggebend ist, sondern die Qualität des Teams wichtiger ist.

Viele Leute fragen sich, warum ChatGPT in den Vereinigten Staaten erscheint und nicht in anderen Ländern?

Im Bereich der künstlichen Intelligenz hat China viele Arbeiten und Patente veröffentlicht, die meisten davon stammen jedoch von Universitäten, während die meisten Arbeiten und Patente in den USA von Unternehmen stammen.

Universitäten und Unternehmen machen das Gleiche, aber viele Innovationen und Ressourcen stecken in den Unternehmen. Daher müssen Hochschulen und Universitäten eine enge Integration von Produktion, Bildung und Forschung mit Unternehmen sowie kollaborative Innovationen durchführen, um die einzigartigen Merkmale und Vorteile von Hochschulen und Universitäten widerzuspiegeln.

In Bezug auf wissenschaftliche Forschung und technologische Innovation haben die Vereinigten Staaten sehr früh begonnen. Bereits 1958 begannen die Vereinigten Staaten mit der Alterungsforschung, indem sie Tests durchführten, um die Veränderungen im Körper, in der Wahrnehmung, in den Emotionen usw. der Menschen zu verstehen. 1989 begann man, die Magnetresonanztechnologie für Forschungszwecke einzusetzen.

In vielen wichtigen Forschungsprojekten wurden in den letzten Jahrzehnten große Datenmengen gesammelt, die aufbewahrt und untersucht wurden. Der Erfolg dieser Projekte hängt eng mit ihrer Zukunftsorientierung, Langfristigkeit und Idealität zusammen.

Einige früh gesammelte Daten konnten damals nicht gut analysiert werden, aber jetzt, mit der Entwicklung der künstlichen Intelligenz und der Deep-Learning-Technologie, sind diese Daten zu sehr nützlichen Ressourcen für das Verständnis der frühen menschlichen Entwicklung, der Kognition, neurologischer Erkrankungen usw. geworden. Dieser Aspekt ist sehr wichtig .

Heute ist die künstliche Intelligenz in die Ära der KI 2.0 eingetreten, und groß angelegte Modelle können dramatische Leistungsverbesserungen erzielen, wenn genügend Daten vorhanden und das Modell groß genug sind.

In der Medizin und Bildgebung benötigen wir ein visuelles Modell, das Ärzten bei der Diagnose von Krankheiten hilft. Im Vergleich zum visuellen Modell ist das Sprachmodell einfacher zu trainieren, da vorher und nachher eine logische Beziehung besteht und Daten zum Lernen aus dem Internet und aus Büchern abgerufen werden können.

Was das visuelle Modell lernen muss, ist die Beziehung zwischen jeder Position und anderen Positionen, was sehr schwierig ist. Wir können das Sprachmodell nutzen, um das Erlernen des Visionsmodells zu unterstützen.

Beispielsweise erkennt das visuelle Modell den Ort der Läsion anhand des Bildes und teilt ihn dem Sprachmodell mit, und das Sprachmodell leitet das visuelle Modell an, basierend auf früheren Lernerfahrungen das Vorhandensein von Läsionen an anderen Orten zu überprüfen.

Wir kombinieren das Sprachmodell mit dem Vision-Modell und lassen die beiden zusammenarbeiten, um die Leistungsfähigkeit des gesamten Systems zu verbessern.

In den frühen Tagen kann es Unterschiede in der Ebene des Sprachmodells und des visuellen Modells geben, aber wenn die Zusammenarbeit vertieft wird, können die beiden zusammenarbeiten und schließlich das Ziel einer effizienten Zusammenarbeit wie AlphaGo beim Schachspielen erreichen.

Kommen wir heute auf unsere Frage zurück.

Shen Dinggang: Was sind die technischen Faktoren für den Erfolg von ChatGPT? Welche Inspiration haben diese Technologien für die Analyse medizinischer Bilder?

Liu Tianming:Ich denke, dass ChatGPT technisch gesehen eine langfristige Akkumulation erfordert, die zehn bis fünfzehn Jahre dauern kann. Die beiden wichtigsten Technologien sind Word Embedding und Transformer.

Word Embedding ist eine Technologie, die vor mehr als zehn Jahren auf den Markt kam. Sie wandelt ein Wort in einen Vektor um und platziert ihn in einem Einbettungsraum. Dies ist eine revolutionäre Technologie. Transformer ist in den letzten Jahren eine sehr beliebte Technologie und hat ein breites Anwendungsspektrum in den Bereichen Sprache und Sehen.

Ich denke, das aktuelle ChatGPT kann so gut abschneiden, weil es Technologien wie In-Context Learning oder Prompt verwendet, die Text in Vektoren umwandeln und dann Transformer zur Verarbeitung verwenden können. Die Entwicklung dieser Technologien erfordert eine langfristige Akkumulation und Forschung.

Li Xiang:Der Erfolg von ChatGPT liegt darin, dass es mehrere Aufgaben gleichzeitig erledigen kann, und dieser Multitasking-Ansatz ist auch bei der medizinischen Bildanalyse sehr wichtig.

Die Trainingsmethode von ChatGPT ist relativ einfach, da Sprache eine sequentielle Aufgabe ist, während Bilder die Korrelation in mehreren Richtungen berücksichtigen müssen.

In Artikeln wie „Masked Autoencoders are scalable Vision Learners“ wurden Methoden für das Bild-Multitasking-Lernen untersucht, aber derzeit gibt es kein groß angelegtes Multitasking-Bildmodell ähnlich wie ChatGPT. In Zukunft könnten in der medizinischen Bildgebung und Signalverarbeitung verstärkt Multitasking- und multimodale Integrationsmethoden zum Einsatz kommen.

Yan Pingkun: Herr Shen Dinggang, Herr Liu Tianming und Herr Li Xiang stellten die ChatGPT-Technologie aus verschiedenen Blickwinkeln vor. Ich werde sie aus der Perspektive von Bildern vorstellen.

Die von ChatGPT verwendete Hardware und Netzwerkarchitektur ist sehr leistungsstark. Es verfügt über eine große Anzahl von Modellen, die von 125 Billionen bis 175 Milliarden Parametern reichen. Der nächste zu berücksichtigende Schritt besteht darin, das visuelle Modell zu vergrößern.

Darüber hinaus lernt ChatGPT nicht nur Sprachen, sondern lernt auch Programmiersprachen und Codes im Internet, was zeigt, dass für ChatGPT unterschiedliche Daten unterschiedliche Werte darstellen.

Drittens haben Hinweistechniken und qualitativ hochwertige Daten auch einen großen Einfluss auf die Verbesserung der Modellleistung. Reinforcement Learning und Human in the Loop sind ebenfalls wichtige Faktoren.

Liu Wei:Ich bin klinischer Medizinphysiker mit Schwerpunkt Strahlentherapie.

Ich denke, ChatGPT eignet sich hervorragend für allgemeines medizinisches Wissen, aber nicht so gut für spezifischere und relevantere Bereiche wie die Radiologie.

Dies kann daran liegen, dass ChatGPT durch verstärkendes Lernen mit begrenztem Experteneingriff trainiert wird. Wenn wir die Leistung von ChatGPT in diesen Bereichen verbessern wollen, benötigen wir verstärktes Lernen unter Beteiligung von Experten, das durch Experten-Feedback erreicht werden kann.

Darüber hinaus ist die Datenquelle von ChatGPT das Internet, wo das Wissen im medizinischen Bereich relativ begrenzt ist, hauptsächlich in Bezug auf populärwissenschaftliches Wissen.

Wenn wir daher durch die Intervention von Experten umfangreiche medizinische Bilder und Textdaten sammeln und trainieren können, glaube ich, dass ChatGPT eine breitere Anwendung im medizinischen Bereich finden wird.

Shen Dinggang: Wie sollten wir ChatGPT im Bereich der medizinischen Bildgebung anwenden und integrieren?

Liu Tianming:Ich denke, das Thema, das Herr Liu Wei gerade angesprochen hat, ist sehr gut. Das verstärkende Lernen durch menschliches Feedback zu Experten-Feedback ist der kritischste Faktor für die Anwendung und Integration in der medizinischen Bildgebung.

ChatGPT leistet bereits sehr gute Arbeit bei der Generierung von Sprache und Antworten unter Verwendung öffentlich zugänglichen, allgemeinverständlichen Wissens. In einer Diskussion mit Ärzten und Apothekern haben wir jedoch festgestellt, dass ChatGPT häufig keine Sprache und Antworten generiert, die in ihren Fachgebieten angemessen sind.

Gegenwärtig lässt sich das Feedback der Leute zu ChatGPT in zwei Kategorien einteilen: Die eine ist der Meinung, dass es im Bereich des gesunden Menschenverstands sehr gute Arbeit leistet, und die andere ist der Meinung, dass es im Bereich des Fachwissens ernsthaft Unsinn spricht.

Daher ist es sehr wichtig, das Feedback des Experten beim Training von ChatGPT zu verbessern, und das Feedback des Experten muss in die Schleife einbezogen werden, um die Qualität von ChatGPT weiter zu verbessern.

Wir haben vor mehr als einem Jahr einen Textanalyseartikel zum Thema Radiologie veröffentlicht (ClinicalRadioBERT: Knowledge-Infused Few Shot Learning for Clinical Notes Named Entity Recognition). Nachdem wir die gesammelten Zehntausenden öffentlicher Daten auf die Textanalyse angewendet hatten, erhielten wir die Ergebnisse sind viel besser als bisherige Routineanalysen.

Daher ist es in der Ausbildung von ChatGPT auch notwendig, schrittweise vom gesunden Menschenverstand zum biomedizinischen Fachwissen und dann zum radiologischen Fachwissen aufzusteigen.

Natürlich ist die Radiologie ein sehr großes Fachgebiet, und inwieweit dieses Fachgebiet unterteilt werden sollte, um die gewünschte Wirkung zu erzielen, muss noch von Experten definiert werden.

Yan Pingkun:Lehrer Liu Tianming erwähnte, dass menschliches Feedback beim Verstärkungslernen eine sehr wichtige Technologie in ChatGPT ist. Wir sollten mehr Feedback von professionellen Ärzten integrieren, damit ChatGPT wie ein Übermensch von schwach zu stark werden kann.

ChatGPT verwendete während des Trainings eine große Anzahl manuell beschrifteter Materialien und Feedback-Beispiele, um die heutigen Ergebnisse zu erzielen.

Wenn wir in Zukunft unsere eigenen Bildmodelle trainieren, müssen wir mehr Geduld und Energie aufwenden, um Daten aufzubereiten. Denn das Merkmal des maschinellen Lernens ist „Garbage In, Garbage Out“, wenn die Qualität der Daten nicht stimmt Gut genug, die Leistung des Modells wird sich nicht verbessern. .

Darüber hinaus hat Herr Liu Tianming gerade Prompt Engineering erwähnt, eine ebenfalls sehr wichtige Technologie.

Beim maschinellen Lernen vor mehr als zehn Jahren beschäftigten sich die Menschen mit der Merkmalsextraktion. Nach dem Aufkommen von Deep Learning wechselte jeder zum Network Engineering. Jetzt, im Zeitalter der künstlichen Intelligenz 2.0, verfügt jeder über seinen eigenen individuellen Prompt-Service.

Li Xiang:Diese Entwicklung ist tatsächlich sehr interessant. Immer mehr Menschen, die sich nicht mit Deep Learning oder maschinellem Lernen auskennen, können diese Technologien auch durch natürliche Sprache implementieren.

In-Context Learning löst das Problem des Vortrainings großer Modelle und ist eine sehr nützliche Technologie. Es hat nicht nur die Technologie, sondern auch die sozialen und wirtschaftlichen Aspekte des menschlichen Verhaltens verändert, wodurch das Publikum der KI breiter geworden ist und Ärzte nun selbst NLP-bezogene KI-Forschung betreiben können.

Vor ChatGPT, das auf In-Context-Learning basierte, war es für Ärzte unmöglich, diese Dinge zu erreichen. Dies ist ein gewaltiger Ideologiewandel.

Im Hinblick auf die Nutzung von Fachwissen spielen sowohl aktives Lernen als auch föderales aktives Lernen eine sehr wichtige Rolle in diesem Prozess. Dies ist der Kernschritt. Obwohl es sich nur um ein kleines Datenelement handelt, kann es das gesamte große Modell nutzen, um es zu erweitern fortgeschritten. Gute Richtung.

In diesem Prozess sind noch viele Designfragen zu klären, die möglicherweise noch nicht beantwortet sind, aber wir forschen derzeit in diesem Bereich.

Liu Wei:Wenn wir ChatGPT auf die medizinische Bildgebung anwenden wollen, ist multimodales Lernen unerlässlich. Derzeit gibt es im medizinischen Bereich viele verschiedene Arten von Daten wie Bilder, Audio und Text, die durch multimodales Lernen kombiniert werden müssen, bevor sie in der klinischen Arbeit angewendet werden können.

Darüber hinaus muss auch die Einschränkung der Daten in einem bestimmten Bereich berücksichtigt werden. Für Daten in einem Berufsfeld wie der Medizin müssen professionellere Aufforderungswörter verwendet werden, um Fragen zu generieren.

Drittens verwendet ChatGPT derzeit ein sehr einfaches Trainingsbelohnungsmodell und die Ergebnisse der Antworten werden nur von Menschen ausgewertet. Ich denke, dass die Komplexität dieser Verbindung in Zukunft weiter verbessert werden sollte und multimodales Lernen und andere Technologien verwendet werden sollten Durchführung einer mehrdimensionalen Bewertung.

Shen Dinggang:Um es einfach auszudrücken: Um die ChatGPT-Technologie in den Bereichen medizinische Bildgebung oder Radiologie anzuwenden, müssen Wissen und Informationen aus verwandten Bereichen in das ChatGPT-Modell integriert werden, um seine Leistung in diesem Berufsfeld zu verbessern. Konkret kann dies erreicht werden durch:

Stellen Sie eine große Menge domänenbezogener Daten zum Trainieren des Modells bereit, einschließlich Diagnoseergebnissen, medizinischer Bildgebung, wissenschaftlichen Arbeiten usw.;

Nutzen Sie das Wissen von Fachexperten wie Ärzten, Wissenschaftlern usw., um das Modell zu leiten und zu verbessern;

Einbettung domänenspezifischer Sprache und Terminologie in das Modell, damit es Inhalte in diesem Bereich besser verstehen und verarbeiten kann;

Wenden Sie das Modell auf ein spezifisches Problem in einem bestimmten Bereich an, beispielsweise auf die Diagnose medizinischer Bildgebung, und vergleichen und bewerten Sie seine Leistung mit menschlichen Experten.

Zusammenfassend lässt sich sagen, dass die Anwendung der ChatGPT-Technologie in einem bestimmten Bereich bestimmte Domänenkenntnisse und professionelle Anleitung erfordert und mit spezifischen Problemen kombiniert werden sollte, um ihre größte Rolle zu spielen.

Shen Dinggang: Wie kann man das Wissen über bildgebende KI und Radiologie nutzen, um ChatGPT zu verbessern? Wie können große Sprachmodelle für die Radiologie weiterentwickelt werden?

Liu Tianming:Lassen Sie mich zunächst auf einige Beispiele eingehen. Es handelt sich um Beispiele unserer laufenden Projekte. Wir haben Erfahrungen und Verständnis aus erster Hand und haben auch einige Ergebnisse erzielt. Soweit es meine aktuelle Beobachtung betrifft, wird ChatGPT im Bereich der klinischen Radiologie weit verbreitet sein.

Das erste Beispiel ist, dass die Argumentationsfähigkeiten von ChatGPT so umfassend sind, dass es allein durch die Eingabe von Daten aus dem Bereich der klinischen Radiologie gut argumentieren kann.

In einem Projekt, an dem wir derzeit arbeiten, werden die Textdaten in verschiedenen Abteilungen wie der Radiologieabteilung in ein für ChatGPT akzeptables Format konvertiert und ChatGPT wird verwendet, um über die Ursache der entsprechenden Krankheit und ihren zukünftigen Entwicklungstrend nachzudenken.

Das zweite Beispiel ist das Management von Krebspatienten durch ChatGPT, insbesondere die Vorhersage klinischer Knoten einer Strahlentherapie. Dieses Projekt hat bereits begonnen.

Das dritte Beispiel ist die klinische Diagnose, bei der Text und Daten durch Hint Engineering in den Merkmalsraum eingebettet werden und der Merkmalsraum zum Clustern, Stratifizieren oder Diagnostizieren von Patienten verwendet wird.

Diese Beispiele liefern sehr schnell Ergebnisse, möglicherweise viel bessere als frühere Methoden. Meiner Meinung nach stellt dies nur einen kleinen Teil der klinischen Anwendung von ChatGPT dar. In Zukunft können grundsätzlich alle Technologien und Tools, die wir uns in der klinischen Praxis vorstellen können, durch ChatGPT realisiert werden.

Darüber hinaus sind auch multimodale Aspekte sehr wichtig. Wir verbinden Bildmerkmale, Textmerkmale und Augenbewegungsdaten des Arztes durch multimodales In-Context-Lernen, um die Erstellung von Diagnoseberichten mit einem Klick zu realisieren.

Shen Dinggang:Vielen Dank, Tianming. Die gerade erwähnte Augenbewegungstechnologie ist besonders für das Training von Sprachmodellen sehr wichtig, da die Augenbewegungsdaten regelmäßiger sind.

Im Gegensatz dazu ist das Erlernen von Gesetzmäßigkeiten aus in alle Richtungen zusammenhängenden Bilddaten deutlich schwieriger.

Während des Diagnoseprozesses des Arztes kann die Aufzeichnung der Augenbewegung des Arztes automatisch die Aufmerksamkeit und Aufmerksamkeit des Arztes aufzeichnen und so dazu beitragen, die nachfolgende selbstlernende Technologie zu realisieren. Eine solche Technik könnte eine wirksame Simulationstherapie sein.

Im digitalen Raum können unterschiedliche Behandlungen simuliert und unterschiedliche Ergebnisse verglichen werden. Mit dieser Technologie können wir Diagnosen und Behandlungen in der virtuellen Welt durchführen.

Yan Pingkun:Aus Sicht der Bildanalyse ist ChatGPT insbesondere im Vergleich zum aktuellen visuellen Modell so erfolgreich, weil das Objekt, das es lernt – Text – die inhärenten Vorteile des menschlichen Ausdrucks aufweist.

Menschen verwenden Wörter, um viel Wissen zu schreiben. Für diese Wörter gelten bestimmte Regeln und sie müssen in bestimmten Regeln ausgedrückt werden, sodass ChatGPT bequem Wortkenntnisse erlernen kann.

Was wir in der aktuellen Phase berücksichtigen sollten, ist, wie wir Bildinformationen besser in das große Modell eingeben können.

Eine Möglichkeit besteht darin, die Informationen im Bild über das Bildanalysemodell zu extrahieren und an ChatGPT zu senden.

Ein weiterer Ansatz ist eine Richtung, auf die wir uns konzentrieren sollten: multimodales Lernen, insbesondere visuelles Sprachenlernen. Sobald die Bildinformationen mit der Sprache kombiniert sind, können die Bildinformationen direkt codiert und zusammen mit dem Text in ein großes Sprachmodell gesendet werden.

Daher sollten wir uns derzeit auf groß angelegte Sprachmodelle konzentrieren, die viel Wissen erlernen und über logische Denkfähigkeiten verfügen. Da dies das Zentrum ist, müssen wir auch klären, wie wir Bildinformationen besser dorthin übertragen können.

Li Xiang:Sowohl Herr Liu Tianming als auch Herr Yan Pingkun sprachen über die Kernpunkte der Verwendung von ChatGPT. Ich möchte einen wichtigen, aber wenig beachteten Aspekt hervorheben, nämlich die medizinische Informatik. Bei der Verwendung von Sprachmodellen im klinischen Arbeitsablauf muss es schnell gehen , effektiv und genau, um Daten zu erhalten.

In den letzten Jahren haben wir viel Zeit damit verbracht, zu erforschen, wie man beliebige Texte oder Daten des Krankenhaussystems nehmen und Realitätsmodelle auf diese Daten anwenden kann, um große Sprachmodelle oder multimodale Modelle in den gesamten klinischen Arbeitsablauf zu integrieren, einschließlich klinischer Indikatoren in der Radiologie . Dabei spielt die medizinische Informatik eine wichtige Rolle.

Liu Wei:Herr Liu Tianming und Herr Shen Dinggang haben große Erfolge im multimodalen Lernen erzielt, beispielsweise durch die Verwendung von ChatGPT zur Durchführung von Projekten wie ChatCAD und ChatAug in den Bereichen klinische Medizin und medizinische Bildgebung. Wir sollten ihrem Beispiel folgen und Wege finden, diese Techniken in Ausbildung und Forschung anzuwenden.

Obwohl wir über viele medizinische Bilddaten verfügen, stellte der Datenaustausch aus verschiedenen Gründen schon immer ein großes Problem dar. Wir müssen eine große rechtliche und konforme Datenbank erstellen, was für das Training der nächsten Generation von Big-Data-Modellen sehr wichtig ist.

Darüber hinaus versuchen viele Ärzte, ChatGPT für wissenschaftliche Forschung zu nutzen, können ChatGPT jedoch aufgrund mangelnder Fachkenntnisse nur für einfache angewandte Forschung verwenden. Wenn Sie die Forschung weiter vorantreiben möchten, benötigen Sie die Bemühungen und die Zusammenarbeit von Experten in mehreren Bereichen.

Alles in allem ist es für eine bessere Anwendung von ChatGPT in der klinischen Arbeit nicht nur notwendig, Technologien wie multimodales Lernen zu integrieren, sondern erfordert auch die gemeinsamen Anstrengungen von Experten in mehreren Bereichen.

Shen Dinggang: Wie lässt sich ChatGPT angesichts der Einschränkungen und des Potenzials synthetischer ChatGPT-Dokumente in den radiologischen Prozess integrieren, um bei der Entwicklung nützlicher Tools für Radiologen zu helfen?

Liu Wei:Ich bin ein Praktiker auf dem Gebiet der Strahlentherapie. Derzeit sind die Dateninformationen jedes Fachgebiets nicht nur ein Text, sondern umfassen verschiedene Arten von Informationen, wie Fälle, Bilder, Nachuntersuchungsergebnisse usw. Wir müssen diese Informationen kombinieren , um aussagekräftigere klinische Forschung betreiben zu können.

Soweit ich weiß, haben einige Unternehmen damit begonnen, Big-Data-Modelle zu verwenden, um die Behandlungsergebnisse von Patienten vorherzusagen, aber die aktuellen Modelle berücksichtigen im Allgemeinen nur Textinformationen.

Ich glaube, dass in diesem Arbeitsbereich multimodale Lerntechniken eingesetzt werden müssen, um in Zukunft eine Vorreiterrolle zu übernehmen.

Am Beispiel der Strahlentherapie gibt es derzeit eine Vielzahl von Strahlentherapiemethoden, darunter Photonen, Protonen, Blocktherapie und Elektronen. Bei Vorgesprächen mit Patienten und bei komplexen Erkrankungen ist es oft notwendig, die Meinungen von Patienten einzuholen Experten aus verschiedenen Bereichen wählen die am besten geeignete Strahlentherapiemethode aus. Wie der Patient behandelt wird.

Allerdings ist die Organisation von Expertengesprächen zeitaufwändig und mühsam. In der Vergangenheit verfügten Ärzte bei der Fallerstellung meist nicht über ein Standardformat, was es schwieriger machte, Informationen aus diesen unstrukturierten klinischen Daten zu extrahieren.

Mit Tools wie ChatGPT können wir jetzt effizienter recherchieren.

Gleichzeitig entscheiden sich amerikanische Krankenversicherungen, um Kosten zu sparen, immer für günstigere Behandlungsmethoden, was den Zeitaufwand für die Kommunikation zwischen Ärzten und Versicherungsgesellschaften erhöht. Dies ist ebenfalls ein Problem, das wir berücksichtigen müssen.

Liu Tianming:Radiologen spielen eine Schlüsselrolle in der klinischen Diagnose und müssen mit Ärzten anderer Abteilungen zusammenarbeiten und eine große Menge an Literatur und Falldaten lesen.

Der Einsatz natürlicher Sprachverarbeitungstools wie ChatGPT kann Ärzten helfen, große Informationsmengen schneller zu lesen und zu verstehen sowie schnell Diagnoseberichte und Versicherungsdokumente zu verfassen. Dadurch wird die Effizienz der Ärzte erheblich gesteigert und der gesamte medizinische Arbeitsablauf verbessert.

Yan Pingkun:Ich denke, dass bei der Anwendung von ChatGPT auf einen radiologischen Arbeitsablauf zwei Aspekte zu berücksichtigen sind.

Die erste besteht darin, die Stichworte zu standardisieren, da die Stichworte im gesamten Prozess sehr wichtig sind. Um Prompt Engineering durchzuführen, benötigen wir die richtigen, prompten Worte. Dazu müssen wir ein tiefes Verständnis und Bewusstsein für das Thema haben.

Wie man ChatGPT geeignete Aufforderungsworte gibt, um bessere Ergebnisse zu erzielen, ist ebenfalls ein Problem, das wir lösen müssen.

Ein weiterer Aspekt ist, dass unterschiedliche Aufforderungswörter einen großen Einfluss auf die Ergebnisse von ChatGPT haben.

Das OpenAI-Team führte dieses Experiment durch und stellte fest, dass unterschiedliche Aufforderungswörter einen großen Unterschied in der Leistung des Modells haben. Daher müssen wir Stichworte normalisieren und die Situation mithilfe von Techniken wie Ensemble-Lernen verbessern.

Darüber hinaus können wir über das ChatGPT-Modell Ärzten Feedback geben und Berichte erstellen, um Ärzten dabei zu helfen, Probleme zu entdecken, die möglicherweise übersehen werden, wie z. B. Zufallsbefunde (zufällige Befunde).

Das ChatGPT-Modell kann auf mögliche Probleme mit den Bildern hinweisen und so eine weitere Untersuchung durch Ärzte ermöglichen. Diese Interaktion ist sehr wichtig.

Li Xiang:Um Ärzte besser bedienen zu können, versuchen wir derzeit, Wissensgraphen zu verwenden, die uns dabei helfen, Werkzeuge zur Verarbeitung natürlicher Sprache besser zu nutzen.

Wissensgraphen können dem gesamten Prozess hinzugefügt werden, sei es die Dateneingabe, die Sprachgenerierung oder die Effektverbesserung von ChatGPT usw. Dies wird uns bei der Verwendung von ChatGPT in der Klinik eine große Hilfe sein.

Es ist jedoch schwierig, eine gute Wissenskarte zu erhalten. Wir versuchen, ChatGPT zu verwenden, um Wissenskarten aus einer großen Anzahl von Korpora automatisch zu ermitteln. Diese Arbeit wird viele fortgeschrittene Erfahrungen für den Einsatz von Sprachmodellen in der klinischen Arbeit liefern.

Shen Dinggang:Was sind die potenziellen Herausforderungen beim Einsatz von ChatGPT und seiner Kerntechnologie im Bereich der medizinischen Bildgebung (z. B. wie erstellt man eine institutsübergreifende Textdatenbank, wie schützt man die Privatsphäre von Patienten und welche Verhaltenskodizes der Branche sind erforderlich)?

Wir haben darüber gesprochen, wie Daten und Privatsphäre geschützt werden können, aber jetzt müssen wir darüber nachdenken, wie wir die ChatGPT-Technologie im medizinischen Bereich anwenden können, insbesondere in der medizinischen Bildgebung und Strahlentherapie?

Dabei geht es sowohl um die Genehmigungsstandards des IRB (Institutional Review Board) als auch um den Schutz personenbezogener Daten, der ebenfalls ein zentrales Thema darstellt.

Liu Tianming:Im medizinischen Bereich ist der Schutz der Privatsphäre derzeit sehr wichtig und es gibt derzeit keine geeignete Methode, um medizinische Daten an ChatGPT bereitzustellen.

Wir bereiten ein Papier darüber vor, wie ChatGPT im medizinischen Bereich unter der Prämisse des Schutzes der Privatsphäre besser eingesetzt werden kann.

Wir haben festgestellt, dass die Verwendung lokaler Großmodelle einige Probleme lösen kann. Bei Problemen, die nicht gelöst werden können, können wir ChatGPT verwenden, um private Informationen zu entfernen und die Datenerkennungsrate zu verbessern.

Dies wird große Auswirkungen auf den medizinischen Bereich haben. In Zukunft können medizinische Texte über ChatGPT begründet werden. Wir werden in Kürze ein Papier veröffentlichen, in dem wir unseren Ansatz detailliert beschreiben.

Yan Pingkun:Bei der Aufbereitung medizinischer Daten benötigen wir mehr Bild- und Textdaten, wie z. B. Krankenakten, radiologische Berichte usw. Es gibt relativ wenige öffentliche Datensätze wie MIMICS.

Müssen wir jetzt, da es viele Encoder und Technologien wie Embedding gibt, immer noch Rohdaten teilen? Oder handelt es sich nur um gemeinsam genutzte verschlüsselte Daten?

Li Xiang:Gerade hat ein Lehrer das Problem des Shared Computing erwähnt. Tatsächlich ist die Anwendung des föderierten Lernens auf Bilder relativ ausgereift, aber in Bezug auf die Sprache ist noch ein umfangreiches Sprachmodell erforderlich, was ebenfalls eine Herausforderung darstellt.

Wenn andererseits ein groß angelegtes Sprachmodell lokal bereitgestellt werden soll, stellt dies große Anforderungen an die Rechenleistung, was fast die größte Herausforderung groß angelegter Sprachmodelle im medizinischen Bereich darstellt.

Meiner Meinung nach verfügen nicht alle Krankenhäuser über die Voraussetzungen für diese Arbeit, und es gibt immer noch Probleme wie Datenungleichgewichte, die unsere Aufmerksamkeit verdienen, und es gibt noch keine gute Lösung, selbst wenn wir das föderierte Lernen und andere Methoden verwenden haben ebenfalls ähnliche Nachteile und erfordern lokale Lösungen.

Liu Wei:Die neue Idee, die Herr Yan Pingkun gerade erwähnt hat, besteht darin, föderiertes Lernen zu verwenden, um Daten im lokalen Modell vorläufig zu verarbeiten und sie dann zu teilen, um unter der Prämisse, die Privatsphäre der Patienten zu schützen, bessere Ergebnisse zu erzielen.

Aber wie Lehrer Li Xiang sagte, sind Datenkoordination und Datenschutz im medizinischen Bereich eine große Herausforderung. Wir haben darüber nachgedacht, die Blockchain-Technologie zum Austausch von Daten zu nutzen, was möglicherweise eine gute Idee ist.

Shen Dinggang:Wir haben bereits viel in den Bereichen Radiologie, Onkologie und Genetik gearbeitet und Bilder und genetische Informationen gesammelt. Mit Technologien wie ChatGPT kann es uns jetzt helfen, die Beziehung zwischen Bildern und Genen zu verstehen. Mit der Selbstlernfunktion von ChatGPT können wir neue Zusammenhänge und Gesetzmäßigkeiten entdecken und diese in Bereichen wie Onkologie, Genetik und Radiologie anwenden.

Wie kann ChatGPT mit Anwendungen in der Radiologie und vielen anderen biomedizinischen Bereichen verbunden werden?

Liu Tianming:Der mit uns kooperierende Lehrer Zhang Tuo von der Northwestern Polytechnical University leitet ein Team von sieben oder acht Personen und hat begonnen, mithilfe von ChatGPT die Struktur und Funktion des menschlichen Gehirns mit einem semantischen Raum auf hoher Ebene zu verbinden.

Mit ähnlichen Methoden können Informationen in vielen Bereichen verarbeitet werden, beispielsweise in der Genomik und Bioinformatik, und ich denke, dass die Anwendung von ChatGPT in diesen beiden Bereichen noch nicht begonnen hat. Wir können die Wissenskartenmethode verwenden, um alle relevanten Informationen wie Bilder, Texte und Genome in einem Diagrammraum abzubilden, und dann Technologien wie ChatGPT verwenden, um diesen Diagrammnetzwerkraum zu begründen und zu analysieren.

Dies ist eine NLP-Methode, die die gesamte Bioinformatik, klinische Informatik und medizinische Bildgebung verändern wird und der allgemeine Trend der Zukunft ist.

Shen Dinggang:Diese Methode kann alle Ausdrucksweisen ändern, alle Informationen im selben Raum zusammenfassen und Informationen voneinander finden, wodurch ein multimodaler Ausdruck realisiert wird.

Wir haben viele Jahre damit verbracht, multimodale Informationen zu untersuchen, CCA zu verwenden, um Informationen aus verschiedenen Räumen in denselben Raum umzuwandeln, und Deep Learning zu verwenden, um Informationsvektoren über große Entfernungen in denselben Raum umzuwandeln, wodurch die koordinierten Informationen maximiert werden können.

Wir müssen auch verschiedene Informationen im selben Raum kodieren, und die Informationen der ursprünglichen Modalität können bei der Dekodierung zurückgegeben werden. Dies kann viele Dinge einfacher machen.

Dieses Gebiet ist sehr interessant. Ich habe viele Aufsätze gelesen und etwas über neue Technologien gelernt. Genau wie 2012 habe ich viele Aufsätze zum Thema Deep Learning gelesen und dann dafür gesorgt, dass meine Studenten die erste Reihe von Deep-Learning-Forschungen durchführen.

Wir müssen mit dem Tempo der technologischen Entwicklung Schritt halten, alle Artikel lesen, alle Forschungstrends und technischen Details verstehen, damit wir unsere Schüler und jungen Lehrer effektiv anleiten und ihnen ermöglichen können, in kurzer Zeit gute Ergebnisse zu erzielen. Ich denke, wir sollten an vorderster Front stehen, um das gut zu machen.

Yan Pingkun:Wir befinden uns jetzt in einem sehr wichtigen Moment, der ein Umdenken erfordert. In der Vergangenheit haben wir uns auf das Feature-Engineering konzentriert und uns später dem Netzwerk-Engineering zugewandt, aber jetzt müssen wir unsere Forschung mit großen Sprachmodellen kombinieren.

Darüber hinaus müssen wir auch den Grad der Maschineninteraktion kontinuierlich verbessern, von der Pixelebene über die Funktionsebene bis hin zur Interaktion auf Wissensebene.

Das Aufkommen von ChatGPT definiert auch die Interpretierbarkeit des maschinellen Lernens neu. Genau wie das Wissen, das die Lehrer heute hier teilen, müssen wir nicht wissen, wie die Neuronen in Ihrem Gehirn funktionieren und wie sie miteinander verbunden sind. Wir müssen nur die Logik und das Wissen lernen, die Sie geteilt haben.

Wir müssen verstehen, wie Neuronen in einem Netzwerk funktionieren, nicht unbedingt ihre Implementierung. Auf diese Weise können wir die Interpretierbarkeit neu definieren.Dies sind sehr wichtige Forschungsrichtungen. Wie Professor Shen Dinggang sagte, müssen wir viel Energie darauf verwenden, die neuesten technologischen Fortschritte zu studieren und zu meistern

Li Xiang:Ich denke, wir müssen die Idee der multimodalen Fusion neu definieren. Wenn wir in der Vergangenheit über multimodale Fusion sprachen, bezogen sich die meisten auf die Fusion verschiedener Datentypen in einer bestimmten Aufgabe und folgten einem Pfad.

Ich denke, dass die multimodale Fusion eher auf der Generierung beruhen sollte als nur auf der Fusion von Modellen oder der Zusammenführung verschiedener Informationen. Wir müssen zulassen, dass sich unterschiedliche Modalitäten in ihren jeweiligen Lernprozessen gegenseitig erzeugen und bekämpfen.

Da es nun erfolgreiche Beispiele für Sprachmodelle und Bildgenerierungsmodelle gibt, können wir versuchen, Fortschritte bei multimodalen generativen Modellen zu erzielen, um eine echte multimodale Fusion zu erreichen.

Liu Wei:Außerdem halte ich es für wichtig, mehr Aufsätze zu studieren und die technischen Details zu verstehen, um effektiver mit den Studierenden zusammenarbeiten zu können. Als Kliniker bin ich vielleicht relativ konservativ, aber ich denke, wir sollten eine Änderung vornehmen, um die neueste Technologie zu nutzen und sie in der klinischen Arbeit anzuwenden.

Wir können zum Beispiel wie Herr Shen Dinggang ChatCAD ausprobieren, multimodale Daten kombinieren und auf verschiedene Bereiche anwenden.

Ich halte die Arbeit von ChatAug für sehr vielversprechend. Wenn man es mit multimodalen Daten verbinden kann, nicht nur mit Text und Bildern, sondern auch mit anderen Arten von Daten zur Datenerweiterung, dann wird auch der Modelleffekt verbessert.

Die an diesem wissenschaftlichen Salon beteiligten Artikel sowie die von mehreren teilnehmenden Experten veröffentlichten Artikel zur Entwicklung und Anwendung von ChatGPT in der Medizin finden Sie in der folgenden Liste:

ChatGraph: Interpretierbare Textklassifizierung durch Konvertieren von ChatGPT-Wissen in Diagramme

Prompt Engineering für das Gesundheitswesen: Methoden und Anwendungen

Unterscheiden Sie zwischen ChatGPT-generierten und von Menschen verfassten medizinischen Texten

ChatABL: Abduktives Lernen durch Interaktion mit natürlicher Sprache mit ChatGPT

Erkundung der Kompromisse: Einheitliche große Sprachmodelle vs. lokale, fein abgestimmte Modelle für hochspezifische NLI-Aufgaben in der Radiologie

ImpressionGPT: Ein iteratives Optimierungsframework für die Zusammenfassung radiologischer Berichte mit ChatGPT

Bewertung großer Sprachmodelle zu einem hochspezialisierten Thema, der Radioonkologiephysik

DeID-GPT: Zero-Shot-Deidentifizierung medizinischer Texte durch GPT-4

Chataug: Nutzung von Chatgpt zur Erweiterung von Textdaten

Chatcad: Interaktive computergestützte Diagnose anhand medizinischer Bilder mithilfe großer Sprachmodelle

Transformatoren in der medizinischen Bildanalyse: Ein Rückblick

DoctorGLM: Die Feinabstimmung Ihres chinesischen Arztes ist keine Herkulesaufgabe