Laborleben. Nicht nur Medien, Studenten oder Künstler begeistern sich für chatgpt, den Konversationsagenten des amerikanischen Unternehmens OpenAI, der das Interesse an künstlicher Intelligenz geweckt hat. Die Wissenschaftler selbst blickten in den Neuankömmling, um ihn aus allen Blickwinkeln zu untersuchen. Fast 1.400 Vorabdrucke (Vordrucke) werden seit dem 30. November 2022 und dem Start von ChatGPT auf der Hauptseite Arxiv.org veröffentlicht. Das Erste vom 12. Dezember (zur Analyse der ersten Tweets zum Thema)…

Laut Scopus, einer der führenden Datenbanken, wurden bereits 927 Artikel veröffentlicht. Eines der am häufigsten genannten Bedenken betrifft die Antworten des Programms auf Tests für Medizinstudenten (ChatGPT würde im vierten Jahr bestanden).

A Überprüfung dieser beeindruckenden Literatur, durchgeführt von einer Gruppe von 18 Forschern in den Vereinigten Staaten und Chinawurde im August veröffentlicht und deckt nur 194 davon ab Vordrucke, bis April. In den ersten fünf Monaten verdoppelten sich die Einsendungen jeden Monat. Mittlerweile hat sich das Tempo verlangsamt und es erscheinen täglich etwa zehn Veröffentlichungen. Eine weitere Rezension, vorab veröffentlicht im Juni, von einem internationalen Team Analyse von 533 Veröffentlichungen in wissenschaftlichen Zeitschriften zeigte die Dominanz der Vereinigten Staaten, Chinas und Indiens zu diesem Thema.

Die chinesisch-amerikanische Arbeit ist wertvoll, weil sie die Studien in neun Kategorien unterteilt, anhand derer ChatGPT bewertet wurde: die Fähigkeit, Fragen zu beantworten, Texte zu klassifizieren (nach Ton, Gefühl), Texte zu generieren, Computercode, Schlussfolgerungen zu ziehen, zu extrahieren Informationen zu sammeln, Menschen zu unterstützen, mit anderer Software zu integrieren und schließlich für medizinische Anwendungen genutzt zu werden. All diese Ergebnisse nehmen ein wenig Abstriche (mit dem Nachteil, dass ein Großteil der Arbeit Version 3.5 des Programms betrifft und nicht die im März veröffentlichte Version 4).

Ziemlich viele Fehler

Mehreren Studien zufolge ist ChatGPT in Mathematik nicht sehr gut, schneidet aber in Physik (genauer gesagt in Mechanik) gut ab und schneidet etwas besser ab als der durchschnittliche Student im Grundstudium. Ein bekannter Fehler des Programms besteht jedoch darin, dass es viele Fehler macht und nicht in der Lage ist, neue Konzepte zu generieren (ein Team testete seine Kreativität in der Stringtheorie ohne Erfolg). Es ahmt menschliche Kardiologen recht gut nach und fasst die Ergebnisse eines Elektrokardiogramms zusammen, sein Niveau sinkt jedoch mit der Komplexität der Diagnose.

Eine große Studie, veröffentlicht in Informationsfusion etin Polen durchgeführt, quantifizierte diese Ernüchterungen, indem es ChatGPT 25 schwierigen Tests unterzog : Identifizierung von Emotionen, Klassifizierung von Texten (hasserfüllt oder nicht), Argumentation usw. Systematisch ist der Conversational Agent weniger gut als andere Programme, die speziell für diese Aufgaben geschult wurden. Im Durchschnitt beträgt der Abstand 17 Punkte (wenn ein Programm 80 % richtige Antworten findet, findet ChatGPT nur 63 %). Seine besten Leistungen liegen in der Grammatik oder in der Klassifizierung von lustigen oder nicht lustigen Texten.

Sie haben noch 30,39 % dieses Artikels zum Lesen übrig. Der Rest ist Abonnenten vorbehalten.