Frequencies of PubMed abstracts containing certain words. Black lines show counterfactual extrapolations from 2021–22 to 2023–24. The first six words are affected by ChatGPT; the last three relate to major events that influenced scientific writing and are shown for comparison. (Credit: Kobak et al., 2024)
“ data-medium-file=“https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg?w=400″ data-large-file=“https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg?w=518″ class=“size-medium wp-image-692428″ src=“https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg?w=400″ alt=““ width=“400″ height=“400″ srcset=“https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg 518w, https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg?resize=250,250 250w, https://hackaday.com/wp-content/uploads/2024/06/excess_vocabulary_chatgpt_vs_natural_change.jpg?resize=400,400 400w“ sizes=“(max-width: 400px) 100vw, 400px“/>Dass Studenten heutzutage gerne ChatGPT zur Unterstützung bei Berichten und anderen Schreibaufgaben verwenden, ist kein Geheimnis, aber auch in der Wissenschaft wird es immer häufiger eingesetzt. Dies wirft die Frage auf, ob ChatGPT-unterstützte akademische Texte irgendwie unterschieden werden können. Laut [Dmitry Kobak] und Kollegen ist dies der Fall, wobei ein starkes Zeichen für die Verwendung von ChatGPT das Vorhandensein einer Menge blumiger, überflüssiger Vokabeln im Text ist. Wie in ihr vorveröffentlichtes Papierstellt die Häufigkeit bestimmter Stilwörter eine bemerkenswerte Veränderung im verwendeten Vokabular der untersuchten Veröffentlichungen dar.
Für ihre Studie untersuchten sie über 14 Millionen biomedizinische Abstracts aus den Jahren 2010 bis 2024, die sie über PubMed bezogen hatten. Diese Abstracts wurden dann auf Wortverwendung und -häufigkeit analysiert. Dabei zeigten sich sowohl natürliche Anstiege der Worthäufigkeit (z. B. durch die SARS-CoV-2-Pandemie und den Ebola-Ausbruch) als auch massive Anstiege des überschüssigen Wortschatzes, die mit der öffentlichen Verfügbarkeit von ChatGPT und ähnlichen LLM-basierten Tools zusammenfallen.
Insgesamt wurden 774 einzigartige Exzesswörter annotiert. Hier bedeutet „Exzess“ „außerhalb der Norm“, entsprechend dem Muster der „Übersterblichkeit“, bei der die Sterblichkeit während eines Zeitraums deutlich von den in früheren Zeiträumen festgestellten Mustern abweicht. In dieser Hinsicht ist der Anstieg bei Wörtern wie Atemwege sind logisch, aber der Anstieg an Stilwörtern wie kompliziert Und vor allem liegt offenbar daran, dass LL.M. eine Vorliebe für eine solch blumige, überdramatisierte Sprache haben.
Die Forscher haben die Analysecode verfügbar für diejenigen, die es an einem anderen Korpus ausprobieren möchten. Der Hauptautor hat auch angesprochen die Frage, ob ChatGPT die Leute dazu verleitet, eher wie ein LLM zu schreiben. An diesem Punkt ist es noch eine offene Frage, ob die Leute eher dazu neigen, ChatGPT-ähnliches Vokabular zu verwenden oder aktiv versuchen, zu vermeiden, wie ein LLM zu klingen.
