Nach Angaben von OpenAI – einem Unternehmen, das ihn entwickelt hat – nutzen jede Woche einhundert Millionen Menschen diesen Chatbot, um sprachbezogene Aufgaben zu erledigen.
Doch obwohl dieses Tool darauf trainiert ist, Gespräche zu führen und Texte zu generieren, ist bekannt, dass es Antworten liefern kann, die plausibel erscheinen, aber völlig falsch sind.
Um die Leistung von chatgpt und seine tatsächliche Kapazität zu bewerten, hat ein Team spanischer Forscher eine Anwendung namens ChatWord entwickelt, die es ermöglicht, das lexikalische Wissen von ChatGPT in mehreren Sprachen zu bewerten.
Dazu nutzte das Team, bestehend aus Wissenschaftlern der Polytechnischen Universität Madrid (UPM), zusammen mit Kollegen der Universität Carlos III Madrid (UC3M) und der Universität Valladolid (UVa), die im Wörterbuch gesammelten Wörter als Referenz. der Royal Spanish Academy und derjenigen, die in der erscheinen Quijote von Miguel de Cervantes.
Die Studie ergab, dass das ChatGPT3.5turbo-Modell von den mehr als 90.000 Wörtern, die im Wörterbuch der Royal Spanish Academy enthalten sind, etwa 20 %, also etwa 18.000 Wörter, nicht kennt.
Darüber hinaus sind von den restlichen 80 % der Wörter im Wörterbuch und 90 % der Wörter im QuijoteChatGPT machte in etwa 5 % der Bedingungen Fehler.
Sehr schlechte Kenntnisse
Die Studie erinnert daran, dass ein Spanisch sprechender Mensch im Durchschnitt 30.000 Wörter erkennt, also fast ein Drittel des spanischen Wortschatzes, eine Zahl, die im Vergleich zu der einer Maschine dürftig erscheinen mag, warnen die Autoren.
„Wie so oft bei Systemen der künstlichen Intelligenz ist nicht alles Gold, was glänzt, und wenn wir die Bedeutungen analysieren, die ChatGPT den Wörtern gibt, stellen wir fest, dass es einen nicht zu vernachlässigenden Prozentsatz gibt, bei dem die angegebene Bedeutung falsch ist“, erklärt er . Javier Conde, Assistenzprofessor an der Higher Technical School of Telecommunications Engineers (ETSIT) der UPM und Mitautor der Arbeit.
„Vielleicht ist ChatGPT heute nicht so klug, wie es scheint“, fügt er hinzu.
Darüber hinaus erinnert die Studie daran, dass große Sprachmodelle (LLMs), die auf künstlicher Intelligenz basieren und darauf ausgelegt sind, natürliche Sprache in großem Umfang zu verarbeiten und zu verstehen – wie ChatGPT –, keine Wörter verwenden, die sie nicht kennen.
Aber für Pedro Reviriego, Professor am ETSIT und Mitautor der Studie, sind die Daten besorgniserregend, denn wenn diese Systeme nur die Wörter verwenden, die sie kennen, ist ein Szenario, in dem die Anzahl der neu generierten Inhalte immer kleiner wird, „sehr machbar“. „von verschiedenen Wörtern“ und von geringem lexikalischem Reichtum, warnt er.
Die ChatWords-App ist ein öffentlich zugängliches System, das einfach zu verwenden und zu erweitern ist.
Forscher möchten andere Sprachen und LLMs evaluieren, um das lexikalische Wissen von KI-Tools besser zu verstehen und zu verstehen, wie es sich mit dem Erscheinen neuer Versionen und Tools weiterentwickelt.
