Seit seiner Markteinführung vor einem Jahr hat sich chatgpt, eine künstliche Intelligenz, die in der Lage ist, originelle Inhalte und sprachbezogene Aufgaben zu erstellen, zu einem äußerst beliebten Tool entwickelt. Nun zeigt eine Studie, dass er 20 % des spanischen Wortschatzes nicht kennt und bei den restlichen 80 % Fehler macht.
Nach Angaben von OpenAI – dem Unternehmen, das ihn entwickelt hat – nutzen jede Woche einhundert Millionen Menschen diesen Chatbot, um sprachbezogene Aufgaben zu erledigen.
Doch obwohl dieses Tool darauf trainiert ist, Gespräche zu führen und Texte zu generieren, ist bekannt, dass es Antworten liefern kann, die plausibel erscheinen, aber völlig falsch sind.
Um die Leistung von ChatGPT und seine tatsächliche Kapazität zu bewerten, hat ein Team spanischer Forscher eine Anwendung namens ChatWord entwickelt, die es ermöglicht, das lexikalische Wissen von ChatGPT in mehreren Sprachen zu bewerten.
Als Referenz dienten dabei die im Wörterbuch der Royal Academy of Language gesammelten Wörter und diejenigen, die in Don Quijote von Miguel de Cervantes vorkommen.
Die Studie ergab, dass das ChatGPT3.5turbo-Modell von den mehr als 90.000 Wörtern, die im Wörterbuch der Royal Academy of Language enthalten sind, etwa 20 %, also etwa 18.000 Wörter, nicht kennt.
Darüber hinaus machte ChatGPT von den verbleibenden 80 % der Wörter im Wörterbuch und 90 % der Wörter in Don Quixote Fehler in etwa 5 % der Begriffe.
Lesen Sie auch: Wissenschaftler finden, dass genetische Veränderungen bei Hunden helfen würden, Autismus zu verstehen
ChatGPT kennt 20 % des spanischen Lexikons nicht und macht bei den restlichen 80 % Fehler: Studieren
Die Studie erinnert daran, dass ein Spanisch sprechender Mensch im Durchschnitt 30.000 Wörter erkennt, also fast ein Drittel des spanischen Wortschatzes, eine Zahl, die im Vergleich zu der einer Maschine dürftig erscheinen mag, warnen die Autoren.
Aber „wie so oft bei Systemen der künstlichen Intelligenz ist nicht alles Gold, was glänzt, und wenn wir die Bedeutungen analysieren, die ChatGPT den Wörtern gibt, stellen wir fest, dass es einen nicht zu vernachlässigenden Prozentsatz gibt, bei dem die angegebene Bedeutung falsch ist“, erklärt er Javier Conde, Co-Autor der Arbeit.
„Vielleicht ist ChatGPT heute nicht so klug, wie es scheint“, fügt er hinzu.
Darüber hinaus erinnert die Studie daran, dass große Sprachmodelle (LLM), die auf künstlicher Intelligenz basieren und darauf ausgelegt sind, natürliche Sprache in großem Umfang zu verarbeiten und zu verstehen – wie ChatGPT – keine Wörter verwenden, die sie nicht kennen.
Aber für Pedro Reviriego, ebenfalls Co-Autor der Studie, sind die Daten besorgniserregend, denn wenn diese Systeme nur die Wörter verwenden, die sie kennen, ist ein Szenario, in dem der neu generierte Inhalt eine immer geringere Anzahl verschiedener Wörter enthält, „sehr machbar“. und von wenig lexikalischem Reichtum, warnt er.
Die ChatWords-App ist ein öffentlich zugängliches System, das einfach zu verwenden und zu erweitern ist.
Forscher möchten andere Sprachen und LLMs evaluieren, um das lexikalische Wissen von KI-Tools besser zu verstehen und zu verstehen, wie es sich mit dem Erscheinen neuer Versionen und Tools weiterentwickelt.
Mit Informationen von EFE.
Nutzen Sie Facebook häufiger? Hinterlassen Sie uns ein Like, um informiert zu werden
