Studie enthüllt zeitliche Gültigkeit in KI-Systemen: Mängel von chatgpt und zukünftige Auswirkungen

In einer aktuellen Studie untersuchten Forscher der Universität Innsbruck in Österreich das Konzept der zeitlichen Gültigkeit in Systemen der generativen künstlichen Intelligenz (KI). Zeitliche Gültigkeit bezieht sich auf die Relevanz von Aussagen im Zeitverlauf, und ihre Anwendung in KI-Systemen könnte möglicherweise Bereiche wie Finanzmarktvorhersagen und die Generierung von Nachrichten aus Social-Media-Beiträgen revolutionieren.

Enthüllung der Studie

Das 18 Seiten umfassende Forschungspapier stellt ein Benchmarking-System vor, das darauf ausgelegt ist, die Fähigkeit großer Sprachmodelle (LLMs) zu bewerten, die zeitliche Gültigkeit komplexer Aussagen aufrechtzuerhalten. Die Daten für den Benchmark stammen von einer weit verbreiteten Social-Media-Plattform, die früher als Twitter bekannt war. Eines der wichtigsten Ergebnisse der Studie war, dass KI-Modelle zwar die zeitliche Gültigkeit einfacher Aussagen erkennen können, ihre Leistung jedoch schwankt, wenn der Kontext komplexer wird.

ChatGPTs Leistung

ChatGPT von OpenAI war eines der in der Studie bewerteten KI-Modelle. Es wurde festgestellt, dass die KI im Vergleich zu anderen Modellen bei Aufgaben des zeitlichen gesunden Menschenverstandes (TCS) weniger leistungsfähig ist. Das Papier legt nahe, dass die Mängel von ChatGPT möglicherweise auf seinen Trainingsansatz und einen Mangel an spezifischem Wissen über Datensätze zurückzuführen sind.

Implikationen und zukünftige Anwendungen

Die Studie unterstreicht das Potenzial von KI-Modellen mit fortschrittlichem TCS. Solche Systeme könnten genaue Finanzmarktvorhersagen treffen, Nachrichten aus sozialen Medien generieren und KI-Chatbots verbessern, indem sie es ihnen ermöglichen, relevantes Wissen im Laufe der Zeit zu verfolgen. Die Forschung wirft jedoch auch Bedenken hinsichtlich der Zuverlässigkeit gängiger KI-Modelle auf. Jüngste Studien deuten darauf hin, dass diese Modelle aufgrund ihrer Trainingsmethoden zum verstärkenden Lernen möglicherweise angenehme Antworten gegenüber sachlichen bevorzugen. Eine separate Studie entdeckte sogar einen Fehler, der es böswilligen Benutzern ermöglichen könnte, die Schulung eines Chatbots auszunutzen und an private Mitarbeiterdaten zu gelangen. Dies unterstreicht die Notwendigkeit einer kontinuierlichen Forschung und Verbesserung von KI-Systemen, um deren Sicherheit und Zuverlässigkeit zu gewährleisten.