Es ist ein Jahr her, seit chatgpt auf den Markt kam – es kam in die Klassenzimmer und veranlasste Führungskräfte, Bildung neu zu denken. Natürlich gab es schon vor ChatGPT KI, aber ähnlich wie es Basketball vor Michael Jordan gab, ist das Spiel seitdem nicht mehr dasselbe.
Nach der ersten Einführungsphase haben sich Forscher unter anderem aus Stanford, dem Worcester Polytechnic Institute und der University of Toronto mit KI-Modellen im Bildungswesen befasst. In drei kürzlich veröffentlichten Studien skizzieren sie, was bei ChatGPT funktioniert – und was nicht.
Insbesondere deuten die neuen Studien darauf hin, dass ChatGPT auf bildungsspezifische Daten geschult und gezielt darauf ausgerichtet werden muss spezifische Kontexte wenn es darum geht, die Lernergebnisse wirklich zu verbessern.
Natürlich kann ChatGPT sowohl für Schüler als auch für Lehrer ein Segen sein, da es sie von alltäglichen Aufgaben befreit und Ineffizienzen lindert. Es könnte möglicherweise bahnbrechende Lösungen für skalierbares Lernen ankündigen und dazu beitragen, Ungleichheiten abzumildern, es könnte sie aber auch verschärfen. Die neue Forschung hilft bei der Beantwortung dieser Fragen und befasst sich eingehend mit den Auswirkungen und der Umsetzung von ChatGPT für die Lerntechnologie.
Ein neues Kind im Wohnblock
Als das KI-gestützte Large Language Model (LLM) ChatGPT Ende 2022 auf den Markt kam, war es soweit löste alles aus, von Angst bis hin zu leidenschaftlicher Aufregung. Einige Pädagogen begrüßen weiterhin das Potenzial, den Unterricht zu rationalisieren und zu skalieren, die Last umständlicher Verwaltungsaufgaben zu tragen und sogar Schüler mit dem Reiz neuer Technologien vertraut zu machen.
Andere Pädagogen gingen bei der Einführung von ChatGPT noch mehr vor Vorsicht – Bedenken äußern dass die Technologie zu Betrug führen, die Fähigkeit zum kritischen Denken beeinträchtigen, fehlerhafte Informationen verbreiten oder sogar die Arbeit der Lehrer ersetzen könnte.
In jüngerer Zeit haben Forscher begonnen, die Auswirkungen von LLMs und KI in einer Vielzahl von Szenarien, Themen und Fähigkeiten zu untersuchen, mit gemischten Ergebnissen.
Die erste Studie wurde letztes Jahr von einem Team am Worcester Polytechnic Institute mit dem Titel veröffentlicht Vergleich verschiedener Ansätze zur Generierung mathematischer Erklärungen mithilfe großer Sprachmodelle. Es wurde untersucht, ob LLMs zur schnellen Erstellung von Erklärungen zu Mathematikproblemen genutzt werden können, um die Zeitpläne für die Aufnahme neuer Mathematiklektionen in Online-Lernplattformen zu verkürzen.
Konkret untersuchte das Team die „Möglichkeit großer Sprachmodelle, insbesondere GPT-3, Erklärungen für Mathematikprobleme der Mittelstufe zu schreiben, mit dem Ziel, diesen Prozess schließlich zu nutzen, um schnell Erklärungen für die Mathematikprobleme neuer Lehrpläne zu generieren.“ entstehen und die Zeit für die Integration neuer Lehrpläne in Online-Lernplattformen verkürzt.“
Also was ist passiert? Das Team verfolgte zwei Ansätze. Im ersten Versuch wurde versucht, „die wichtigsten Ratschläge in Nachhilfe-Chatprotokollen zwischen Schülern und Live-Nachhilfelehrern zusammenzufassen.“ Der zweite Ansatz versuchte, Erklärungen mithilfe von zu generieren Wenig-Schuss-Lernen aus Erklärungen von Lehrern zu ähnlichen Mathematikproblemen.“
Letztlich übertrafen die Lehrkräfte LLMs. Die Autoren der Studie kamen zu dem Schluss, dass „in Zukunft möglicherweise leistungsfähigere große Sprachmodelle eingesetzt werden und GPT-3 möglicherweise immer noch als Werkzeug zur Verbesserung des Prozesses von Lehrern zum Verfassen von Erklärungen wirksam ist, anstatt sie zu ersetzen.“
In der Zwischenzeit, Forscher in Stanford untersuchten ein weiterer Aspekt von LLMs – nämlich ihre Fähigkeit, gute Coaches oder Ausbilder für Lehrer zu werden. Eine der Herausforderungen für Lehrer ist der Mangel an qualitativ hochwertigem Coaching – ein grundlegender Bestandteil der Lehrerausbildung, der Beobachtung im Klassenzimmer und sachkundiges Feedback erfordert.
Doch angesichts des Lehrermangels und der Ressourcenknappheit haben die meisten Lehrer keinen Zugang zu dieser Coaching- und Schulungskompetenz. Bildungsleiter untersuchen, ob ChatGPT helfen kann, indem es zu einer Art automatisiertem Lehrer-Coach wird – und im Wesentlichen kostengünstige, skalierbare Unterstützung für Pädagogen durch generative KI bietet.
Das Stanford-Forschungsteam führte „drei Lehrer-Coaching-Aufgaben für generative KI durch: (A) Bewertung von Transkriptsegmenten auf der Grundlage von Beobachtungsinstrumenten im Klassenzimmer, (B) Identifizierung von Höhepunkten und verpassten Gelegenheiten für gute Unterrichtsstrategien und (C) Bereitstellung umsetzbarer Vorschläge, um mehr Schüler anzulocken.“ Argumentation.“ Sie rekrutierten erfahrene Mathematiklehrer, um die Zero-Shot-Leistung von ChatGPT bei jeder der drei Aufgaben für die Mitschriften des Grundschulunterrichts in Mathematik zu bewerten.
Der „Ist ChatGPT ein guter Lehrercoach?“ Die Studie ergab, dass das Potenzial zwar vorhanden ist und ChatGPT relevante Vorschläge gemacht hat, diese Vorschläge jedoch weder neu noch besonders aufschlussreich waren. Tatsächlich gelangten Live-Lehrer früher und besser zu denselben Schlussfolgerungen, und 82 % der Vorschläge des Modells wiesen auf Orte hin, an denen Lehrer den Vorschlag der generativen KI bereits umgesetzt hatten.
Kurz gesagt, ähnlich wie bei der zuvor besprochenen Mathematikstudie für Mittelschüler stellten die Forscher fest, dass noch viel zu tun ist, damit ChatGPT in der vorgesehenen Funktion funktioniert.
Schließlich veröffentlichten Forscher der University of Toronto und von Microsoft letzten Monat die Ergebnisse ihrer Arbeit, in der sie untersuchten, wie sich der Kontakt mit LLM-basierten Erklärungen auf das Lernen auswirkt. Der Studie, „Matheunterricht mit großen Sprachmodellen: Gefahr oder Versprechen?“ Die Studie umfasste 1.200 Teilnehmer und wollte Erkenntnisse darüber gewinnen, wie große Sprachmodelle als skalierbare, personalisierte Tutoren für Studenten dienen könnten.
In der Lernphase des Experiments erhielten die Teilnehmer Übungsaufgaben. (Die Teilnehmer der Studie waren Einzelpersonen – darunter auch Studenten – über Amazon Mechanischer Türke Im Rahmen des Studiendesigns wurden zwei Schlüsselfaktoren manipuliert und bewertet: 1. Ob die Teilnehmer eine mathematische Aufgabe lösen mussten, bevor oder nachdem sie die richtige Antwort sahen. 2. Ob den Teilnehmern nur die Antwort angezeigt wurde oder auch eine LLM-generierte Erklärung der Antwort angezeigt wurde. (Alle Teilnehmer wurden später anhand neuer Testfragen getestet, um festzustellen, wie gut sie die zugrunde liegenden Konzepte erlernt hatten.)
Diese Studie war positiver als die beiden vorherigen, und insgesamt kamen die Autoren der Studie zu dem Schluss: „Wir haben herausgefunden, dass sich LLM-basierte Erklärungen im Vergleich zum Sehen nur richtiger Antworten positiv auf das Lernen auswirken.“
Die Autoren waren immer noch vorsichtig und die Vorteile waren am größten für diejenigen, die zuerst versuchten, Probleme selbst zu lösen, aber positive Trends galten auch für diejenigen, die LLM-Antworten kennengelernt hatten, bevor sie versuchten, das Übungsproblem selbst zu lösen.
„Der Kontakt mit LLM-Erklärungen steigerte das Gefühl, dass die Teilnehmer etwas gelernt hatten, und verringerte die wahrgenommene Schwierigkeit der Testaufgaben“, stellten die Autoren der Studie fest.
LLMs und die Macht von Yet
Was bedeutet das alles? Die Studien legen zwei Dinge nahe. Ein ChatGPT kann besser sein als nichts, wie es in der Toronto-Studie der Fall war. Damit ChatGPT jedoch auf Lehrerebene arbeiten kann, muss es anhand bildungsspezifischer Datensätze geschult werden.
Im weiteren Sinne deuten die Studien darauf hin, dass die Aufregung über LLMs zumindest vorerst gerechtfertigt ist. Denken Sie an das motivierende Wandplakat, das vielen Schülern in der Schule begegnet und das befürwortet: „Die Macht von Yet.“ Dies ist bei ChatGPT und LLMs der Fall.
Frühe Untersuchungen deuten darauf hin, dass ChatGPT möglicherweise noch nicht in der Lage ist, umfassende, umsetzbare Erkenntnisse für Lehrer bereitzustellen. Noch ist es nicht möglich, Online-Lernprogramme, die bei der Bewältigung komplexer Bildungsherausforderungen helfen, gerecht und ehrlich zu beschleunigen. Und es ist möglicherweise noch nicht in der Lage, sofort einsatzbereite Lösungen für die Lehrerausbildung anzubieten. Aber mit mehr Feinabstimmung, mehr Recherche und mehr Zeit ist das Potenzial vorhanden.
Insbesondere der Bereich braucht mehr Datensätze um ChatGPT zu trainieren, damit es eine bessere Leistung erbringen kann. Solche Datensätze werden auch für die Klärung von Gerechtigkeitsfragen von entscheidender Bedeutung sein. Erzielen LLM-Studiengänge bei manchen Studenten bessere Ergebnisse als bei anderen? Haben LLMs Probleme mit der Voreingenommenheit?
So wie eine Sportmannschaft Probleme mit einem wichtigen, neuen Spieler löst und ihren Rhythmus findet – die anfängliche Einführung von ChatGPt und generativer KI mag steinig sein, aber große Siege sind möglich, auch wenn sie noch nicht ganz da sind …
