Boffins haben eine Rolle für KI-Chatbots gefunden, bei der gewohnheitsmäßige Halluzinationen nicht unbedingt eine Gefahr darstellen.

Die Eggheads – mit Sitz an der University of Pennsylvania und der University of Maryland in den USA – nutzten die großen Sprachmodelle (LLMs) von OpenAI, um bei Fantasy-Rollenspielen, insbesondere Dungeons & Dragons (D&D), zu helfen.

In einem Vordruckpapier mit dem Titel „CALYPSO: LLMs as Dungeon Masters‘ Assistants“, Andrew Zhu, ein UPenn-Doktorand; Lara Martin, Assistenzprofessorin an der UMD; Andrew Head, Assistenzprofessor an der UPenn; und Chris Callison-Burch, außerordentlicher Professor an der UPenn, erklären, wie sie LLMs nutzten, um ein Spiel zu verbessern, das stark auf menschlicher Interaktion basiert.

D&D erschien erstmals 1974 als Rollenspiel (RPG), in dem Spieler in die Rollen abenteuerlustiger mittelalterlicher Helden schlüpfen und diese Persönlichkeiten im Rahmen einer Handlung darstellen, die von einem Dungeon Master (DM) oder Game Master (GM) geleitet wird. Die Voraussetzungen waren ein Regelwerk – damals veröffentlicht von Tactical Studies Rules – polyedrische Würfel, Bleistift, Papier und ein gemeinsames Engagement für interaktives Geschichtenerzählen und bescheidene Theatralik. Von Snacks, die technisch optional sind, sollte ausgegangen werden.

Neben solchen Tabletop-Rollenspielen führte die Verbreitung von Personalcomputern in den 1980er Jahren zu verschiedenen computerisierten Versionen, sowohl im Hinblick auf computergestütztes Spielen als auch vollständig elektronische Simulationen – wie die kürzlich veröffentlichte Version Baldur’s Gate 3um nur einen von Hunderten von Titeln zu nennen, die von D&D und anderen Rollenspielen inspiriert sind.

Die akademischen Spieler von UPenn und UMD wollten herausfinden, wie LLMs menschliche DMs unterstützen könnten, die dafür verantwortlich sind, die Szene zu schaffen, in der das gemeinsam vorgestellte Abenteuer stattfindet, für das Würfeln, das den Ausgang bestimmter Aktionen bestimmt, und für die Durchsetzung der Regeln ( die ziemlich umfangreich geworden sind) und dafür, dass das Erlebnis im Allgemeinen Spaß macht und unterhaltsam ist.

Zu diesem Zweck haben sie eine Reihe von drei LLM-basierten Schnittstellen namens CALYPSO erstellt – was für Collaborative Assistant for Lore and Yielding Plot Synthesis Objectives steht. Es ist für das Online-Spielen von D&D über Discord, den beliebten Chat-Dienst, konzipiert.

„Als DMs Zugang zu CALYPSO erhielten, berichteten sie, dass es Texte mit hoher Wiedergabetreue generierte, die sich für die direkte Präsentation vor Spielern eigneten, und Ideen mit niedriger Wiedergabetreue, die die DMs weiterentwickeln konnten, während sie gleichzeitig ihre kreative Handlungsfähigkeit beibehielten“, erklärt das Papier. „Wir sehen CALYPSO als Beispiel für ein Paradigma KI-gestützter Tools, die synchrone kreative Unterstützung in etablierten Spielwelten und im Tabletop-Gaming im weiteren Sinne bieten.“

Die COVID-19-Pandemie hat einige persönliche Tischspiele ins Internet verlagert, stellen die Forscher in ihrer Arbeit fest, und viele Spieler, die über Discord spielen, tun dies auch Avrae – ein Discord-Bot, der von Andrew Zhu, einem UPenn-Doktoranden und Co-Autor des CALYPSO-Artikels, entworfen wurde.

„Die Kerngedanken des Papiers (dass LLMs in der Lage sind, als Co-DM auf eine Weise zu agieren, die dabei hilft, den menschlichen DM zu inspirieren, ohne die kreative Kontrolle über das Spiel zu übernehmen) gelten unabhängig von der Modalität für D&D und andere Tabletop-Spiele. Aber es gibt sie.“ Es müssen noch einige Herausforderungen bewältigt werden, bevor die Technologie auf das Spielen vor Ort angewendet werden kann“, sagte Zhu in einer E-Mail an Das Register.

Zhu und seine Kollegen konzentrierten sich aus mehreren Gründen auf Discord Play-by-Post (PBP)-Gaming. Erstens: „Discord-basiertes PBP ist bereits textbasiert, sodass wir für ein LLM keine Zeit damit verbringen müssen, Sprache in Text zu transkribieren“, erklärte er.

Das Online-Setup ermöglicht es dem DM auch, die von LLM generierte Ausgabe privat anzusehen (wobei „Low-Fidelity-Ideen“ weniger wichtig sind) und befreit den DM von der Notwendigkeit, in irgendeine Schnittstelle tippen oder diktieren zu müssen.

CALYPSO, a Discord-Bot mit QuellcodeIn dem Artikel wird beschrieben, dass es drei Schnittstellen hat: eine zum Generieren des Setup-Textes, der eine Begegnung beschreibt (GPT-3); eines für gezieltes Brainstorming, bei dem der DM dem LLM Fragen zu einer Begegnung oder zur Verfeinerung einer Begegnungszusammenfassung stellen kann (chatgpt); und eines für den Open-Domain-Chat, in dem Spieler direkt mit ChatGPT interagieren können, der als Fantasy-Kreatur fungiert, die sich mit D&D auskennt.

Um diese Schnittstellen einzurichten, musste das LLM mit spezifischen Eingabeaufforderungen ausgestattet werden (im Detail im Artikel beschrieben), die erklären, wie der Chatbot in jeder Schnittstellenrolle reagieren sollte. Es war keine spezielle Modellschulung erforderlich, um die Funktionsweise von D&D zu integrieren.

„Wir haben herausgefunden, dass die Modelle der GPT-Serie auch ohne Training viel über D&D wissen, da sie in ihren Trainingsdaten Quellenbücher und Internetdiskussionen gesehen haben“, sagte Zhu.

Wir haben festgestellt, dass die Modelle der GPT-Serie auch ohne Schulung viel über D&D wissen, da sie Quellenbücher und Internetdiskussionen gelesen haben

Zhu und seine Kollegen testeten CALYPSO mit 71 Spielern und DMs und befragten sie anschließend zu den Erfahrungen. Sie fanden den KI-Helfer in den meisten Fällen nützlich.

Aber es gab Raum für Verbesserungen. Beispielsweise paraphrasierte CALYPSO in einer Begegnung einfach Informationen in der Einstellungs- und Statistikaufforderung, was nach Ansicht der DMs keinen Mehrwert darstellte.

Das Register fragte Zhu, ob die Tendenz von LLMs, zu „halluzinieren“ – also Dinge zu erfinden – ein Problem für die Studienteilnehmer sei.

„In einem kreativen Kontext wird es etwas weniger aussagekräftig – zum Beispiel enthalten die D&D-Nachschlagewerke nicht jedes Detail über jedes Monster. Wenn also ein LLM behauptet, dass ein bestimmtes Monster eine bestimmte Fellfarbe hat, zählt das als Halluzination.“ ?“ sagte Zhu.

„Um die Frage direkt zu beantworten: Ja; das Modell ‚erfindet‘ oft Fakten über Monster, die nicht in den Quellbüchern enthalten sind. Die meisten davon sind triviale Dinge, die dem DM tatsächlich helfen, wie zum Beispiel, wie der Ruf eines Monsters klingt oder welche Form es hat die Iris eines Monsters oder ähnliches. Manchmal, seltener, halluziniert es drastischere Tatsachen, wie zum Beispiel die Aussage, Frostsalamander hätten Flügel (sie haben keine).“

Ein weiteres Problem, das auftauchte, war, dass Sicherheitsvorkehrungen für das Modelltraining manchmal die Fähigkeit von CALYPSO beeinträchtigten, Themen zu besprechen, die in einem D&D-Spiel angemessen wären – wie Rasse und Gameplay.

„Zum Beispiel weigerte sich das Modell manchmal, (Fantasie-)Rassen vorzuschlagen, wahrscheinlich aufgrund der Bemühungen, das Potenzial für rassistische Voreingenommenheit in der realen Welt zu verringern“, stellt das Papier fest. „In einem anderen Fall besteht das Modell darauf, dass es nicht in der Lage sei, D&D zu spielen, wahrscheinlich weil versucht wurde, das Modell daran zu hindern, Ansprüche auf Fähigkeiten geltend zu machen, die es nicht besitzt.“

(Ja, wir sind sicher, dass einige von uns schon einmal dort waren und trotz jahrelangem Spielen jegliche Kenntnis von RPGs bestreiten.)

Zhu sagte, es sei klar, dass die Leute keinen KI-DM wollen, aber sie seien eher bereit, DMs zu erlauben, sich auf KI-Hilfe zu stützen.

„Während unserer Ausbildungsstudien war ein gemeinsames Thema, dass die Leute aus mehreren Gründen keinen autonomen KI-DM wollten“, erklärte er. „Erstens hatten viele der von uns interviewten Spieler bereits mit Tools wie AI Dungeon gespielt und waren mit den Schwächen der KI beim Geschichtenerzählen mit langen Kontexten vertraut. Zweitens und was noch wichtiger war: Sie äußerten, dass ein autonomes KI-DM den Geist beeinträchtigen würde des Spiels; da D&D im Kern ein kreatives Storytelling-Spiel ist, würde es sich falsch anfühlen, wenn eine KI diese Geschichte generieren würde.

„Dass CALYPSO eine optionale Sache war, die DMs so oft oder so wenig verwenden konnten, wie sie wollten, trug dazu bei, dass der kreative Ball beim menschlichen DM blieb. Oft kam es vor, dass CALYPSO dem DM gerade genug Anstoß gab, um zu brechen.“ Sie können sie aus einer Schreibblockade herausholen oder ihnen einfach eine Liste mit Ideen geben, auf denen sie aufbauen können. Sobald der menschliche DM das Gefühl hatte, dass er mehr Kontrolle über die Szene haben wollte, konnte er einfach in seinem eigenen Stil mit dem DMing fortfahren, ohne CALYPSO überhaupt zu verwenden. “ ®