Schnelles Engineering ist eine Fähigkeit, die wir alle früher oder später erlernen müssen. chatgpt, Bard und andere Chatbots, die auf großen Sprachmodellen (LLMs) basieren, haben das Potenzial, den Arbeitsablauf zu revolutionieren, aber Sie müssen wichtige Informationen kennen, die die Art und Weise, wie Sie mit KI interagieren, viel wirkungsvoller gestalten können.
Letzte Woche, a Forschungsarbeit aus Stanford Die Universität hat in Zusammenarbeit mit der University of California, Berkeley und dem Forschungsunternehmen Samaya AI untersucht, wie sich die Länge der Eingabeaufforderungen an KI-Modelle auf deren Fähigkeit auswirkt, einen bestimmten Befehl genau auszuführen. Es stellte sich heraus, dass die Ausführung von Eingabeaufforderungen umso schwieriger wird, je länger sie dauern. Auch wenn die Informationen am Anfang und am Ende der Eingabeaufforderungen noch nützlich waren, wurden die Informationen in der Mitte häufig außer Acht gelassen.
Warum ist das? Die Studie stellt fest, dass Sprachmodelle „im Allgemeinen mit Transformern implementiert werden, die sich schlecht auf lange Sequenzen skalieren lassen“. Sie verfügen über ein sogenanntes „Kontextfenster“, das angibt, wie viele Wörter rund um ein Schlüsselwort berücksichtigt werden, wenn ein Sprachmodell eine Antwort generiert.
Es gibt eine „charakteristische U-Kurve“ in der Genauigkeit von Sprachmodellen, bei der die Wahrscheinlichkeit, dass ein Modell sie bemerkt, umso geringer ist, je näher sich Schlüsselinformationen an der Mitte eines Datensatzes befinden. In einem Test, bei dem Modelle gebeten wurden, spezifische Informationen aus einer Reihe verschiedener Dokumente abzurufen, war ihre Leistung, wenn die Informationen in der Mitte lagen, „geringer als ihre Leistung, wenn sie überhaupt keine Dokumente vorhersagten“.
Warum also nicht einfach das Kontextfenster breiter machen? Schließlich, eine Studie von Meta-Wissenschaftlern Die einen Monat zuvor veröffentlichte Studie zeigte, dass die Größe des Kontextfensters mithilfe der Positionsinterpolation um das bis zu Sechzehnfache erhöht werden konnte. Die Stamford-Studie stellt jedoch fest, dass bei Ergebnissen, bei denen die vollständige Eingabeaufforderung nicht in das Fenster passte, eine „fast überlagerte“ Kurve in den Ergebnissen auftrat.
Es sind nicht nur Studenten und Technologiefirmen, die diese Art von Forschung durchführen, auch eine Reihe von Finanzinstituten stellen Mitarbeiter ein, um die Grenzen von KI-Bots zu testen. Bloomberg, das BloombergGPT gründet, stellt mehrere leitende KI-Forscher ein, die ein Gehalt von über 300.000 US-Dollar verdienen können. JPMorgan, das den Finanzberatungs-Bot IndexGPT entwickelt, stellt im Vergleich zu anderen Banken zu einem erheblichen Teil KI-orientiertes Personal ein, sowohl im Produktions- als auch im Forschungsbereich. Wenn Sie Hoffnung auf Erfolg in diesen Rollen haben möchten, lernen Sie, wie Sie wichtige, zeitnahe Informationen so weit wie möglich von der Mitte entfernt platzieren.
Haben Sie eine vertrauliche Geschichte, einen Tipp oder einen Kommentar, den Sie teilen möchten? Kontakt: +44 7537 182250 (SMS, WhatsApp oder Voicemail). Telegramm: @SarahButcher. Klicken Sie hier, um unser anonymes Formular auszufüllenoder senden Sie eine E-Mail an [email protected]. Signal ebenfalls verfügbar
Bitte haben Sie Verständnis, wenn Sie am Ende dieses Artikels einen Kommentar hinterlassen: Alle unsere Kommentare werden von Menschen moderiert. Manchmal schlafen diese Menschen oder sind nicht an ihrem Schreibtisch, daher kann es eine Weile dauern, bis Ihr Kommentar erscheint. Irgendwann wird es so sein – es sei denn, es ist beleidigend oder verleumderisch (in diesem Fall ist es nicht so).
