Das kostenlose chatgpt ist sehr cool zu verwenden, aber der größte Nachteil dieses Closed-Source-Sprachmodells besteht darin, dass es nicht Open Source ist und die Außenwelt die dahinter stehenden Trainingsdaten nicht verstehen kann und nicht nachvollziehen kann, ob dadurch die Privatsphäre der Benutzer verloren geht. Die Welt hat haben gemeinsam eine Reihe von Alpaka-Modellen wie LLaMA als Open-Source-Lösung bereitgestellt.

Kürzlich wurde in der Kolumne „Nature World View“ ein Artikel veröffentlicht. Arthur Spirling, Professor für Politik und Datenwissenschaft an der New York University, forderte alle dazu auf, mehr Open-Source-Modelle zu verwenden. Die experimentellen Ergebnisse seien reproduzierbar und im Einklang mit der akademischen Ethik.

Der Punkt ist, wenn OpenAI eines Tages verärgert ist und die Sprachmodellschnittstelle abschaltet oder die Preise durch ein geschlossenes Monopol erhöht, kann der Benutzer nur hilflos sagen: „Schließlich haben die Akademiker gegen den reichen Vater verloren.“ Hier ist, was er gefordert hat.

Umfassen Sie Open Source und lehnen Sie Monopole ab

Es scheint, dass jeden Tag ein neues großes Sprachmodell (LLM) eingeführt wird, und seine Schöpfer und akademischen Interessenvertreter werden jedes Mal großzügig darüber sprechen, wie das neue Modell fließend mit Menschen kommunizieren kann. Beispielsweise kann es Benutzern helfen, Code zu ändern und Briefe zu schreiben von Empfehlungen, Verfassen von Abstracts für Artikel usw.

Als Politik- und Datenwissenschaftler, der diese Modelle verwendet und lehrt, wie man sie verwendet, denke ich, dass Akademiker vorsichtig sein sollten, da die von Foss am meisten nachgefragten Sprachmodelle immer noch privat und geschlossen sind, das heißt, sie werden von Unternehmen betrieben und geben keine spezifischen Informationen preis Informationen über das Basismodell prüfen oder verifizieren lediglich unabhängig die Fähigkeiten des Modells, sodass Forscher und die Öffentlichkeit nicht wissen, welche Dateien zum Trainieren des Modells verwendet wurden.

Die überstürzte Integration von Sprachmodellen in die eigene Forschungspipeline kann problematisch sein und möglicherweise hart erkämpfte Fortschritte in der „Forschungsethik“ und der „Reproduzierbarkeit der Ergebnisse“ gefährden.

Forscher können sich nicht nur nicht auf kommerzielle Modelle verlassen, sondern müssen auch zusammenarbeiten, um Open-Source-Sprachmodelle in großem Maßstab zu entwickeln, die transparent und unabhängig von den Interessen eines bestimmten Unternehmens sind.

Obwohl kommerzielle Modelle sehr praktisch sind und sofort verwendet werden können, stellt die Investition in Open-Source-Sprachmodelle einen historischen Trend dar. Es müssen Wege gefunden werden, die Entwicklung zu fördern und das Modell auf zukünftige Forschung anzuwenden.

Ich schätze optimistisch, dass die Zukunft von Sprachmodelltools Open Source sein muss, ähnlich der Entwicklungsgeschichte von Open-Source-Statistiksoftware. Statistiksoftware, die gerade erst mit der kommerziellen Nutzung begonnen hat, ist sehr beliebt, aber derzeit verwenden fast alle Communities Open-Source-Plattformen wie z R oder Python.

Beispielsweise wurde das Open-Source-Sprachmodell BLOOM im Juli letzten Jahres veröffentlicht. Das Entwicklungsteam Hugging Face ist ein Unternehmen für künstliche Intelligenz mit Hauptsitz in New York, das gemeinsam mit mehr als tausend Freiwilligen und Forschern aufgebaut wurde und einen Teil der von bereitgestellten Forschungs- und Entwicklungsgelder nutzt die französische Regierung; Andere Teams arbeiten ebenfalls an der Open-Source-Entwicklung großer Sprachmodelle.

Ich finde Open-Source-Projekte wie dieses großartig, aber wir brauchen mehr Zusammenarbeit und die Bündelung internationaler Ressourcen und Fachwissen.

Open-Source-Teams für große Sprachmodelle sind in der Regel nicht so finanziell ausgestattet wie große Unternehmen, und das Entwicklungsteam muss weiterhin arbeiten, um die neuesten Fortschritte auf diesem Gebiet zu verfolgen: Die Entwicklung im KI-Bereich ist zu schnell. Und selbst die meisten Sprachmodelle kommen innerhalb weniger Wochen auf den Markt oder werden in ein paar Monaten veraltet sein.

Daher ist die Wirkung des Open-Source-Modells umso besser, je mehr Wissenschaftler sich an Open Source beteiligen.

Der Einsatz von Open-Source-LLM ist für die „reproduzierbare Forschung“ von entscheidender Bedeutung, da Besitzer kommerzieller Closed-Source-Sprachmodelle ihre Produkte oder Trainingsdaten jederzeit ändern können, was sich auf die Generierungsergebnisse des Modells auswirken kann.

Beispielsweise könnte eine Forschungsgruppe eine Arbeit veröffentlichen, in der untersucht wird, ob die von einem kommerziellen Sprachmodell vorgeschlagene Formulierung dazu beitragen kann, dass Kliniker effektiver mit Patienten kommunizieren. Wenn eine andere Gruppe versucht, diese Forschung zu reproduzieren, wer weiß dann, worauf die Modelle trainiert wurden? Ist das dasselbe? Dann? Ob das Modell überhaupt noch betriebsbereit ist, ist unbekannt.

Schließlich hat sogar OpenAI-Chef Altman selbst zugegeben: KI kann tatsächlich Menschen töten.

GPT-3, ein früher häufig von Forschern verwendetes Hilfstool, wurde durch GPT-4 ersetzt. Alle auf der GPT-3-Schnittstelle basierenden Forschungsarbeiten können in Zukunft möglicherweise nicht mehr reproduziert werden. Für das Unternehmen ist es wichtig, den Betrieb des alten Modells aufrechtzuerhalten keine hohe Priorität.

Im Gegensatz dazu können Forscher mithilfe von Open-Source-LLM die interne Architektur und Gewichtungen des Modells anzeigen, die Funktionsweise des Modells verstehen, den Code anpassen und auf Fehler hinweisen. Zu diesen Details gehören die einstellbaren Parameter des Modells und Trainingsmodelldaten. Die Community Beteiligung und Aufsicht Die Mitarbeiter werden dazu beitragen, dass dieses Modell langfristig robust bleibt.

Die Verwendung kommerzieller Sprachmodelle in der wissenschaftlichen Forschung hat auch negative Auswirkungen auf die Forschungsethik, da der zum Trainieren dieser Modelle verwendete Text unbekannt ist und direkte Nachrichten zwischen Benutzern auf Social-Media-Plattformen oder von Kindern verfasste Inhalte umfassen kann.

Während diejenigen, die öffentliche Texte produzieren, möglicherweise den Nutzungsbedingungen der Plattform zugestimmt haben, entspricht dies möglicherweise nicht dem Standard der informierten Einwilligung, den Forscher gerne sehen würden.

Meiner Meinung nach sollten Wissenschaftler versuchen, diese Modelle in ihrer eigenen Arbeit so weit wie möglich zu vermeiden. Wir sollten zu offenen Sprachmodellen übergehen und sie anderen zugänglich machen.

Außerdem glaube ich nicht, dass Akademiker, insbesondere solche mit großer Fangemeinde in den sozialen Medien, andere dazu drängen sollten, kommerzielle Modelle zu nutzen. Wenn die Preise in die Höhe schießen oder Unternehmen scheitern, bereuen Forscher möglicherweise die Werbung für Technologie bei Kollegen.

Forscher können nun auf offene Sprachmodelle privater Organisationen wie LLaMA zurückgreifen, die den Open-Source-Code der Facebook-Muttergesellschaft Meta nutzen. Ursprünglich wurde er auf der Grundlage von Benutzeranträgen und Prüfungen verbreitet, die vollständige Version des Modells wurde jedoch später online durchgesickert; Ebenfalls verfügbar ist Metas Open Language Model OPT-175 B

Der langfristige Nachteil besteht darin, dass die Veröffentlichung dieser Modelle zu sehr vom Wohlwollen der Unternehmen abhängig ist, was eine prekäre Situation darstellt.

Darüber hinaus sollte es akademische Verhaltenskodizes für die Arbeit mit Sprachmodellen und entsprechende Regulierungsmaßnahmen geben, aber diese werden Zeit brauchen, und aufgrund meiner Erfahrung als Politikwissenschaftler gehe ich davon aus, dass diese Regulierungen zunächst sicherlich sehr unvollkommen sein werden. Und es funktioniert langsam.

Gleichzeitig wird dringend Unterstützung für groß angelegte Verbundprojekte zur Schulung von Open-Source-Sprachmodellen für die Forschung benötigt, wie zum Beispiel CERN, die Internationale Organisation für Teilchenphysik, und Regierungen sollten die Finanzierung durch Zuschüsse erhöhen.

Der Bereich entwickelt sich rasant und muss nun mit der Koordinierung der nationalen und internationalen Unterstützung beginnen.

Die wissenschaftliche Gemeinschaft muss in der Lage sein, die Risiken der resultierenden Modelle einzuschätzen, und bei Veröffentlichungen an die Öffentlichkeit muss Vorsicht geboten sein, aber eine offene Umgebung ist eindeutig das Richtige.