Vor einem Jahr – und zwei Wochen bevor OpenAI chatgpt veröffentlichte – veröffentlichte Meta eine Forschungsdemo namens Galactica. Ein Open-Source-„großes Sprachmodell für die Wissenschaft“, das unter anderem auf Daten trainiert wurde 48 Millionen wissenschaftliche ArbeitenMeta lobte die Fähigkeit der Galactica, „wissenschaftliche Literatur zusammenzufassen, mathematische Probleme zu lösen, Wiki-Artikel zu erstellen, wissenschaftlichen Code zu schreiben, Moleküle und Proteine ​​mit Anmerkungen zu versehen und vieles mehr.“

Die Galactica überlebte öffentlich nur drei Tage. Am 17. November 2022 beendete Meta die Demo nach einem Aufschrei über ein Wort, das es damals noch nicht in den Mainstream geschafft hatte: Halluzinationen. Viele waren entsetzt über den teilweise sehr unwissenschaftlichen Output der Galactica, der wie andere LLMs Informationen enthielt, die plausibel klangen, aber sachlich falsch und in einigen Fällen auch äußerst beleidigend waren.

Damals trat Meta-Chefwissenschaftler Yann LeCun für das Modell ein und veröffentlichte eine Reihe von Verteidigungsmaßnahmen Tweets: „Es ist nicht mehr möglich, Spaß zu haben, indem man es beiläufig missbraucht.“ Glücklich?), aber ohne Erfolg. Die Galactica wäre nicht das bahnbrechende Modell für das Zeitalter der generativen KI.

Zwei Wochen später wurde ChatGPT freigelassen

In derselben Woche jedoch verlockende Gerüchte Informationen über die bevorstehende Veröffentlichung von GPT-4 – von der einige vorhersagten, dass sie in ein paar Monaten erfolgen könnte – machten die Runde. Und nur zwei Wochen später waren ebenso viele KI-Forscher anwesend NeurIPS in New Orleans flüsterte hoffnungsvoll, dass OpenAI GPT-4 auf der Konferenz veröffentlichen würde, und plötzlich war es da – ChatGPT, veröffentlicht in freier Wildbahn.

Natürlich war schnell klar, dass ChatGPT ein eigenes Halluzinationsproblem hatte. Wie Galactica und andere generative KI-Modelle spuckt ChatGPT schnell eloquente, selbstbewusste Antworten aus, die oft plausibel und wahr klangen, auch wenn sie es nicht waren. OpenAI hat diese Schwäche sehr deutlich gemacht in seinem Blog kündigte ChatGPT an und erklärte, dass die Behebung des Problems „herausfordernd“ sei.

Dennoch hat dies den Weg von ChatGPT zum LLM-Star nicht gebremst: Im vergangenen Jahr ist es so geworden einer der am schnellsten wachsenden Dienste aller Zeitenmit geschätzten 100 Millionen monatlichen Nutzern in nur zwei Monaten und jetzt 100 Millionen wöchentlichen Nutzern.

Das Erbe der Galactica bleibt jedoch bestehen. „Es wurden viele gute Lehren gezogen“, sagte Joelle Pineau, Vizepräsidentin für KI-Forschung bei Meta, kürzlich gegenüber VentureBeat. „Das ist ein gutes Modell – ich bekomme immer noch viele Anfragen von Leuten, die das Modell wollen.“

Pineau betonte, dass die Galactica niemals als Produkt gedacht sei. „Es war absolut ein Forschungsprojekt“, sagte sie. „Wir haben mit der Absicht veröffentlicht, wir haben eine zurückhaltende Veröffentlichung gemacht, sie auf GitHub gestellt, der Forscher hat darüber getwittert.“

Aber alle waren so begeistert davon, erklärte sie. „Die Kluft zwischen der Erwartung und dem Stand der Forschung war zu groß.“ Die Leute waren von Dingen wie Halluzinationen überrascht, die ein Jahr später kaum noch eine Neuigkeit sein würden, fügte sie hinzu – und der Halluzinationsgrad der Galactica war tatsächlich geringer als bei anderen Modellen, weil sie auf wissenschaftlicher Literatur abgestimmt war.

„Plötzlich hatten die Leute eine Produkterwartung, als ob man damit tatsächlich seine Arbeiten schreiben würde – nein, das ist nicht die Absicht“, sagte sie.

Die Lehren der Galactica führten zu Entscheidungen über die Freilassung des Lamas

Meta zog die Galactica-Demo zurück, erklärte Pineau, „um sicherzustellen, dass die Leute nicht dazu verleitet wurden, sie zu nutzen“, und fügte hinzu, dass sie nicht mit einem Leitfaden für verantwortungsvolle Nutzung veröffentlicht wurde, „was wir gelernt haben“.

Insgesamt sagte Pineau: „Wenn ich es heute tun würde, würden wir die Veröffentlichung gerade noch schaffen.“ Sie fügte hinzu, dass Meta die Erwartungen an die Galactica „wahrscheinlich falsch eingeschätzt“ habe, aber „die Lehren daraus in unsere nächste Generation von Modellen eingeflossen sind“.

Diese nächste Generation von Modellen war Llama, das große Sprachmodell von Meta, das im Februar 2023 die Welt der KI-Forschung im Sturm eroberte – gefolgt von der Werbung Lama 2 im Juli und Code Llama im August. Mit Llama, dem ersten großen kostenlosen „Open-Source“-LLM (Llama und Llama 2 sind nach herkömmlichen Lizenzdefinitionen nicht vollständig offen), erlebte die Open-Source-KI einen Aufschwung – und eine brandheiße Debatte –, die das ganze Jahr über nicht abgeebbt ist .

Als Llama am 24. Februar freigelassen wurde, war Meta vorsichtig – Yann LeCun teilte das Papier mit: Gesendet dass „Meta der offenen Forschung verpflichtet ist und alle Modelle veröffentlicht.“ [to] der Forschungsgemeinschaft unter einer GPL v3-Lizenz.“

Auf die Frage, warum Forscher ein Formular ausfüllen mussten, um Zugang zu Llama zu erhalten, antwortete LeCun: „Weil wir das letzte Mal ein LLM für jedermann zugänglich gemacht haben (Galactica, das Wissenschaftlern beim Verfassen wissenschaftlicher Arbeiten helfen soll), warfen uns die Leute Gift ins Gesicht und erzählten es.“ Für uns würde das das Gefüge der Gesellschaft zerstören.“