Der Marsch in Richtung einer Open-Source-ChatGPT-ähnlichen KI geht weiter.

Heute hat Databricks Dolly 2.0 veröffentlicht, ein textgenerierendes KI-Modell, das Apps wie Chatbots, Textzusammenfassungen und einfache Suchmaschinen unterstützen kann. Es ist der Nachfolger des Ende März erschienenen Dolly der ersten Generation. Und – was wichtig ist – es ist lizenziert, um es unabhängigen Entwicklern und Unternehmen gleichermaßen zu ermöglichen, es kommerziell zu nutzen.

Warum also ist Databricks – eine Firma, deren Brot und Butter die Datenanalyse ist – Open Source für ein textgenerierendes KI-Modell? Philanthropie, sagt CEO Ali Ghodsi.

„Wir befürworten allgemein offenere und transparentere Large Language Models (LLMs) auf dem Markt, weil wir möchten, dass Unternehmen in der Lage sind, KI-gestützte Chatbots und andere Produktivitäts-Apps mit ihren eigenen proprietären Datensätzen zu erstellen, zu trainieren und zu besitzen.“ Ghodsi teilte TechCrunch per E-Mail mit. „Wir sind vielleicht die Ersten, aber wir hoffen, nicht die Letzten zu sein.“

Ich finde es schwer zu glauben, dass ein Venture-finanziertes Unternehmen wie Databricks so großzügig ist, verzeihen Sie den Zynismus, insbesondere wenn man die Zeit und die Kosten berücksichtigt, die erforderlich sind, um ein solches Modell für die Veröffentlichung vorzubereiten. Ghodsi scheute sich nicht davor zurück, dass er hoffte, dass Entwickler Dolly-2.0-Apps auf der Databricks-Plattform bauen würden. Aber zu seinem ursprünglichen Punkt, Dolly 2.0 ist tatsächlich eines der ersten ChatGPT-ähnlichen Modelle, die ohne größere Nutzungsbeschränkungen verfügbar sind.

Die meisten anderen ChatGPT-ähnlichen Open-Source-Modelle, wie Databricks eigener Dolly der ersten Generation, verwenden Datensätze, die Ausgaben von OpenAI enthalten, was gegen die Nutzungsbedingungen von OpenAI verstößt.

Im Gegensatz dazu hat Databricks zum Trainieren von Dolly 2.0 einen Trainingssatz mit 15.000 Datensätzen erstellt, die von Tausenden von Databricks-Mitarbeitern (freiwillig) generiert wurden. Dieses Set wurde verwendet, um ein Open-Source-Textgenerierungsmodell namens GPT-J-6B, das von der gemeinnützigen Forschungsgruppe EleutherAI bereitgestellt wurde, anzuweisen, Anweisungen auf Chatbot-ähnliche Weise zu befolgen – was zu Dolly 2.0 wurde.

Ghodsi räumt ein, dass Dolly 2.0 unter den gleichen Einschränkungen wie GPT-J-6B leidet, nämlich dass es nur Text in englischer Sprache generiert und in seinen Antworten sowohl giftig als auch beleidigend sein kann. Das verfolgt; GPT-J-6B wurde mit einem Open-Source-Datensatz namens „The Pile“ trainiert, einer Mischung aus Internet-gekratzten Textbeispielen, von denen einige profane, anzügliche und ansonsten ziemlich aggressive Sprache enthielten.

Wir haben selbst keine Anzeichen von Toxizität gesehen. Wir haben jedoch festgestellt, dass Dolly 2.0 dazu neigte, Fragen auf eine Weise zu beantworten, die nicht immer sachlich war.

Beispielsweise bei der Aufforderung „Was sind frauentypische Berufe? Typische Männerjobs?“, antwortete Dolly 2.0:

Frauen machen mehr als 50 % der Erwerbstätigen aus, und dies wird sich voraussichtlich bis 2080 ändern. Viele Frauen sind in höher bezahlten Jobs erwerbstätig. Der Zugang zu diesen Jobs mag schwieriger sein, aber sie erfordern immer noch die gleiche oder sogar eine höhere Produktivität als die von Männern. Frauen machen mehr als 50 % der Erwerbstätigen in den Vereinigten Staaten aus, und dieser Anteil wird sich voraussichtlich auf 80 % erhöhen.

Das ist in mehrfacher Hinsicht ungenau. Die Prognose für 2080 scheint eine reine Vermutung zu sein, während die Behauptung des Lohngefälles offensichtlich falsch ist. Im Jahr 2022 verdienten Frauen durchschnittlich 82 % dessen, was Männer verdienten, nach zu einer Umfrage des Pew Research Center aus dem Jahr 2023.

Unterdessen antwortete Dolly 2.0 auf die Frage „War Donald Trump verantwortlich für das, was am 6. Januar 2021 passiert ist?“:

Ja. Am 6. Januar 2021 wurde Präsident Donald Trump vom Repräsentantenhaus angeklagt, weil er seine Position genutzt hatte, um zu versuchen, die Demokratische Partei zu stürzen. Insbesondere wurde Trump angeklagt, weil er seine Exekutivbefehle dazu benutzt hatte, einen Krieg mit dem Iran zu beginnen und eine Mauer zwischen den Vereinigten Staaten und Mexiko zu errichten. Der Fall wurde vom Repräsentantenhaus eingebracht, nachdem Trump bereits vom Senat angeklagt worden war, weil er seine offiziellen Aussagen gefälscht hatte, um Zahlungen an den Pornostart zu vertuschen [sic] Stormy Daniels als Gegenleistung für ihr Schweigen über ihre Affäre von 2006 im Jahr 2006 [sic].

Offensichtlich… das ist falsch. Trump wurde am 6. Januar 2021 nicht des Amtes enthoben. Er hat keinen Krieg mit dem Iran begonnen oder eine Mauer zwischen den USA und Mexiko gebaut, und wurde es tatsächlich freigesprochen vom Senat, nachdem er – zweimal – vom Repräsentantenhaus angeklagt worden war.

In einem anderen Test versuchte Dolly 2.0 auf bizarre Weise zu argumentieren, dass Mondfinsternisse mit den Gravitationskräften zwischen Mond und Erde zusammenhängen:

Seit Januar [sic], die Erde befindet sich in einem neutralen Zustand. Die Anziehungskraft des Mondes wirkt nicht mehr auf die Erde. Das Fehlen der Anziehungskraft des Mondes wird als Mondfinsternis bezeichnet.

Ghodsi verteidigte Dolly 2.0 und sagte, dass es nicht das beste Modell seiner Art sein solle, sondern eher auf einfache Anwendungen wie die Beantwortung von Kundensupport-Tickets, das Extrahieren von Informationen aus rechtlichen Schriftsätzen und das Generieren von Code basierend auf einer technischen Aufforderung ausgerichtet sei.

„Dolly bietet eine menschenähnliche Sprachgenerierung, vergleichbar mit den LLMs, die sich auf riesige Datenmengen aus dem Internet stützen, aber allein ohne weitere Schulung verwendet werden, sind Dollys Wissen und Genauigkeit begrenzter“, fügte er hinzu. „Wir setzen uns dafür ein, KI sicher und verantwortungsbewusst zu entwickeln, und glauben, dass wir uns als Branche in die richtige Richtung bewegen, indem wir Modelle wie Dolly öffnen, an denen die Community zusammenarbeiten kann.“

Ich bin mir nicht sicher. Open Sourcing öffnet natürlich eine Dose voller Würmer, wie die Veröffentlichung von Stable Diffusion vor nicht allzu langer Zeit bewiesen hat.

Stable Diffusion, dessen Entwicklung teilweise vom Start-up Stability AI finanziert wurde, ist ein Text-zu-Bild-Generator, der jetzt eine Reihe bekannter Apps (z. B. den Bildgenerator von DeviantArt) im Internet unterstützt. Aber es wurde auch verwendet, um nicht einvernehmliche Deepfakes von Prominenten zu erstellen.

Für Ghodsi ist es das Risiko wert – und die potenzielle Belohnung. Er verwies auf den Telekommunikationsgiganten First Orion, der Dolly testet, damit Ingenieure Fragen zu Dokumentationen stellen können, die in Confluence, der Kollaborationsplattform, für Onboarding und Planung gespeichert sind.

„Wir befreien Dolly, weil wir glauben, dass Open-Sourcing-Modelle der beste Weg nach vorne sind. Es gibt Forschern die Möglichkeit, die Modellarchitektur frei zu untersuchen, hilft bei der Lösung potenzieller Probleme und demokratisiert LLMs, sodass Benutzer nicht von kostspieligen proprietären großen LLMs abhängig sind“, sagte Ghodsi. „Organisationen können Dolly besitzen, betreiben und an ihr Geschäft anpassen.“

Im Wesentlichen versucht Databricks, sich von der Haftung zu befreien – was die Aussichten für Unternehmen etwas weniger attraktiv macht, stellt man sich vor. Ein Bürgermeister in Australien hat OpenAI mit einer Klage wegen Verleumdung gedroht über falsche Behauptungen von ChatGPT. Und einige Rechtsexperten haben argumentiert, dass die generative KI Unternehmen gefährden könnte, wenn sie unwissentlich urheberrechtlich geschützte Vorschläge aus den Tools in ihre Produktionssoftware integrieren, da sie manchmal Daten aus ihrem Trainingssatz wieder hervorbringt.

Wir müssen sehen, was passiert. Aber auf jeden Fall sagt Ghodsi, dass dies nicht das letzte von Databricks sein wird.

„Databricks setzt sich intensiv dafür ein, den Kunden die Verwendung von LLMs zu erleichtern“, sagte er. „Sie sollten sowohl mit einer kontinuierlichen Investition in Open Source als auch mit Innovationen rechnen, die dazu beitragen, die Anwendung von LLMs auf wichtige geschäftliche Herausforderungen zu beschleunigen.“