Es gibt einen Neuzugang im LLM-Block.
Databricks, ein cloudbasiertes Datensoftwareunternehmen, hat am Mittwoch ein neues KI-Modell auf den Markt gebracht – und das Unternehmen gibt an, dass es schneller, billiger und effizienter ist als seine größeren Konkurrenten.
„Sie erhalten die doppelte Geschwindigkeit und es ist deutlich günstiger, aber Sie erhalten die Intelligenz der größeren Modelle“, sagte Ali Ghodsi, Mitbegründer und CEO von Databricks, in einem Interview mit Business Insider.
Das Modell mit dem Namen DBRX kommt zu einer Zeit harten Wettbewerbs im Bereich der generativen KI. OpenAI, Meta, google und Elon Musks xAI haben alle in den letzten zwei Jahren ihre eigenen Chatbots auf den Markt gebracht.
Laut Databricks kann sein Modell einige seiner Konkurrenten in den Bereichen Sprachverständnis, Programmierung sowie Mathematik und Logik übertreffen, indem es sich auf eine „Expertenmischung“ verlässt. Diesekann man sich kleinere KI-Modelle vorstellen, von denen jedes über sein eigenes Fachwissen verfügt, die das gesamte große Sprachmodell bilden und Anfragen mit weitaus weniger Rechenleistung bearbeiten.
Mit mehr „Experten“ kann DBRX Textteile mit weniger Parametern erstellen – den anpassbaren Elementen innerhalb eines Modells, die einem Chatbot helfen, Text zu interpretieren und zu generieren.
Databricks begann etwa im Januar mit der Entwicklung des Modells. Es habe 10 Millionen US-Dollar und zwei Monate gedauert, um das Modell anhand öffentlicher Daten zu trainieren, sagte Ghodsi.
DBRX, das als Open Source verfügbar ist, ist der Höhepunkt der 1,3 Milliarden US-Dollar teuren Übernahme des KI-Startups MosaicML im vergangenen Juli, bei der viele seiner Mitarbeiter beim Aufbau von DBRX halfen.
Das Modell wurde auf etwa 3.000 Nvidia H100-GPUs vorab trainiert – ein Energiebedarf, der laut Ghodsi viel geringer ist als der seiner Konkurrenten. Der Chiphersteller nahm im September an der 500-Millionen-Dollar-Finanzierungsrunde der Serie I von Databricks teil.
Außerdem verfüge das gesamte DBRX-Modell über 132 Milliarden Parameter, so das Unternehmen. „Zu jeder Zeit“ verwendet das Modell etwa 36 Milliarden Parameter, um Anfragen zu bearbeiten, sagte Ghodsi während einer Demo am Montag in San Francisco.
Open-Source-Modelle können zu mehr Vielfalt führen, indem sie es anderen Unternehmen oder Gruppen ermöglichen, auf dem Modell von Databricks aufzubauen, sagte Patrick Wendell, Mitbegründer und Vizepräsident für Technik des Unternehmens, am Montag.
„Es gibt viele Gruppen, die wissen, wie man großartige Modelle baut“, sagte Wendell.
„Wir können dann vielen Kunden ermöglichen, ihre eigenen Modelle zu bauen“, fügte er hinzu.
Naveen Rao, der 2021 vor der Übernahme von Databricks Mitbegründer von MosaicML war, sagte zuvor gegenüber BI, wenn Unternehmen sich beim Trainieren eines Open-Source-Modells auf ihre eigenen Daten verlassen können, müssten sie sich keine Sorgen über rechtliche Herausforderungen wie Klagen wegen Urheberrechtsverletzungen machen wurden bereits auf OpenAI und Microsoft geworfen.
Ghodsi sagte gegenüber BI, dass ein Team bei Databricks dafür verantwortlich sei, urheberrechtlich geschütztes Material aus den Daten zu filtern, die zum Trainieren von DBRX verwendet würden.
