Unter der Haube: RAG und modifizierter Mixtral

Die „schlüsselfertige“ Lösung umfasst das generative KI-Modell, Front-End-Anwendungen, ein RAG-System, die Anpassung des LLM und den/die Server, die im Rechenzentrum des Kunden bereitgestellt werden sollen.

Das große Sprachmodell hinter Private GPT ist nichts anderes als eine Variante von Mixtral 8x7B, einem „SMOE“-Modell, das ursprünglich von Mistral AI entwickelt wurde. „Wir arbeiten mit dem deutschen Startup Vago Solutions zusammen, das die Ausbildung des Modells für die deutsche Sprache verstärkt hat“, sagt Udo Würtz.

Offensichtlich zielt die Fujitsu-Abteilung hinter Private GPT in erster Linie auf den deutschen Markt ab, das Modell behält jedoch seine Kenntnisse in Englisch, Italienisch, Französisch und Spanisch bei.

Darüber hinaus hat Fujitsu eine NLP-Übersetzungsschicht implementiert. „Inhalte können auf Prem in 31 weitere Sprachen übersetzt werden, darunter Chinesisch (vereinfacht und traditionell), Arabisch, Koreanisch, Norwegisch und sogar Dänisch“, erläutert er.

Obwohl Mixtral 8x7B weniger effizient ist als GPT 4 oder Llama 3-70B, nähert es sich der Leistung von GPT 3.5 und Llama 2-70B an und ist gleichzeitig kostengünstiger im Betrieb, lobt der Chief Data Officer.

„Die Frage ist: ‚Benötigen Sie diese leistungsstarken Modelle, wenn Sie KI zu Ihren Geschäftsdaten abfragen?‘ Ich kann Ihnen die Antwort geben: Nein. Das sagen uns jedenfalls die 140 Kunden, die unsere Lösung testen durften“, versichert er uns.

Vor allem kann diese Mixtral-Variante auf einem Server mit einer einzelnen Nvidia L40S-GPU laufen, die mit 48 GB GDDR6-VRAM ausgestattet ist. „Diese Nvidia L40S-Karte kann bis zu 500 gleichzeitige Anfragen (parallel) pro Sekunde unterstützen, was bedeutet, dass ein einzelner Server für Hunderte oder sogar Tausende von Benutzern ausreicht“, erwartet der CDO.

Der betreffende Server stammt aus der Fujistu Primergy M7-Reihe (wahrscheinlich RX2540) und ist mit 512 GB RAM und einem Bisocket-Motherboard für Intel Sapphire Rapids-Prozessoren ausgestattet.

Die Referenzsysteme werden in Zusammenarbeit mit Intel, Nvidia, Juniper Networks (Netzwerk) und NetApp (Speicher) entwickelt. Die private GPT-Anwendung läuft auf der SUSE Rancher Kubernetes-Distribution, der hyperkonvergenten Harvester-Lösung und verwendet das Betriebssystem SUSE linux Enterprise Server (SLES).

Privates GPT kann in der Produktion oder im POC auf lokalen oder am gleichen Standort befindlichen Maschinen bereitgestellt werden. Kunden können die erforderlichen Maschinen und Lizenzen erwerben oder sich für den Pay-as-you-go-Service von Fujitsu Uscale entscheiden. Der Anbieter unterstützt andere Open-Weight- und proprietäre LLMs. Es werden jedoch keine Angaben zu den Preisen für den Dienst gemacht. „Unser „Pay per Use“-Modell ist klar und präzise und ermöglicht erhebliche Einsparungen im Vergleich zu Cloud-Diensten“, lobt Udo Würtz.

Andererseits garantiert Fujitsu, keinen Zugriff auf die Daten seiner Kunden zu haben.

„Wir haben keinen Zugriff darauf“, betont der CDO. „Es ist privat, kein Cloud-Dienst, keine Internetverbindung, kein VPN von außen, wenn Sie es nicht haben möchten. Daher ist es für das Militär, die Polizei, den öffentlichen Sektor usw. sehr interessant, da die Daten den Unternehmens- oder Abteilungsbereich des Kunden nicht verlassen.“

POCs in sensiblen Sektoren

Mit seinem AI Test Drive, einer von Cyxtera oder NTT gehosteten privaten Cloud-Umgebung, die die Isolierung von Testräumen ermöglicht, ermöglicht der japanische Anbieter seinen Kunden, die Lösung mit dem Basismodell von in Deutschland, Großbritannien und Italien bereitgestellten Instanzen auszuprobieren. Private GPT ermöglicht das Laden von PDFs und Textdateien in ein Speichervolume und kümmert sich automatisch um die Datenvektorisierung. LeMagIT konnte die Lösung schnell mit Dokumenten von einigen Dutzend bis Tausend Seiten testen. Die erhaltenen Antworten waren korrekt und quellenbezogen, wenn auch etwas allgemein gehalten. Tatsächlich erfordert ein RAG-System im Allgemeinen eine individuelle Anpassung des LLM und des Einbettungsmodells, das für die Erstellung der Vektoren aus den bereitgestellten Dokumenten verantwortlich ist.

Derzeit führen Fujitsus europäische Kunden hauptsächlich POCs durch. Diese kommen aus den Bereichen Verteidigung, Einzelhandel, Bau, Stahl, Rechenzentrumsmanagement, öffentlicher Sektor, Dienstleister, Verwaltungen, Automobilbranche usw.

„Kunden aus verschiedenen Branchen sehen in KI eine Lösung, um Expertenwissen zu sichern und die betriebliche Effizienz zu verbessern“, fasst Udo Würtz zusammen. „Im Energiesektor sind sie mit einer Fülle an Gesetzestexten und einem Mangel an qualifiziertem Personal konfrontiert. Verteidigungs- und Bauakteure müssen den Zugriff auf Anweisungen (Montage, Wartung) rationalisieren und vereinfachen, während der Rechtssektor auf die Präzision der von KI bereitgestellten Informationen achtet. Im Tourismus könnte KI Urlaubsziele basierend auf Wetterbedingungen und Kundenbedürfnissen empfehlen“, fügt er hinzu.

Eine Lösung zur Perfektion

Fujitsu seinerseits muss Private GPT verbessern, um alle von seinen Kunden geplanten Anwendungsfälle zu unterstützen. Noch vor Jahresende plant er, einen Thesaurus (eine Ontologie) hinzuzufügen, eine Möglichkeit, aufgenommene Dokumentmetadaten zu unterstützen, verschiedene Einbettungsmodelle zu testen, Antworten auf ein einzelnes Dokument zu verbessern und die vom RAG-System bereitgestellten Referenzen in der Anwendung zu visualisieren , einen neutralen Ton zu erzwingen und tabellarische Daten zu verarbeiten („was angesichts der Besonderheiten relationaler DBMS nicht einfach ist“, informiert Udo Würtz).

Später im Jahr 2025 ist geplant, mehrere LLMs zu unterstützen, den Konversationsverlauf zu verbessern, Eingabeaufforderungsvorlagen bereitzustellen, Dokumentqualitätsindikatoren bereitzustellen, die Suche innerhalb von Dokumenten zu verbessern oder sogar mehr Datenquellen aus dem Web oder Tools von Drittanbietern aufzunehmen.

Derzeit sind die Sicherheitsmechanismen von Private GPT bei Unternehmen gut bekannt.

„Benutzer werden mit dem Microsoft Active Directory (jetzt Entra ID genannt, Anmerkung des Herausgebers) oder, für eine Linux-Umgebung, mit dem reinen LDAP-Verzeichnis verbunden. Ohne diese Kennungen ist ein Zugriff auf das System nicht möglich. Das System kann durch zusätzliche Load-Balancing-Mechanismen geschützt werden, darunter SSL-Offloading oder agile Proxys für Open-Source-Lösungen“, sagt Udo Würtz. „Wir verwalten diese Funktion und Sie können Ihr eigenes Netzwerk zwischen der KI-Instanz und dem Proxy steuern, um das Abfangen von Paketen zu verhindern.“

Weitere Sicherheitsmaßnahmen werden folgen. Sie werden derzeit getestet.

Fujistu ist bei weitem nicht der einzige Gerätehersteller in der „staatlichen“ oder privaten KI-Nische. Player wie HPE, Dell und Nutanix beabsichtigen, ähnliche Lösungen anzubieten. Fakt ist, dass der Japaner über langjährige Erfahrung in der Forschung und Entwicklung im Bereich der künstlichen Intelligenz verfügt und einen aktiven Beitrag zur LF Data&AI Foundation leistet. In diesem Spiel steht es eher im Wettbewerb mit IBM, aber wir sollten Watsonx.ai lieber mit Kozuchi vergleichen, einer Cloud-nativen Plattform, die sich dem Design, Training und Einsatz von KI widmet.