Nvidia hat gerade einen neuen Supercomputer angekündigt, der die Zukunft der KI verändern könnte. Die DGX GH200, ausgestattet mit fast 500-mal mehr Speicher als die uns bekannten Systeme, wird bald in die Hände von google, Meta und Microsoft fallen.

Das Ziel? Wir revolutionieren generative KI, Empfehlungssysteme und Datenverarbeitung in einem Ausmaß, wie wir es noch nie zuvor gesehen haben. Werden Sprachmodelle wie GPT davon profitieren und was bedeutet das für normale Benutzer?

Die Beschreibung von Nvidias DGX GH200 erfordert die Verwendung von Begriffen, mit denen sich die meisten Benutzer nie auseinandersetzen müssen. „Exaflop“ zum Beispiel, weil der Supercomputer 1 Exaflop Leistung und 144 Terabyte Shared Memory bietet. Nvidia gibt an, dass dies fast 500-mal mehr Speicher bedeutet als in einem einzelnen Nvidia DGX A100-System.

Kehren wir noch einmal zur 1-Exaflop-Zahl zurück und schlüsseln wir sie ein wenig auf. Ein Exaflop entspricht einer Trillion Gleitkommaoperationen pro Sekunde (FLOPs). Zum Vergleich: Nvidias RTX 4090 kann bei Übertaktung rund 100 Teraflops (TFLOPs) erreichen. Ein TFLOP entspricht einer Billion Gleitkommaoperationen pro Sekunde. Der Unterschied ist gewaltig, aber natürlich handelt es sich bei der RTX 4090 nicht um eine Rechenzentrums-GPU. Der DGX GH200 hingegen integriert eine beträchtliche Anzahl dieser Hochleistungs-GPUs, die nicht in die Nähe eines Consumer-PCs gehören.

Der Computer wird von Nvidias GH200 Grace Hopper-Superchips angetrieben. Insgesamt gibt es 256 davon, die dank der NVLink-Verbindungstechnologie von Nvidia alle als einheitliches System zusammenarbeiten können und im Wesentlichen eine riesige GPU bilden.

Die hier verwendeten GH200-Superchips benötigen außerdem keine herkömmliche PCIe-Verbindung zwischen der CPU und der GPU. Nvidia gibt an, bereits mit einem ARM-basierten Nvidia Grace CP,U sowie einer H100 Tensor Core GPU ausgestattet zu sein. Nvidia hat auch hier einige ausgefallene Chip-Verbindungen im Einsatz, dieses Mal mit NVLink-C2C. Dadurch soll die Bandbreite zwischen Prozessor und Grafikkarte deutlich verbessert (bis zu 7-fach) und energieeffizienter (bis zu 5-fach) werden.

Über 200 dieser Chips in ein einziges Kraftpaket eines Supercomputers zu packen ist beeindruckend genug, aber es wird noch besser, wenn man bedenkt, dass bisher nur acht GPUs gleichzeitig mit NVLink verbunden werden konnten. Ein Sprung von acht auf 256 Chips gibt Nvidia sicherlich einiges an Prahlerei.

Wo wird der DGX GH200 nun landen und was kann er der Welt bieten? Nvidia baut seinen eigenen Helios-Supercomputer, um seine KI-Forschung und -Entwicklung voranzutreiben. Es wird vier DGX GH200-Systeme umfassen, die alle mit Nvidias Quantum-2 InfiniBand verbunden sind. Es wird erwartet, dass es bis Ende des Jahres online gehen wird.

Auch Nvidia teilt seine Neuentwicklung mit der Welt, angefangen bei Google Cloud, Meta und Microsoft. Der Zweck ist weitgehend derselbe: die Erforschung generativer KI-Workloads.

Wenn es um Google und Microsoft geht, kann man sich kaum vorstellen, dass der DGX GH200 Verbesserungen in Bard, ChatGPT und Bing Chat ermöglichen könnte.

Aufgrund der erheblichen Rechenleistung, die ein einzelnes DGX GH200-System bietet, ist es gut geeignet, das Training anspruchsvoller Sprachmodelle voranzutreiben. Es ist schwer zu sagen, was genau das bedeuten könnte, ohne einen Kommentar einer der interessierten Parteien abzugeben, aber wir können ein wenig spekulieren.

Mehr Leistung bedeutet größere Modelle, was differenziertere und genauere Texte und ein größeres Datenspektrum für das Training bedeutet. Wir könnten ein besseres kulturelles Verständnis, mehr Kontextkenntnisse und eine größere Kohärenz feststellen. Es könnten auch spezialisierte KI-Chatbots auftauchen, die Menschen in Bereichen wie der Technologie weiter ersetzen.

Sollten wir uns über eine mögliche Arbeitsplatzverlagerung Sorgen machen oder sollten wir uns über die Fortschritte freuen, die diese Supercomputer mit sich bringen könnten? Die Antwort ist nicht einfach. Eines ist sicher: Nvidias DGX GH200 könnte die Welt der KI für Aufruhr sorgen, und Nvidia hat gerade seinen KI-Vorsprung vor AMD noch einmal ausgebaut.

Empfehlungen der Redaktion