Wenn Sie sich jemals gefragt haben, was passiert, wenn Sie eine GPU in ein NAS einbauen und es wie ein privates chatgpt mit KI ausführen lassen, dann Speicherbewertung hat die überraschende Antwort.
Als Basis für sein Projekt dient die WebsiteJordan Ranous verwendete QNAPs TS-h1290FX, ein 12-NVMe-NAS mit AMD EPYC 7302P-CPU, 256 GB DRAM, 25-GbE-Konnektivität und zahlreichen PCI-Steckplätzen. Er entschied sich für dieses NAS, da es eine interne GPU unterstützt und bis zu 737 TB Rohspeicher hosten kann.
Durch das Hinzufügen einer Nvidia RTX A4000-GPU zum TS-h1290FX und deren Konfiguration für KI mithilfe der Virtualization Station (einem Hypervisor für das NAS) konnte Ranous KI-Workflows nahtlos ausführen.
Nvidias Chat mit RTX
Das ChatRTX-Softwarepaket von Nvidia sorgte für Ordnung bei der KI-Interaktion, indem es über ein GPT-basiertes LLM mit einem lokalen, einzigartigen Datensatz ein individuelles Erlebnis bot. Dies ermöglichte schnelle, kontextbezogene Reaktionen bei gleichzeitiger Wahrung von Datenschutz und Sicherheit.
Speicherbewertung detailliert den Prozess, der die Überprüfung der Hardwarekompatibilität, die Installation der GPU, die Aktualisierung der QNAP-Firmware und -Software und die Installation des Betriebssystems auf der VM umfasste, bevor der GPU-Passthrough konfiguriert, GPU-Treiber in der VM installiert und die Passthrough-Funktionalität überprüft wurde.
Die einfache Einrichtung der GPU für KI auf dem QNAP NAS beweist, dass es eine kostengünstige und effiziente Lösung für Unternehmen sein könnte, die die Leistungsfähigkeit von KI nutzen möchten. Ranous sagt: „Wir haben gezeigt, dass das Hinzufügen einer guten GPU zu einem QNAP NAS relativ einfach und kostengünstig ist. Wir haben einen A4000 zum Einsatz gebracht, und bei einem Straßenpreis von etwa 1.050 US-Dollar ist das nicht schlecht, wenn man bedenkt, dass Virtualization Station kostenlos ist und NVIDIA ChatRTX kostenlos erhältlich ist.“
