Die Nachrichtenagentur StorageReview ist chatgpt-on-qnap-nas” data-url=”https://www.storagereview.com/review/run-a-private-rag-chatgpt-on-qnap-nas”>Ausführen eines KI-Chatbots auf einem NAS Unterstützt durch die RTX A4000-Grafikkarte von Nvidia, wodurch ChatGPT-Funktionen auf einem lokalen Server bereitgestellt werden. Entwickler von YouTube-Computerhardware haben normalerweise eine Vorliebe für das Ungewöhnliche und Alberne, aber StorageReview hat eine Lösung geschaffen, die in ihrer Einzigartigkeit mit ihrer Nützlichkeit übereinstimmt.
Wie im oben eingebetteten YouTube-Video zu sehen ist, hat Jordan von StorageReview diese Aufgabe ohne allzu viel aufwändigen Heimwerkeraufwand gemeistert. Die Basis des Projekts ist a QNAP TS-h1290FX, ein vorgefertigtes NAS mit 12 NVMe-Steckplätzen, einem AMD Epyc-Prozessor und 256 GB RAM ab Werk. Der Grund für dieses spezielle NAS ist zweierlei: Es ermöglicht das Hinzufügen einer internen GPU und unterstützt das QNAP-Hypervisorprogramm Virtualization Station zum Erstellen virtueller Maschinen (VMs). Zu dieser Hülle kommt die Nvidia RTX A4000 hinzu, eine Ampere-GPU, die Nvidias leistungsstärkste Single-Slot-Grafikkarte ist.
Mit einem NAS voller Terabytes an Daten und einem einsatzbereiten RTX-Arbeitstier könnte Jordan das neue Programm „Chat with RTX“ verwenden, eine Nvidia-Kreation, die ein ChatGPT-Erlebnis auf einem PC mit Ihrer Grafikkarte einrichtet, von dem Sie profitieren können lokale Dateien für Daten.
Ein NAS mit integrierter KI mag unpraktisch erscheinen, aber für eine zunehmend KI-abhängige Welt ist diese Lösung sehr sinnvoll. Der Einsatz von KI in der Unternehmenswelt umfasst die Analyse und Optimierung von Daten und Leistung, die möglicherweise mit sensiblen Daten verbunden sind, die man im offenen Internet nicht haben möchte. Das Online-ChatGPT-Modell trainiert sich selbst auf seine eigene Verwendung, was Benutzer mit sensiblen Daten zu Recht davor abschrecken würde, dass diese möglicherweise in eine KI-Datenbank gelangen. Ein lokaler KI-Chatbot, der nicht mit dem offenen Internet verbunden ist, aber für diese Lösungen mit Ihren Daten verbunden ist, kann für sicherheitsorientierte Unternehmen möglicherweise von entscheidender Bedeutung sein. Wenn Sie dieses Tool auf einem NAS installieren, kann jeder in einem Netzwerk auf die KI-Tools zugreifen.
Dieses Projekt ist in einer zunehmend auf Neuheiten ausgerichteten YouTube-Technologieumgebung erfrischend nützlich. Das Hinzufügen der ChatGPT-Funktionen zu einem NAS, der bereits ein Kraftpaket für sich ist (15-TB-NVMe-Laufwerke werden in Unternehmensumgebungen immer häufiger verwendet, und dieses QNAP-Biest passt für 12 davon), ist für Unternehmen, die das nutzen möchten, ein Kinderspiel Die Macht der KI, sich in einer sich schnell entwickelnden Welt wettbewerbsfähiger zu machen. Auch hier werden einige der moralischen Bedenken oder Befürchtungen im Zusammenhang mit KI-Sprachmodellen vermieden: Durch die Verwendung eines vollständig netzunabhängigen Sprachmodells sind Sie davor geschützt, dass die KI Ihre Antworten stiehlt, und wenn der Bot allein auf Ihren Daten trainiert wird, wird sichergestellt, dass keine Piraterie oder Datendiebstahl erfolgt von anderen wird aufrechterhalten, nachdem Sie das LLM-Modell heruntergeladen haben, um die Chat-App zu betreiben.
Um einen tieferen Einblick in das Projekt zu erhalten und zu erfahren, wie Sie es selbst replizieren können, lesen Sie den Artikel auf StorageReview. Wenn Sie Hilfe beim Start Ihres eigenen KI-NAS-Projekts benötigen, benötigen Sie die besten SSDs und HDDs, die von uns getestet wurden. Und wenn Sie wirklich selbst basteln möchten, sollten Sie über den 3D-Druck Ihres eigenen NAS-Gehäuses nachdenken.
