Am Dienstag, Nvidia freigegeben Chat With RTX, ein kostenloser personalisierter KI-Chatbot ähnlich wie chatgpt, der lokal auf einem PC mit einer Nvidia RTX-Grafikkarte ausgeführt werden kann. Es verwendet Mistral- oder Llama-LLMs mit offenen Gewichten und kann lokale Dateien durchsuchen und Fragen dazu beantworten.
Chat With RTX funktioniert auf Windows-PCs, die mit NVIDIA GeForce RTX 30- oder 40-GPUs mit mindestens 8 GB VRAM ausgestattet sind. Es verwendet eine Kombination aus Abruf-erweiterte Generation (RAG), NVIDIA TensorRT-LLM Software und RTX-Beschleunigung, um generative KI-Funktionen direkt auf den Geräten der Benutzer zu ermöglichen. Dieses Setup ermöglicht Gespräche mit dem KI-Modell unter Verwendung lokaler Dateien als Datensatz.
„Benutzer können lokale Dateien auf einem PC schnell und einfach als Datensatz mit einem großen Open-Source-Sprachmodell wie Mistral oder Llama 2 verbinden und so Abfragen für schnelle, kontextrelevante Antworten ermöglichen“, schreibt Nvidia in einem Werbeblogbeitrag.
Benj Edwards
Mit Chat With RTX können Benutzer über verschiedene Themen sprechen oder das KI-Modell bitten, Daten zusammenzufassen oder zu analysieren, ähnlich wie man mit ChatGPT interagieren könnte. Insbesondere das Mistal-7B-Modell verfügt über eine integrierte Konditionierung, um bestimmte sensible Themen (wie natürlich Sex und Gewalt) zu vermeiden, aber Benutzer könnten vermutlich irgendwie eine anschließen unzensiertes KI-Modell und verbotene Themen diskutieren, ohne den Paternalismus, der den zensierten Modellen innewohnt.
Außerdem unterstützt die Anwendung eine Vielzahl von Dateiformaten, darunter .TXT, .PDF, .DOCX und .XML. Benutzer können das Tool anweisen, bestimmte Ordner zu durchsuchen, die dann von Chat With RTX gescannt werden, um Fragen schnell zu beantworten. Es ermöglicht sogar die Einbindung von Informationen aus YouTube-Videos und Playlists und bietet so die Möglichkeit, externe Inhalte in die Wissensdatenbank einzubinden (in Form von Einbettungen), ohne dass für die Bearbeitung von Abfragen eine Internetverbindung erforderlich ist.
Rau an den Rändern
Wir haben Chat With RTX heruntergeladen und ausgeführt, um es zu testen. Die Download-Datei ist mit etwa 35 Gigabyte riesig, da die Mistral- und Llama-LLM-Gewichtungsdateien in der Distribution enthalten sind. („Gewichte“ sind die tatsächlichen neuronalen Netzwerkdateien, die die Werte enthalten, die während des KI-Trainingsprozesses gelernte Daten darstellen.) Bei der Installation lädt Chat With RTX noch mehr Dateien herunter und wird in einem Konsolenfenster mit Python mit einer Popup-Schnittstelle ausgeführt in einem Webbrowserfenster.
Während unserer Tests auf einer RTX 3060 mit 12 GB VRAM stürzte Chat With RTX mehrmals ab. Wie Open-Source-LLM-Schnittstellen ist Chat With RTX ein Durcheinander von mehrschichtigen Abhängigkeiten, die auf Python, CUDA, TensorRT und anderen basieren. Nvidia hat den Code nicht geknackt, um die Installation schlank und nicht brüchig zu machen. Es handelt sich um eine komplexe Lösung, die im Vergleich zu anderen lokalen LLM-Schnittstellen (z. B GPT4ALL). Dennoch ist es bemerkenswert, dass diese Funktion offiziell direkt von Nvidia kommt.
Positiv zu vermerken ist (ein gewaltiges Plus): Die lokale Verarbeitungsfähigkeit betont die Privatsphäre der Benutzer, da sensible Daten nicht an Cloud-basierte Dienste (wie z. B. ChatGPT) übertragen werden müssen. Die Verwendung von Mistral 7B fühlt sich ähnlich leistungsfähig an wie GPT-3 aus der frühen 2022-Ära, was für ein lokales LLM, das auf einer Consumer-GPU läuft, immer noch bemerkenswert ist. Es ist noch kein echter ChatGPT-Ersatz und kann GPT-4 Turbo oder google Gemini Pro/Ultra in der Verarbeitungsleistung nicht erreichen.
Nvidia-GPU-Besitzer können das Laden Sie Chat With RTX herunter kostenlos auf der Nvidia-Website.
