Sie interessieren sich für chatgpt, möchten aber Ihre privaten Daten nur ungern weitergeben? Nvidia bietet jetzt eine Möglichkeit, Ihr eigenes Sprachmodell lokal zu betreiben, ohne Ihre Privatsphäre zu gefährden. Das neue Tool heißt Chat With RTX.
Möchten Sie Ihr eigenes lokales ChatGPT haben? Vor allem kein Urteil, jeder Traum ist einzigartig. Aber es gibt eine neue Lösung. Nvidia hat gerade ein Tool für diejenigen unter uns auf den Markt gebracht, die KI testen möchten, ohne den Komfort unseres PCs zu verlassen: Chatten Sie mit RTX. Es handelt sich um eine Anwendung, die Ihren PC in einen Server für künstliche Intelligenz verwandelt, vorausgesetzt natürlich, dass Sie eine Nvidia-GPU unter der Haube haben.
Stellen Sie sich vor, Sie könnten mit Ihrem Computer chatten und ihn bitten, Ihre Dokumente zu durchsuchen oder ein YouTube-Video zusammenzufassen, ohne einen Finger rühren zu müssen. Genau das wird vorgeschlagen Chatten Sie mit RTX. Nvidia nennt es eine Demo, aber täuschen Sie sich nicht, es ist bereits recht leistungsstark und auf jeden Fall nützlich.
Mistral oder LLaMA 2 Ihrer Wahl
Es ist also nicht GPT, das als LLM verwendet wird. Um das Verständnis zu erleichtern, sprechen wir hier von ChatGPT. Benutzer haben die Wahl zwischen Mistral und LLaMA 2 (Meta) als Sprachmodelle (LLM), um ihre zu animieren Chatten Sie mit RTX. Dies sind zwei Open-Source-LLMs.
Nachdem Sie einen Ordner mit zu analysierenden Dokumenten ausgewählt haben, können Sie den Chatbot abfragen, der die relevanten Informationen extrahiert. Außerdem funktioniert es gut auf Französisch.
Zum Beispiel, wenn Sie fragen Chatten Sie mit RTX Um Ihre Flugdaten in einer Urlaubsakte zu finden, stellt es Ihnen die Informationen in Textform zur Verfügung und verlinkt die Quelldokumente für einen schnellen Zugriff. Ebenso kann es einen Aktivitätsplan im PDF-Format zusammenfassen oder Informationen aus YouTube-Videos extrahieren, indem es einfach den Link in die Anwendung einfügt.
Wie wir zu Beginn sagten, Chatten Sie mit RTX erfordert eine Nvidia-GPU auf Ihrem Computer. Der Chatbot ist mit allen Modellen der RTX 30- und RTX 40-Serie mit mindestens 8 GB VRAM kompatibel. Weitere Voraussetzungen für die Installation sind windows 11, mindestens 16 GB RAM und Version 535.11 oder höher Ihrer Grafikkartentreiber.
Die Anwendung selbst ist etwas gierig: 40 GB Speicherplatz und 3 GB RAM. Aber es lohnt sich, besonders wenn Sie gerne die Kontrolle über Ihre Daten haben. Alles geschieht lokal auf Ihrem Rechner, sodass es keine Cloud-bezogenen Datenschutzbedenken mehr gibt. Du kannst Laden Sie die App hier herunter.
