ChatRTX, Nvidias experimenteller Chatbot, der lokal funktioniert, wird mit der Einführung von Googles Gemma-Modellen, offenen Versionen von Gemini, vervollständigt. Genug, um datenschutzfreundliche Alternativen zu chatgpt, Copilot, Gemini und anderen zu haben, alles auf einem Windows-PC.
Mistral, Llama 2… der lokale Chatbot ChatRTX (ehemals Chat with RTX) von Nvidia integriert seit einigen Monaten mehrere Sprachmodelle, auch LLM genannt. Dieses Mal ist die Gemma-Familie von google an der Reihe, mit offenen Versionen von Gemini auf ChatRTX, Nvidias ChatGPT, Einzug zu halten.
Führen Sie Google AI auf Ihrem PC mit Ihrer Nvidia-Grafikkarte aus
Das ist das Versprechen des Grafikkartenherstellers: Mini-ChatGPT lokal auf Ihrem Computer auszuführen. Bitte beachten Sie: Dies ist nicht das GPT 3.5-Modell von OpenAI, sondern andere LLMs, die von anderen Unternehmen entwickelt wurden. Nvidia hat angekündigt, dass es nun Gemma integriert, eine Reihe von Modellen, die von Google für die lokale Ausführung auf Computern entwickelt wurden.
Google hat kürzlich darauf hingewiesen, dass Gemma für ihre Größe eines der besten offenen Modelle sei. Es stehen zwei Größen zur Verfügung: Gemma 2B und Gemma 7B, abhängig von der Anzahl ihrer Parameter. Gemma 7B ist von Natur aus leistungsstärker als Gemma 2B. Bitte beachten Sie, dass die Nutzungsbedingungen eine kommerzielle Nutzung der mit Gemma generierten Texte erlauben. Eine weitere neue Funktion in ChatRTX angekündigt von Nvidia : die Möglichkeit, per Sprache mit dem Chatbot zu chatten.
So verwenden Sie ChatRTX
Dafür reicht nicht irgendeine Nvidia-Karte. Integrieren Sie mindestens eine GPU der RTX 30- oder 40-Serie und 8 GB VRAM, um ChatRTX nutzen zu können. Tatsächlich erstellt die Software einen lokalen Server für den Chatbot, mit dem Sie über Ihren Browser eine Verbindung herstellen können. Dieser Server kann auf das Internet zugreifen, was es ermöglicht, Anfragen zusätzlich zu den Daten, die ihm von seinem Rechner übermittelt werden können, auch mit im Internet gesammelten Daten zu versorgen. Genug, um Zusammenfassungen und Antworten auf Fragen zu Ihren eigenen Daten zu erhalten.
Der Nachteil dieser Lösung besteht darin, dass Sie hierfür neben dem Herunterladen schwerer Modelle einen ausreichend leistungsstarken PC benötigen. Der Vorteil liegt jedoch nicht in der Abhängigkeit von einem Online-Dienst: Hier ist die Datensicherheit gewährleistet. Ein weiterer wichtiger Vorteil von ChatRTX: Im Gegensatz zu vielen anderen Softwareprogrammen sind zum Starten der verschiedenen LLMs keine großen IT-Kenntnisse erforderlich. Die Schnittstelle zeigt an, welche Modelle Ihnen basierend auf den Daten, die Sie analysieren möchten, am wahrscheinlichsten helfen. Schließlich gibt es sogar eine Bilderkennungsfunktion, mit der Sie das CLIP-Modell von OpenAI trainieren können, Bilder von Ihrem Computer zu erkennen.
