Dieses neue Tool ist speziell auf Benutzer der Grafikkarten der GeForce RTX 30- und 40-Serie von NVIDIA zugeschnitten und ermöglicht es ihnen, KI-gestützte Chatbots auch offline auf einem Windows-PC zu nutzen.
NVIDIA, ein großes amerikanisches Technologieunternehmen, hat sein neuestes Angebot im Bereich KI-gesteuerter Chatbots vorgestellt und stellt chatgpt von OpenAI mit seiner eigenen Kreation namens „Chat with RTX“ heraus.
Dieses neue Tool ist speziell auf Benutzer der Grafikkarten der GeForce RTX 30- und 40-Serie von NVIDIA zugeschnitten und ermöglicht es ihnen, KI-gestützte Chatbots auch offline auf einem Windows-PC zu nutzen. Mit Chat with RTX können Benutzer ein GenAI-Modell ähnlich wie ChatGPT anpassen und so verbesserte Interaktionen und Produktivität ermöglichen.
Die Funktionalität von Chat with RTX hängt von seiner Fähigkeit ab, eine Verbindung zu lokalen Dokumenten, Dateien und Notizen herzustellen, die dann abgefragt werden können, um relevante Informationen bereitzustellen. NVIDIA betont, dass Nutzer mit einem erheblichen Speicherverbrauch rechnen müssen, da der Download aller notwendigen Dateien je nach gewähltem Modell bis zu 50 GB bis 100 GB Speicherplatz beanspruchen kann.
In einem Blogbeitrag erklärt NVIDIA, dass Benutzer, anstatt Notizen oder gespeicherte Inhalte manuell zu durchsuchen, einfach Abfragen in die Benutzeroberfläche eingeben können. Benutzer könnten beispielsweise Fragen stellen wie: „Welches Restaurant hat mein Partner in Las Vegas empfohlen?“ Chat mit RTX scannt dann die angegebenen lokalen Dateien und liefert die Antwort zusammen mit Kontextinformationen.
Chat with RTX ähnelt zwar dem Open-Source-Modell von Mistral, unterstützt aber auch andere textbasierte Large Language Models (LLM), wie zum Beispiel Metas Llama 2. Es ist mit verschiedenen Dateiformaten kompatibel, darunter Text, PDF, .doc, .docx, und .xml. Wenn die Anwendung auf einen Ordner mit diesen unterstützten Dateien stößt, werden diese automatisch in den Feinabstimmungsdatensatz des Modells integriert.
Darüber hinaus bietet Chat with RTX die Möglichkeit, Transkriptionen von YouTube-Videos über deren URLs zu laden, sodass Benutzer ihre Inhalte mithilfe des ausgewählten Modells abfragen können. Im Gegensatz zu einigen anderen Modellen behält RTX jedoch den Kontext nicht bei, d. h., vorherige Fragen werden bei der Beantwortung von Folgeanfragen nicht berücksichtigt.
Die Leistung von Chat with RTX kann durch mehrere Faktoren beeinflusst werden, darunter die Effizienz des ausgewählten Modells, die Größe des Feinabstimmungsdatensatzes und die Formulierung von Fragen. Darüber hinaus kann sich auch eine schnelle Entwicklung oder das Umformulieren von Fragen zur Optimierung der Ergebnisse auf die Funktionalität des Bots auswirken.
