Als würden Sie Ihr eigenes lokales chatgpt von Ihrer Nvidia-GPU ausführen. Das Tool ist einfach einzurichten und zu verwenden. Mit einigen sehr schönen Funktionen.
Sie haben wahrscheinlich bemerkt, dass generative KI-Tools wie google Gemini und ChatGPT immer mehr in unser Leben Einzug halten. Diese Tools basieren auf großen Sprachmodellen (LLM), Netzwerken, die auf enorme Datenmengen trainiert werden, um realistische Texte, Bilder oder sogar Videos produzieren zu können. Für den Zugriff auf diese LLMs benötigen Sie keine Cloud-App, sondern können dies auf Ihrem eigenen Computer tun. Sie können also davon profitieren, ohne eine Verbindung zu haben, und müssen sich keine Sorgen machen, dass Ihre Eingabeaufforderungen und Gespräche bei Google oder OpenAI ankommen. Nvidia hat eine eigene lokale LLM-Anwendung gestartet, die die Leistung der Grafikkarten RTX 30 und RTX 40 nutzt Chatten Sie mit RTX. Hier erfahren Sie, wie Sie davon profitieren.
Bevor Sie beginnen, stellen Sie sicher, dass Sie über die neuesten Treiber für Ihre Grafikkarte verfügen. Die GeForce Experience-App kann Ihnen dabei helfen, und gehen Sie dann zu Chatten Sie mit der RTX-Downloadseite. Um das Tool zu starten, benötigen Sie windows 11, eine GeForce RTX 30/40 oder RTX Ampere oder Ada-Karte mit mindestens 8 GB VRAM und 16 GB RAM.
Bedenken Sie auch, dass NVIDIA diese App als „Demo“ bezeichnet. Mit anderen Worten, es ist noch nicht vollständig fertiggestellt, es können Fehler vorhanden sein. Auch der Download ist mit 35 GB recht groß, da mehrere LLMs integriert sind. Schließlich dauert die Installation einige Zeit.
Wenn Sie fertig sind, wird die Chat with RTX-App zu Ihrem Startmenü hinzugefügt. Starten Sie es und nach einem Moment wird die Benutzeroberfläche in Ihrem Standard-Webbrowser angezeigt. In der oberen linken Ecke können Sie das Quell-KI-Modell auswählen: Mistral oder Llama. Sobald Sie fertig sind, können Sie Ihre Aufforderungen senden, wie Sie es mit ChatGPT oder Google Gemini tun.
Wenn Sie bereits ein LLM verwendet haben, wissen Sie, wozu diese generativen KI-Engines in der Lage sind: E-Mails, Dokumente, Nachrichten und mehr schreiben, komplexe Themen zusammenfassen, komplexe Fragen beantworten usw.
Es gelten die Standardregeln. Versuchen Sie, so konkret wie möglich zu sein, und nehmen Sie die Antworten nicht für bare Münze. Da Chat with RTX nicht nach den aktuellsten Informationen im Web suchen kann, ist dieses Tool keine gute Lösung, um im Laufe der Zeit aktuelle Antworten zu erhalten. Sie erhalten jedoch eine Antwort basierend auf den darin enthaltenen Daten, unabhängig von deren Daten Datum .
Am unteren Rand der Benutzeroberfläche finden Sie eine Schaltfläche zum Generieren einer neuen Antwort aus der letzten Eingabeaufforderung, eine Schaltfläche „Abbrechen“ (um zur alten Eingabeaufforderung zurückzukehren) und eine Schaltfläche zum Löschen der Konversation, wodurch der zugehörige Verlauf gelöscht wird in der Lage, noch einmal von vorne anzufangen. Derzeit ist es nicht möglich, Antworten anders als durch Kopieren und Einfügen des Textes zu exportieren.
Fügen Sie Ihre eigenen Daten und YouTube-Videos hinzu
Chat with RTX bietet einige sehr interessante Funktionen, einschließlich der Möglichkeit, seine Antworten auf die von Ihnen bereitgestellten Dokumente zu stützen. Wählen Sie im Abschnitt „Datensatz“ die Option „Ordnerpfad“ aus und geben Sie dann den Ordner an, der die Dokumente enthält, die Sie nutzen möchten.
Die App scannt dann den betreffenden Ordner, was einige Zeit dauern kann, und Sie können ihm Ihre Eingabeaufforderungen senden. Der Bot durchsucht den Text nach passenden Antworten und zitiert sogar die verwendete(n) Datei(en). Sie können Zusammenfassungen anfordern, Sachverhalte überprüfen oder auf den bereitgestellten Texten einen neuen Text erstellen lassen.
Wir wiederholen, dass dies ein erster Entwurf einer Technologie ist, von der bekannt ist, dass sie nicht 100 % wahr ist. Es ist jedoch ein sehr schönes Tool, mit dem Sie spielen können und dem Sie Ihre eigenen Daten zur Verfügung stellen können.
Chat with RTX kann auch YouTube-Videos analysieren und basierend auf deren Transkriptionen Antworten vorschlagen (wobei sie verwendet werden, wenn sie vorhanden sind, oder automatisch generiert werden, wenn sie nicht vorhanden sind). Dies funktioniert sogar mit ganzen Playlists, die Software durchsucht dann eine ganze Reihe von Videos gleichzeitig.
Wählen Sie YouTube-URL als Datensatz aus und fügen Sie dann die Adresse des Videos oder der Wiedergabeliste ein. Wenn Sie mit einer Playlist arbeiten, können Sie angeben, wie viele Videos Sie einschließen möchten. Klicken Sie abschließend auf die Download-Schaltfläche rechts und Chat with RTX lädt die Transkripte herunter und ruft sie ab und/oder generiert sie.
Wie die Funktionalität zum Scannen von Dokumenten kann dies sehr nützlich sein, um Zusammenfassungen zu erhalten oder wichtige Informationen zu extrahieren, aber es ist derzeit ohnehin die am wenigsten ausgereifte Funktion des Programms. Die App ist oft verwirrt, auf welches Video sie sich bezieht. Wenn Sie jedoch schnelle Antworten zu langen Videos oder Wiedergabelisten benötigen, für deren Ansehen Sie keine Zeit haben, kann Chat mit RTX hilfreich sein.
