Um KI für jedermann zugänglich zu machen, auch kostenlos, da die meisten Modelle auf einem Open-Source-System laufen, wurde ein Team talentierter Entwickler zusammengestellt Jan ein Tool für Entwickler und Benutzer, die von einer Alternative zu chatgpt profitieren möchten, völlig unabhängig, offline arbeitend, Open Source und kostenlos.

Wir müssen Jan daher als einen Chat-Client betrachten, der es Ihnen ermöglicht, Modelle wie Trinity, Mistral, Llama, OpenChat usw. herunterzuladen. und führen Sie sie zu 100 % offline aus. Auf diese Weise werden keine privaten Gespräche preisgegeben oder Ihre Daten zum Trainieren neuer KI wiederverwendet. Und wenn Sie wie ich süchtig nach der KI von OpenAI sind, können Sie jederzeit Ihren API-Schlüssel hinzufügen und mit ChatGPT chatten (natürlich zum von OpenAI festgelegten Preis).

Jan arbeitet unter linux (Appimage und .deb verfügbar), unter Windows und macOS (Intel/Silicon) und bietet a Unterstützung für Open-Source-Modelle wie GGUF via call.cppTensorRT über TensorRT-LLM oder externe APIs. Jan nutzt auch die Inferenz-Engine Nitrovon denselben Entwicklern, das schnell und leicht sein soll.

Ich teste hier das Modell Trinity 1.2 7B Q4:

Und hier ein spezielles Modell in Python-Code namens Wizard Coder Python 13B Q5.

Eine coole Sache bei Jan ist, dass alle Konversationen im JSON-Format auf Ihrer Festplatte gespeichert werden. Wenn Sie Lust dazu haben, können Sie sie dann nach Belieben in Ihren Tools verwenden.

Jan bietet auch einen REST-Server an, mit dem Sie jedes darauf ausgeführte Modell über eine OpenAI-kompatible API abfragen können. Dadurch können Sie Ihre Tools oder Skripte direkt in das offene LLM Ihrer Wahl einbinden.

Im Einklang mit Zu sein oder LM Studio, Jan hält, was es verspricht und ermöglicht es Ihnen, Spaß mit KI zu haben (falsche Bezeichnung, ich weiß…), ohne Ihre persönlichen Daten zu gefährden.

Um mehr zu erfahren, besuchen Sie Jans Website oder auf ihrem Seite Github für Quellen und Dokumente.

Danke an Lorenper