Am 20. Oktober 2026 hat das chinesische KI-Unternehmen DeepSeek das Inferenz-Framework DeepInfer unter der Apache-2.0-Lizenz auf GitHub frei gegeben. Parallel erschien das Hilfswerkzeug deepseek-recipe unter der MIT-Lizenz. Ziel ist, die laufenden Kosten für KI-Inference in Enterprise-Umgebungen zu reduzieren, indem ein hochoptimiertes, hardware-nahes System bereitgestellt wird. Das Release richtet sich primär an Selbsthoster und Serverbetreiber, nicht an End-User auf Consumer-Hardware.

Open-Source-Lizenzierung und ergänzende Werkzeuge

DeepInfer wird mit der Apache-2.0-Lizenz angeboten, die uneingeschränkte kommerzielle Nutzung und Modifizierbarkeit erlaubt. Das Begleit-Tool deepseek-recipe ist unter der MIT-Lizenz veröffentlicht und dient als Protokoll- und Token-Konverter, der gängige API-Formate (Chat Completions, Responses, Messages) exakt an die DeepSeek-API anpasst. Beide Projekte wurden am selben Tag - dem 20. Oktober 2026 - auf GitHub bereitgestellt und erleichtern die Integration in bestehende Software-Stacks.

Hardware-Anforderungen und unterstützte Beschleuniger

DeepInfer unterstützt derzeit ausschließlich das Modell DeepSeek-V4.1-Flash und erfordert entweder Nvidia-Server-GPUs der SM100-Architektur (Blackwell-B200) oder Huawei-Ascend 950 NPUs. Consumer-Grafikkarten wie die Nvidia Geforce RTX 4090 oder 5090 sind nicht kompatibel, weil sie weder den benötigten Adressraum noch die erforderliche Kernel-Architektur bereitstellen. Der geschätzte Einzelpreis einer Ascend 950 NPU liegt laut Bloomberg bei rund 37.000 US-Dollar.

Modell-Dimension und notwendige Cluster-Größe

DeepSeek-V4.1-Flash umfasst 763 Milliarden Parameter und benötigt etwa 510 Gigabyte unkomprimierten Speicher für die Modell-Gewichte. Um das Modell effizient zu bedienen, empfiehlt DeepSeek einen Multi-GPU-Cluster mit mindestens 128 Beschleunigerchips - aufgeteilt in 64 Prefill- und 64 Decode-Einheiten. Diese Konfiguration ist für Einzelpersonen praktisch nicht umsetzbar und richtet sich klar an Enterprise-Umgebungen mit hohem Anfrage-Durchsatz.

Betriebsmodus: Offline-Batch-Inference

Der aktuelle Release-Status von DeepInfer legt nahe, dass das Framework primär als Offline-Batch-Inference-Engine konzipiert ist. Es beinhaltet keinen eigenen HTTP-Server und stellt keine Komponenten für globale Lastverteilung oder ein verteiltes KV-Cache-System bereit. Somit fehlt derzeit die Unterstützung für Online- oder In-the-Loop-Inference, die von vielen modernen Serving-Engines erwartet wird.

Wirtschaftliche Vorteile gegenüber proprietären Plattformen

KI-Inference macht in Enterprise-Deployments den größten Teil der laufenden Betriebskosten aus. Durch spekulatives Decoding und strukturierte Ausgaben reduziert DeepInfer sowohl Compute- als auch Energiekosten. Open-Source-Frameworks für Multi-GPU-Cluster können die Margen etablierter Plattform-Anbieter drücken und die technologische Unabhängigkeit von proprietären Cloud-Diensten beschleunigen.

Risiken und Gegenargumente

  • Kein Ersatz für vielseitige Serving-Engines: DeepInfer ist hochspezifisch auf das Modell DeepSeek-V4.1-Flash zugeschnitten und kann heterogene Modell-Landscapes nicht abdecken.
  • Geopolitisches Risiko und Chip-Restriktionen: Die Ausrichtung auf Nvidia-Blackwell und Huawei-Ascend 950 spiegelt die Teilung des Marktes durch US-Exportkontrollen wider. Westliche Cloud-Anbieter nutzen meist nicht Ascend, während chinesische Anbieter kaum in großen Mengen an SM100-Chips kommen.

Häufig gestellte Fragen (FAQ)

Kann DeepInfer auf Consumer-Grafikkarten wie der Nvidia Geforce RTX 4090 oder 5090 ausgeführt werden?Nein. DeepInfer verlangt zwingend Beschleuniger mit SM100-Architektur (Datacenter-Blackwell wie B200) oder Huawei Ascend 950.Was ist der Unterschied zwischen DeepInfer und deepseek-recipe?DeepInfer ist die hardwarenahe Rechen-Engine zur Ausführung der neuronalen Netze. deepseek-recipe dient als Protokoll- und Token-Konverter, der Standard-API-Aufrufe (z. B. Chat Completions) in das formatspezifische Eingabeformat von DeepSeek übersetzt.Wird DeepInfer in Zukunft auch kleinere Modelle unterstützen?DeepSeek plant, künftige eigene Modellversionen für DeepInfer anzupassen, jedoch ist ein Support für Drittanbieter-Modelle wie Llama oder Mistral derzeit nicht vorgesehen.

Fazit

DeepInfer stellt mit seiner Apache-2.0-Lizenz ein leistungsstarkes, aber stark fokussiertes Inferenz-Framework für das riesige DeepSeek-V4.1-Flash-Modell bereit. Die Open-Source-Veröffentlichung senkt potenziell die Compute- und Energiekosten für Unternehmen, erfordert jedoch eine umfangreiche High-End-Hardware-Infrastruktur und bietet nur einen Offline-Batch-Betriebsmodus. Für Betreiber großer Multi-GPU-Cluster, die bereits auf Nvidia-Blackwell- oder Huawei-Ascend-Hardware setzen, kann das Tool erhebliche Kostenvorteile bringen. Unternehmen, die heterogene Modell-Umgebungen oder Online-Serving benötigen, müssen jedoch weiterhin auf etablierte Plattformen zurückgreifen.