Modellserver / Inferenz-Engine

tensorfold

Alle Performance-Benchmarks, die mit diesem Modellserver gemessen wurden – Durchsatz, Prefill und Latenz.

3Benchmarks

1Modelle

Beste Generation

344,4 tok/s

Qwen3.8-Flash-Next

∅ Generation

221,3 tok/s

Schnitt aus 3 Läufen

Bester Prefill

16.771 tok/s

Prompt-Verarbeitung

Bester TTFT

344 ms

Time to First Token

Bester Durchsatz je Modell – umschaltbar nach Generation, Prefill oder Kombiwert.

344,4 tok/s

Bester Durchsatz je Grafikkarte mit diesem Modellserver.

NVIDIA RTX PRO 6000 Blackwell Workstation Edition

344,4 tok/s

Performanceprofil

Durchsatz mit tensorfold

Jede Blase steht für eine CPU, GPU bzw. ein Modell – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.

AMD Ryzen 9 9950X 16-Core Processor 344,4 tok/s

NVIDIA RTX PRO 6000 Blackwell Workstation Edition 344,4 tok/s

Qwen3.8-Flash-Next 344,4 tok/s

Alle Messungen

Jeder veroeffentlichte Lauf mit tensorfold.

Messwert:

#	Modell / Hersteller	Messwerte	Parallel	GPU / CPU / RAM	Runtime
1	Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)	344,40 tok/s TG Prefill 16.771 · TTFT 2.037 ms	10×	NVIDIA RTX PRO 6000 Blackwell Workstation EditionAMD Ryzen 9 9950X 16-Core Processor · 123 GB RAM	tensorfoldgodclaw	Details →
2	Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)	244,85 tok/s TG Prefill 14.238 · TTFT 934 ms	5×	NVIDIA RTX PRO 6000 Blackwell Workstation EditionAMD Ryzen 9 9950X 16-Core Processor · 123 GB RAM	tensorfoldgodclaw	Details →
3	Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)	74,79 tok/s TG Prefill 5.764 · TTFT 344 ms	1×	NVIDIA RTX PRO 6000 Blackwell Workstation EditionAMD Ryzen 9 9950X 16-Core Processor · 123 GB RAM	tensorfoldgodclaw	Details →