⚡
Performance-Benchmark
Wie schnell ist das Modell?
Roher Durchsatz auf echter Hardware – wie viele Token ein Modell pro Sekunde erzeugt, wie schnell es den Prompt verarbeitet und wie kurz die Zeit bis zum ersten Token ausfällt. Je höher, desto besser.
⚡ Generation (tok/s)🔄 Prefill⏱️ TTFT👥 Concurrency
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 1.171,75 tok/s TG Prefill 2.132 · TTFT 45.396 ms | 10× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → | |
| 2 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 589,46 tok/s TG Prefill 2.120 · TTFT 21.049 ms | 5× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → | |
| 3 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 242,41 tok/s TG Prefill 4.265 · TTFT 17.947 ms | 10× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → | |
| 4 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 139,55 tok/s TG Prefill 3.687 · TTFT 3.821 ms | 5× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → | |
| 5 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 125,24 tok/s TG Prefill 1.458 · TTFT 1.399 ms | 1× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → | |
| 6 | Qwen3.8-Flash-Next180BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 115,48 tok/s TG Prefill 1.754 · TTFT 1.124 ms | 1× | NVIDIA RTX A6000AMD Ryzen Threadripper PRO 3945WX 12-Cores | strataIQ2_XS | Details → |