⚡
Performance-Benchmark
Wie schnell ist das Modell?
Roher Durchsatz auf echter Hardware – wie viele Token ein Modell pro Sekunde erzeugt, wie schnell es den Prompt verarbeitet und wie kurz die Zeit bis zum ersten Token ausfällt. Je höher, desto besser.
⚡ Generation (tok/s)🔄 Prefill⏱️ TTFT👥 Concurrency
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 1.443,88 tok/s TG Prefill 35.348 · TTFT 560 ms | 10× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclaw | Details → | |
| 2 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 1.015,69 tok/s TG Prefill 20.061 · TTFT 1.289 ms | 10× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclawAWQ | Details → | |
| 3 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 842,94 tok/s TG Prefill 31.098 · TTFT 319 ms | 5× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclaw | Details → | |
| 4 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 615,82 tok/s TG Prefill 13.999 · TTFT 797 ms | 5× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclawAWQ | Details → | |
| 5 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 268,71 tok/s TG Prefill 17.371 · TTFT 114 ms | 1× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclaw | Details → | |
| 6 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 144,83 tok/s TG Prefill 9.895 · TTFT 217 ms | 1× | NVIDIA RTX PRO 6000 Blackwell Workstation Edition32x AMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM | vLLMgodclawAWQ | Details → |