⚡
Performance-Benchmark
Wie schnell ist das Modell?
Roher Durchsatz auf echter Hardware – wie viele Token ein Modell pro Sekunde erzeugt, wie schnell es den Prompt verarbeitet und wie kurz die Zeit bis zum ersten Token ausfällt. Je höher, desto besser.
⚡ Generation (tok/s)🔄 Prefill⏱️ TTFT👥 Concurrency
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | gpt-oss-20b20BOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 70,85 tok/s TG Prefill 154 · TTFT 129.121 ms | 10× | Keine GPU (CPU-only)AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawMXFP4 | Details → | |
| 2 | gpt-oss-20b20BOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 53,48 tok/s TG Prefill 153 · TTFT 64.583 ms | 5× | Keine GPU (CPU-only)AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawMXFP4 | Details → | |
| 3 | gpt-oss-20b20BOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 28,43 tok/s TG Prefill 143 · TTFT 13.839 ms | 1× | Keine GPU (CPU-only)AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawMXFP4 | Details → | |
| 4 | Qwen3-30B-A3B-Instruct-250730BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 25,98 tok/s TG Prefill 218 · TTFT 59.755 ms | 5× | Keine GPU (CPU-only)AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 5 | Qwen3-30B-A3B-Instruct-250730BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 24,50 tok/s TG Prefill 152 · TTFT 16.071 ms | 1× | Keine GPU (CPU-only)AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 6 | Qwen2.5-72B-Instruct72BQwen (Alibaba) Performancebenchmark | 2,28 tok/s TG Prefill 81 · TTFT 569 ms | 1× | Keine GPU (CPU-only)51x Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz · 504 GB RAM | godclaw | Details → |