🏆
Ranglisten
LLM Leaderboard
Reale Messergebnisse aller getesteten Sprachmodelle auf echter, benannter Hardware – bewertet nach roher Geschwindigkeit (Performance in Token pro Sekunde, Prefill und Zeit bis zum ersten Token) und nach praktischer Aufgaben-Qualität in vollständigen Agenten- und Chat-Abläufen (Harness). Wähle unten einen Benchmark-Typ oder filtere nach Modell, Hersteller und Hardware, um genau zu sehen, was jeweils geprüft wird und wie die Ergebnisse zustande kommen.
⚡ Performance (tok/s)🤖 Harness-Qualität👥 Concurrency🖥️ echte Hardware
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 419,38 tok/s TG Prefill 11.768 · TTFT 2.673 ms | 10× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 2 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 418,31 tok/s TG Prefill 11.855 · TTFT 2.651 ms | 10× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 3 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 318,18 tok/s TG Prefill 9.348 · TTFT 1.524 ms | 5× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 4 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 294,88 tok/s TG Prefill 9.401 · TTFT 1.516 ms | 5× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ8_0 | Details → | |
| 5 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 139,33 tok/s TG Prefill 4.729 · TTFT 517 ms | 1× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 6 | Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 110,40 tok/s TG Prefill 5.361 · TTFT 457 ms | 1× | AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAM | llama.cppgodclawQ8_0 | Details → |