🏆
Ranglisten
LLM Leaderboard
Reale Messergebnisse aller getesteten Sprachmodelle auf echter, benannter Hardware – bewertet nach roher Geschwindigkeit (Performance in Token pro Sekunde, Prefill und Zeit bis zum ersten Token) und nach praktischer Aufgaben-Qualität in vollständigen Agenten- und Chat-Abläufen (Harness). Wähle unten einen Benchmark-Typ oder filtere nach Modell, Hersteller und Hardware, um genau zu sehen, was jeweils geprüft wird und wie die Ergebnisse zustande kommen.
⚡ Performance (tok/s)🤖 Harness-Qualität👥 Concurrency🖥️ echte Hardware
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Meta-Llama-3.1-8B-Instruct8BQ4_K_MMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 130,88 tok/s TG Prefill 4.122 · TTFT 7.946 ms | 10× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 2 | Meta-Llama-3.1-8B-Instruct8BQ4_K_MMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 90,37 tok/s TG Prefill 3.202 · TTFT 4.555 ms | 5× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 3 | Meta-Llama-3.1-8B-Instruct8BQ8_0Meta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 89,46 tok/s TG Prefill 3.210 · TTFT 4.511 ms | 5× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 4 | Meta-Llama-3.1-8B-Instruct8BQ4_K_MMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) i | 48,95 tok/s TG Prefill 1.278 · TTFT 1.932 ms | 1× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 5 | Meta-Llama-3.1-8B-Instruct8BQ4_K_MMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 47,41 tok/s TG Prefill 1.800 · TTFT 1.368 ms | 1× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 6 | Meta-Llama-3.1-8B-Instruct8BQ4_K_MMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) i | 45,73 tok/s TG Prefill 1.206 · TTFT 2.050 ms | 1× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → | |
| 7 | Meta-Llama-3.1-8B-Instruct8BQ8_0Meta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 31,83 tok/s TG Prefill 1.653 · TTFT 1.506 ms | 1× | 2x NVIDIA GeForce RTX 2060Intel(R) Core(TM) i5-7400 CPU @ 3.00GHz · 7 GB RAM | llama.cppopenclaw_cli | Details → |