🏆
Ranglisten
LLM Leaderboard
Reale Messergebnisse aller getesteten Sprachmodelle auf echter, benannter Hardware – bewertet nach roher Geschwindigkeit (Performance in Token pro Sekunde, Prefill und Zeit bis zum ersten Token) und nach praktischer Aufgaben-Qualität in vollständigen Agenten- und Chat-Abläufen (Harness). Wähle unten einen Benchmark-Typ oder filtere nach Modell, Hersteller und Hardware, um genau zu sehen, was jeweils geprüft wird und wie die Ergebnisse zustande kommen.
⚡ Performance (tok/s)🤖 Harness-Qualität👥 Concurrency🖥️ echte Hardware
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 277,86 tok/s TG Prefill 3.781 · TTFT 10.183 ms | 10× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | vLLMvllmAWQ | Details → | |
| 2 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 214,10 tok/s TG Prefill 4.633 · TTFT 8.462 ms | 10× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | llamacpp | Details → | |
| 3 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 184,33 tok/s TG Prefill 2.857 · TTFT 5.676 ms | 5× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | vLLMvllmAWQ | Details → | |
| 4 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 125,21 tok/s TG Prefill 3.410 · TTFT 4.809 ms | 5× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | llamacpp | Details → | |
| 5 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 57,55 tok/s TG Prefill 1.941 · TTFT 1.402 ms | 1× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | llamacpp | Details → | |
| 6 | Codestral-22B-v0.122BMistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 45,38 tok/s TG Prefill 1.437 · TTFT 1.875 ms | 1× | NVIDIA GeForce RTX 3090 TiAMD Ryzen 5 5600X 6-Core Processor · 30 GB RAM | vllm | Details → |