M
Beste Token-Generierung
1.593,1 tok/s
Meta-Llama-3.1-8B-Instruct
Bester Prefill
52.503,3 tok/s
Llama-3.2-1B-Instruct
∅ Token-Generierung
265,9 tok/s
Schnitt aus 167 Läufen
∅ Prefill
8.387,2 tok/s
Schnitt aus 167 Läufen
Bester TTFT
156 ms
Llama-3.2-1B-Instruct
Beste Harness-Quote
0%
noch kein Harness-Lauf
🏆
Meta-Llama-3.1-8B-Instruct · schnellstes Modell mit 1.593,1 tok/s Token-Generierung
Bester Prefill des Herstellers: 52.503,3 tok/s (Llama-3.2-1B-Instruct)
Bester Prefill des Herstellers: 52.503,3 tok/s (Llama-3.2-1B-Instruct)
Top-Modelle nach Token-Generierung
Bester gemessener Generierungs-Durchsatz je Modell (tok/s), veröffentlichte Performancebenchmarks.