N
Hersteller
NVIDIA
Nemotron-Modellfamilie von NVIDIA.
Beste Token-Generierung
2.263,7 tok/s
Nemotron-3.5-Lightning-30B-A3B
Bester Prefill
44.171,1 tok/s
Nemotron-3-Nano-4B
∅ Token-Generierung
242,9 tok/s
Schnitt aus 620 Läufen
∅ Prefill
3.456,4 tok/s
Schnitt aus 620 Läufen
Bester TTFT
155 ms
Nemotron-3.5-Lightning-30B-A3B
Beste Harness-Quote
80%
Nemotron-Cascade-2-30B-A3B
🏆
Nemotron-3.5-Lightning-30B-A3B · schnellstes Modell mit 2.263,7 tok/s Token-Generierung
Bester Prefill des Herstellers: 44.171,1 tok/s (Nemotron-3-Nano-4B)
Bester Prefill des Herstellers: 44.171,1 tok/s (Nemotron-3-Nano-4B)
Top-Modelle nach Token-Generierung
Bester gemessener Generierungs-Durchsatz je Modell (tok/s), veröffentlichte Performancebenchmarks.
Modelle
Alle Benchmarks →14 zugeordnet
Llama-3.1-Nemotron-Nano-4B-v1.14.5B6 Läufe
283,4tok/s Ø
Min 110,4Max 419,4
Llama-3.1-Nemotron-Ultra-253B-v1253B53 Läufe
4,3tok/s Ø
Min 0,1Max 62,1
Llama-3.3-Nemotron-Super-49B-v1.549B49 Läufe
75,4tok/s Ø
Min 1,1Max 364,1
Nemotron-3-Nano-30B-A3B30B92 Läufe
336,9tok/s Ø
Min 0,3Max 1.773,5
Nemotron-3-Nano-4B4B67 Läufe
538,4tok/s Ø
Min 0,3Max 2.182,7
Nemotron-3-Nano-Omni-30B-A3B-Reasoning30B62 Läufe
401,9tok/s Ø
Min 31,4Max 1.791,5
Nemotron-3-Super-120B-A12B120B59 Läufe
81,4tok/s Ø
Min 1,9Max 600,9
Nemotron-3-Super-120B-A12B-Q8120B0 Läufe
Noch keine Performancedaten
Nemotron-3.5-Lightning-30B-A3B30B33 Läufe
280,7tok/s Ø
Min 50,7Max 2.263,7
Nemotron-Cascade-2-30B-A3B30B79 Läufe
359,4tok/s Ø
Min 0,3Max 1.768,1
Nemotron-H-47B-Reasoning-128K47B63 Läufe
45,1tok/s Ø
Min 1,1Max 203,5
Nemotron-Labs-3-Puzzle-75B-A9B75B0 Läufe
Noch keine Performancedaten
NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120B6 Läufe
445,0tok/s Ø
Min 20,4Max 1.562,3
OpenReasoning-Nemotron-32B32B53 Läufe
107,9tok/s Ø
Min 1,1Max 481,0