Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
NVIDIA

NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120B

Benchmarkprofil und veröffentlichte Ergebnisse.

MoE120B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation EditionAlle GPUs
Generation1.562,3 tok/s
Min 0,0Ø 235,6Max 2.491,2
Ueber dem Durchschnitt · 4705 Systeme im Feld
Prefill3.760 tok/s
Min 4Ø 4.785Max 112.346
Unter dem Durchschnitt · 4696 Systeme im Feld
Time to First Token1.294 ms
Min 20Ø 32.984Max 535.235
Ueber dem Durchschnitt · 4703 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

2.0151.5111.0075040,01.7572.2192.6813.144Prefill (tok/s)Generation (tok/s)NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 1.562,3 tok/s Generation, 2.065 tok/s Prefill, TTFT 17.642 ms (3 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA GB10 - 79,8 tok/s Generation, 2.835 tok/s Prefill, TTFT 3.577 ms (3 Laufe)NVIDIA GB10
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.562,3 tok/sNVIDIA GB10 79,8 tok/s

CPUnach Prozessor

2.0151.5111.0075040,01.7572.2192.6813.144Prefill (tok/s)Generation (tok/s)AMD Ryzen 9 7945HX with Radeon Graphics - 1.562,3 tok/s Generation, 2.065 tok/s Prefill, TTFT 17.642 ms (3 Laufe)AMD Ryzen 9 7945HX wi...NVIDIA Grace - 79,8 tok/s Generation, 2.835 tok/s Prefill, TTFT 3.577 ms (3 Laufe)NVIDIA Grace
AMD Ryzen 9 7945HX with Radeon Graphics 1.562,3 tok/sNVIDIA Grace 79,8 tok/s

ENGnach Engine

1.7181.6401.5621.4841.4062.3032.4012.4992.597Prefill (tok/s)Generation (tok/s)vLLM - 1.562,3 tok/s Generation, 2.450 tok/s Prefill, TTFT 10.610 ms (6 Laufe)vLLM
vLLM 1.562,3 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
1.562,27 tok/s TG
Prefill 2.593 · TTFT 34.854 ms
10×NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition iAMD Ryzen 9 7945HX with Radeon Graphics · 60 GB RAMvLLMgodclawNVFP4Details →
2NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
795,03 tok/s TG
Prefill 2.378 · TTFT 15.951 ms
5×NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition iAMD Ryzen 9 7945HX with Radeon Graphics · 60 GB RAMvLLMgodclawNVFP4Details →
3NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
158,32 tok/s TG
Prefill 1.225 · TTFT 2.121 ms
1×NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition iAMD Ryzen 9 7945HX with Radeon Graphics · 60 GB RAMvLLMgodclawNVFP4Details →
4NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
79,84 tok/s TG
Prefill 3.760 · TTFT 5.878 ms
10×NVIDIA GB10 (DGX Spark) iNVIDIA Grace · 120 GB RAMvLLMgodclawNVFP4Details →
5NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
54,14 tok/s TG
Prefill 3.027 · TTFT 3.561 ms
5×NVIDIA GB10 (DGX Spark) iNVIDIA Grace · 120 GB RAMvLLMgodclawNVFP4Details →
6NVIDIA-Nemotron-3.5-Super-VL-120B-A12B120BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
20,44 tok/s TG
Prefill 1.717 · TTFT 1.294 ms
1×NVIDIA GB10 (DGX Spark) iNVIDIA Grace · 120 GB RAMvLLMgodclawNVFP4Details →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.