Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
NVIDIA

Llama-3.1-Nemotron-Nano-4B-v1.14.5B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense4.5B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

AMD Radeon RX 7900 XTXAlle GPUs
Generation419,4 tok/s
Min 33,8Ø 197,9Max 495,5
Ueber dem Durchschnitt · 98 Systeme im Feld
Prefill11.855 tok/s
Min 638Ø 4.111Max 19.609
Ueber dem Durchschnitt · 98 Systeme im Feld
Time to First Token457 ms
Min 181Ø 4.807Max 31.124
Ueber dem Durchschnitt · 98 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

4614404193983778.2198.5698.9199.268Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 419,4 tok/s Generation, 8.744 tok/s Prefill, TTFT 1.556 ms (6 Laufe)AMD Radeon RX 7900 XTX
AMD Radeon RX 7900 XTX 419,4 tok/s

CPUnach Prozessor

4614404193983778.2198.5698.9199.268Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 419,4 tok/s Generation, 8.744 tok/s Prefill, TTFT 1.556 ms (6 Laufe)AMD Ryzen Threadrippe...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 419,4 tok/s

ENGnach Engine

4614404193983778.2198.5698.9199.268Prefill (tok/s)Generation (tok/s)llama.cpp - 419,4 tok/s Generation, 8.744 tok/s Prefill, TTFT 1.556 ms (6 Laufe)llama.cpp
llama.cpp 419,4 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
419,38 tok/s TG
Prefill 11.768 · TTFT 2.673 ms
10×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
2Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
418,31 tok/s TG
Prefill 11.855 · TTFT 2.651 ms
10×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ8_0Details →
3Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
318,18 tok/s TG
Prefill 9.348 · TTFT 1.524 ms
5×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
4Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
294,88 tok/s TG
Prefill 9.401 · TTFT 1.516 ms
5×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ8_0Details →
5Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
139,33 tok/s TG
Prefill 4.729 · TTFT 517 ms
1×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
6Llama-3.1-Nemotron-Nano-4B-v1.14.5BNVIDIA PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
110,40 tok/s TG
Prefill 5.361 · TTFT 457 ms
1×AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ8_0Details →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.