Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beta
NVIDIA

NVIDIA-Nemotron-3-Nano-4B

Performancebenchmark · gemessen am 22.07.2026 20:37

Benchmark-IDrun-20260723-015518-1486fe
Timebench 3 - Kombi (Prefill + Generation)Dense4BRuntime: llama.cppQuantisierung: Q4_K_M
Generation0,25tok/s
Prefill75,20tok/s
Time to First Token202.135,00ms
Gesamtdauer600,00s
Concurrency10parallel
Einordnung im Feld
218von 218 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 0 % aller vergleichbaren Systeme.
Generation 0,3 tok/s
-100 % vs Ø 67,4
Prefill 75,2 tok/s
-97 % vs Ø 2.695,8
Time to First Token 202.135 ms
+1.076 % vs Ø 17.187
Verteilung im Feld0 – 341 tok/s
Ø 67 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

Hardware

GPU: Keine GPU (CPU-only)
CPU: 51x Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz
RAM: 504 GB
Mainboard: Dell Inc. PowerEdge R820

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Betriebssystem: Ubuntu 24.04.3 LTS (Kernel 7.0.0-28-generic)
Modell: NVIDIA-Nemotron-3-Nano-4B

Konfiguration

benchmark-konfiguration — run-20260723-015518-1486fe
# LLM-Benchmark Konfiguration # Modell : NVIDIA-Nemotron-3-Nano-4B # Engine : llama.cpp # Run-ID : run-20260723-015518-1486fe # GPU : Keine GPU (CPU-only) # CPU : 51x Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz # RAM : 504 GB bench@llm-benchmark:~$ /opt/llama.cpp/build/bin/llama-server \ -m /opt/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \ --host 10.220.231.216 \ --port 8081 \ --numa distribute \ -t 64 \ -tb 64 \ -c 8192
Enginellamacpp
Kontextlaenge8192
Modellpfad/opt/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
NUMAdistribute
Threads64
Batch-Threads64
Kontext8192

Alle Benchmarks dieses Modells Zum Leaderboard