# LLM-Benchmark Konfiguration # Modell : NVIDIA-Nemotron-3.5-Lightning-30B-A3B # Engine : llama.cpp # Run-ID : run-20261024-130444-421699 # GPU : NVIDIA RTX SPARK (N1X) # CPU : NVIDIA RTX Spark N1X (6144-core GPU, 20-core CPU) # RAM : 128 GB bench@llm-benchmark:~$ 'C:\Users\mail\.lmstudio\extensions\backends\llama.cpp-win-arm64-nvidia-cuda13-2.61.0\llama-server.exe' \ --model 'C:\Users\mail\Documents\Codex\2026-10-24\mach\work\models\NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_0.gguf' \ --alias benchmark-local \ --host 127.0.0.1 \ --port 18764 \ --device CUDA0 \ --gpu-layers all \ --ctx-size 8192 \ --parallel 1 \ --threads 20 \ --threads-batch 20 \ --batch-size 1024 \ --ubatch-size 256 \ --flash-attn on \ --fit on \ --fit-unified-limit 107656 \ --fit-device-limit 61522 \ --no-cache-prompt \ --no-cache-idle-slots \ --cache-ram 0 \ --spec-type none \ --metrics

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	Nemotron-3.5-Lightning-30B-A3B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	8192
Batch-Groesse?Logische Batchgroesse fuer die Prompt-Verarbeitung (Anzahl Token pro Prefill-Durchlauf).	1024
cache-ram	0
device	CUDA0
fit	on
fit-device-limit	61522
fit-unified-limit	107656
Flash Attention?FlashAttention fuer schnellere und speichersparende Attention. Wert on/off/auto je nach Build.	on
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.	all
metrics	aktiv
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.	C:\Users\mail\Documents\Codex\2026-10-24\mach\work\models\NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_0.gguf
no-cache-idle-slots	aktiv
no-cache-prompt	aktiv
Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt.	1
spec-type	none
Threads?Anzahl CPU-Threads fuer die Token-Generierung (Decode).	20
Batch-Threads?Anzahl CPU-Threads fuer Prompt-Verarbeitung und Batch (Prefill).	20
Micro-Batch?Physische Micro-Batchgroesse. Begrenzt, wie viele Token gleichzeitig durch die Compute-Pipeline laufen.	256
execution_type	local

All benchmarks of this model To leaderboard

Model comparison

NVIDIA-Nemotron-3.5-Lightning-30B-A3B on various hardware

All published performance runs of this model – each bubble a variant: position = prefill (X) × generation (Y), bubble size = number of runs. Closer to the top right = faster. ★ Marked gold = this benchmark.

GPUby graphics card

NVIDIA GeForce RTX 3090 Ti 2.263,7 tok/sAMD Radeon AI PRO R9700 290,3 tok/s★ NVIDIA RTX SPARK (N1X) 146,9 tok/s this runNVIDIA GeForce RTX 3090 140,0 tok/sNVIDIA DGX SPARK (GB10) 136,6 tok/s

CPUby processor

AMD Ryzen 5 5600X 6-Core Processor 2.263,7 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 290,3 tok/sAMD Ryzen 3 3100 4-Core Processor 283,5 tok/s★ NVIDIA RTX Spark N1X (6144-core GPU, 20-core CPU) 146,9 tok/s this runNVIDIA Grace 136,6 tok/s

MBby mainboard

ASUSTeK COMPUTER INC. PRIME A520M-K 2.263,7 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 290,3 tok/sASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 283,5 tok/s★ ASUS H7607BA 146,9 tok/s this runASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 140,0 tok/sASUSTeK COMPUTER INC. GX10 136,6 tok/s

ENGby engine

vLLM 2.263,7 tok/s★ llama.cpp 286,2 tok/s this run

DRVby driver

unbekannt 2.263,7 tok/sNVIDIA 590.48.01 / CUDA 13.1 136,6 tok/s

💰 Economics

Economics of this run

Operating cost, TCO and comparison with the next-best runs of the same model at identical concurrency (1× concurrent). Methodology →

⚙️ ConfigurationAll metrics and charts below follow these settings – based on a 24-month runtime.Save to URL Reset

⚡ Electricity price EUR/kWh

⚙️ System utilization 100 %

🔌 Idle 0 W

⚡ TDP 10 W

☁️ External LLM (API) show

Input €/1M Output €/1M Input per output token

Electricity0.30 EUR/kWh

Avg power (incl. idle)0 W missing

Avg cost / hour–

Electricity / 1M tokens–

Token / kWh–

Acquisition (system)– missing

Electricity (2 years)–

TCO (2 years)–

Output tokens (2 years)4.55B

☁️ External LLM (API) – comparison

External LLM cost (2 years)–

Savings vs. external (2 years)–

No power draw measured – values estimated from GPU TDP + CPU (idle + 15 %) + board.

All values above and the charts below take the configured system utilization into account: at X% the system generates only X% of the time, the rest it idles (0 W). Cost per hour drops (more idle), cost per token rises.

Cost over 2 years – electricity only

Cost over 2 years – incl. acquisition (TCO)

Speed vs. tokens per euro

Euro per 1M tokens

Comparison vs. API – economics per benchmark

	NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA RTX SPARK (N1X)	NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 Ti	NVIDIA-Nemotron-3.5-Lightning-30B-A3BAMD Radeon AI PRO R9700	NVIDIA-Nemotron-3.5-Lightning-30B-A3BAMD Radeon AI PRO R9700
Electricity cost (24 mo.)	–	–	–	–
Acquisition cost	–	–	–	–
Total cost (TCO)	–	–	–	–
Generated tokens (24 mo.)	–	–	–	–
Token price via API	–	–	–	–
Break-even point (days)	–	–	–	–
Result (savings / extra cost)	–	–	–	–

NVIDIA RTX SPARK (N1X) · this run 72 tok/s NVIDIA GeForce RTX 3090 Ti 227 tok/s AMD Radeon AI PRO R9700 121 tok/s AMD Radeon AI PRO R9700 114 tok/s

Comparison with up to 3 next-best runs of this model at the same concurrency (at least one on different hardware). Power = GPU TDP + CPU (idle + 15 %) + board (estimated), acquisition = full system (GPU + CPU + board + RAM + PSU), prices = stored market prices.

Contributed by

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.