Contributed byMario AlkaNVIDIA NVIDIA-Nemotron-3.5-Lightning-30B-A3B
Performance benchmark · measured on 24.10.2026 16:44
Benchmark-ID
run-20261024-151236-012a77Timebench 3 - Kombi (Prefill + Generation)MoE31.6BRuntime: llama.cppQuantisierung: Q4_0
Generation146,86tok/s
Prefill2.805,87tok/s
Time to First Token12.190,70ms
Total duration288,74s
Concurrency10parallel
Ranking in the field
2of 5 systems
Performance benchmark · Primary metric: Generation-Speed (tok/s) · 10× concurrent
This run is better than 75 % of all comparable systems.
Generation
146,9 tok/s
+4 % vs Ø 141,6
Prefill
2.805,9 tok/s
-31 % vs Ø 4.039,0
Time to First Token
12.191 ms
-9 % vs Ø 13.440
Distribution in the field107 – 200 tok/s
Wie schlägt sich dieser Benchmark mit anderen Modellen?
gpt-oss-20bNVIDIA RTX SPARK (N1X) · run-20261024-143953-960b0f
200,5 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3B this runNVIDIA RTX SPARK (N1X) · run-20261024-151236-012a77
146,9 tok/s
Qwen3.6-35B-A3BNVIDIA RTX SPARK (N1X) · run-20261024-151250-9bd2f2
142,0 tok/s
gpt-oss-120bNVIDIA RTX SPARK (N1X) · run-20261024-143953-835e9c
111,9 tok/s
Qwen3-30B-A3B-Thinking-2507NVIDIA RTX SPARK (N1X) · run-20261024-143953-8a2647
107,0 tok/s
How does this benchmark compare on other GPUs?
Same model on different hardware · 10× concurrent · Generation (tok/s)
NVIDIA GeForce RTX 3090 Tirun-20261021-093815-dce558
2.263,7 tok/s
4× AMD Radeon AI PRO R9700run-20260817-212317-738779
290,3 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060242-1f2065
286,2 tok/s
AMD Radeon AI PRO R9700run-20260922-123035-b988d2
283,5 tok/s
4× AMD Radeon AI PRO R9700run-20260814-053558-05688d
278,0 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060243-d72231
273,6 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060243-d91f24
270,4 tok/s
4× AMD Radeon AI PRO R9700run-20260814-053558-dc190b
247,1 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060243-27aab8
244,0 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060243-a3e3b1
241,8 tok/s
NVIDIA RTX SPARK (N1X) this runrun-20261024-151236-012a77
146,9 tok/s
NVIDIA GeForce RTX 3090run-20261024-090453-f3a9ca
140,0 tok/s
NVIDIA DGX SPARK (GB10)run-20261024-122729-414d0c
136,6 tok/s
4× AMD Radeon AI PRO R9700run-20260815-060242-c7ee36
127,4 tok/s
Hardware
GPU: NVIDIA RTX SPARK (N1X)
CPU: NVIDIA RTX Spark N1X (6144-core GPU, 20-core CPU)
RAM: 128 GB
Mainboard: ASUS H7607BA
Setup
Runtime: llama.cpp
Quantization: Q4_0
Model: NVIDIA-Nemotron-3.5-Lightning-30B-A3B
Configuration
# LLM-Benchmark Konfiguration
# Modell : NVIDIA-Nemotron-3.5-Lightning-30B-A3B
# Engine : llama.cpp
# Run-ID : run-20261024-151236-012a77
# GPU : NVIDIA RTX SPARK (N1X)
# CPU : NVIDIA RTX Spark N1X (6144-core GPU, 20-core CPU)
# RAM : 128 GB
bench@llm-benchmark:~$ 'C:\Users\mail\.lmstudio\extensions\backends\llama.cpp-win-arm64-nvidia-cuda13-2.61.0\llama-server.exe' \
--model 'C:\Users\mail\Documents\Codex\2026-10-24\mach\work\models\NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_0.gguf' \
--alias benchmark-local \
--host 127.0.0.1 \
--port 18765 \
--device CUDA0 \
--gpu-layers all \
--parallel 10 \
--kv-unified \
--kv-unified-per-slot 4096 \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--threads 20 \
--threads-batch 20 \
--batch-size 1024 \
--ubatch-size 256 \
--flash-attn on \
--fit off \
--no-cache-prompt \
--no-cache-idle-slots \
--cache-ram 0 \
--spec-type none \
--metrics \
--slots
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | llamacpp |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Nemotron-3.5-Lightning-30B-A3B |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 4096 |
| Batch-Groesse?Logische Batchgroesse fuer die Prompt-Verarbeitung (Anzahl Token pro Prefill-Durchlauf). | 1024 |
| cache-ram | 0 |
| K-Cache-Typ?Datentyp des K-Anteils im KV-Cache (f16/q8_0/q4_0 ...). Quantisiert senkt den VRAM-Bedarf bei leichtem Qualitaetsverlust. | q8_0 |
| V-Cache-Typ?Datentyp des V-Anteils im KV-Cache (f16/q8_0/q4_0 ...). Quantisierung braucht meist aktiviertes flash-attn. | q8_0 |
| device | CUDA0 |
| fit | off |
| Flash Attention?FlashAttention fuer schnellere und speichersparende Attention. Wert on/off/auto je nach Build. | on |
| GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU. | all |
| kv-unified | aktiv |
| kv-unified-per-slot | 4096 |
| metrics | aktiv |
| Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird. | C:\Users\mail\Documents\Codex\2026-10-24\mach\work\models\NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_0.gguf |
| no-cache-idle-slots | aktiv |
| no-cache-prompt | aktiv |
| Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt. | 10 |
| slots | aktiv |
| spec-type | none |
| Threads?Anzahl CPU-Threads fuer die Token-Generierung (Decode). | 20 |
| Batch-Threads?Anzahl CPU-Threads fuer Prompt-Verarbeitung und Batch (Prefill). | 20 |
| Micro-Batch?Physische Micro-Batchgroesse. Begrenzt, wie viele Token gleichzeitig durch die Compute-Pipeline laufen. | 256 |
| execution_type | local |
Anzeige
Model comparison
NVIDIA-Nemotron-3.5-Lightning-30B-A3B on various hardware
All published performance runs of this model – each bubble a variant: position = prefill (X) × generation (Y), bubble size = number of runs. Closer to the top right = faster. ★ Marked gold = this benchmark.
GPUby graphics card
CPUby processor
MBby mainboard
DRVby driver
unbekannt 2.263,7 tok/sNVIDIA 590.48.01 / CUDA 13.1 136,6 tok/s
💰 Economics
Economics of this run
Operating cost, TCO and comparison with the next-best runs of the same model at identical concurrency (10× concurrent). Methodology →
⚙️ ConfigurationAll metrics and charts below follow these settings – based on a 24-month runtime.Save to URLReset
⚡ Electricity price
EUR/kWh
⚙️ System utilization
100 %
🔌 Idle
0 W
⚡ TDP
10 W
☁️ External LLM (API)
Electricity0.30 EUR/kWh
Avg power (incl. idle)0 W missing
Avg cost / hour–
Electricity / 1M tokens–
Token / kWh–
Acquisition (system)– missing
Electricity (2 years)–
TCO (2 years)–
Output tokens (2 years)9.26B
☁️ External LLM (API) – comparison
External LLM cost (2 years)–
Savings vs. external (2 years)–
No power draw measured – values estimated from GPU TDP + CPU (idle + 15 %) + board.
All values above and the charts below take the configured system utilization into account: at X% the system generates only X% of the time, the rest it idles (0 W). Cost per hour drops (more idle), cost per token rises.
Cost over 2 years – electricity only
Cost over 2 years – incl. acquisition (TCO)
Speed vs. tokens per euro
Euro per 1M tokens
Comparison vs. API – economics per benchmark
| NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA RTX SPARK (N1X) | NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 Ti | NVIDIA-Nemotron-3.5-Lightning-30B-A3BAMD Radeon AI PRO R9700 | NVIDIA-Nemotron-3.5-Lightning-30B-A3BAMD Radeon AI PRO R9700 | |
|---|---|---|---|---|
| Electricity cost (24 mo.) | – | – | – | – |
| Acquisition cost | – | – | – | – |
| Total cost (TCO) | – | – | – | – |
| Generated tokens (24 mo.) | – | – | – | – |
| Token price via API | – | – | – | – |
| Break-even point (days) | – | – | – | – |
| Result (savings / extra cost) | – | – | – | – |
NVIDIA RTX SPARK (N1X) · this run 147 tok/sNVIDIA GeForce RTX 3090 Ti 2,264 tok/sAMD Radeon AI PRO R9700 290 tok/sAMD Radeon AI PRO R9700 286 tok/s
Comparison with up to 3 next-best runs of this model at the same concurrency (at least one on different hardware). Power = GPU TDP + CPU (idle + 15 %) + board (estimated), acquisition = full system (GPU + CPU + board + RAM + PSU), prices = stored market prices.
Contributed by
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.