ℹ

Zur Einordnung: Teile des Modells wurden per --cpu-offload-gb=80 GB in den System-RAM ausgelagert – RAM wird als erweiterter VRAM genutzt, was den Durchsatz senken kann.

Generation1.608,46tok/s

Prefill31.451,56tok/s

Time to First Token1.632,50ms

Gesamtdauer16,69s

Concurrency10parallel

Einordnung im Feld

Diese GPU Alle GPUs

55von 1205 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 10× parallel

Dieser Lauf ist besser als 96 % aller vergleichbaren Systeme.

Generation 1.608,5 tok/s

+255 % vs Ø 452,5

Prefill 31.451,6 tok/s

+379 % vs Ø 6.563,7

Time to First Token 1.633 ms

-97 % vs Ø 46.854

Verteilung im Feld0 – 2.491 tok/s

Ø 452 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

gemma-4-E2B-it gleiches ModellNVIDIA GeForce RTX 5090 · run-20260728-184455-e28775

2.491,2 tok/s

gemma-4-E2B-it gleiches ModellNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181606-b37ed9

2.414,4 tok/s

Nemotron-3-Nano-4BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181607-4cca42

2.182,7 tok/s

gemma-4-E2B-it gleiches Modell3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-184456-d87c73

2.143,6 tok/s

gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260730-035052-9c966e

1.995,4 tok/s

gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260728-140954-8007c4

1.993,5 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-0aed86

1.937,7 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-8db0fa

1.911,6 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260727-181606-e0eafd

1.897,0 tok/s

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260729-032121-7c961d

1.890,7 tok/s

Nemotron-3-Nano-4BNVIDIA GeForce RTX 5090 · run-20260728-194135-2ed9dd

1.878,7 tok/s

gpt-oss-20b3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-034052-26063b

1.835,7 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-a77046

1.830,3 tok/s

gpt-oss-20b3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-032121-c6e7e0

1.819,5 tok/s

gemma-4-E2B-it dieser LaufNVIDIA GeForce RTX 5070 Ti · run-20260727-032758-bb6a92

1.608,5 tok/s

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 10× parallel · Generation (tok/s)

NVIDIA GeForce RTX 5090run-20260728-184455-e28775

2.491,2 tok/s

NVIDIA RTX PRO 6000 Blackwell Workstation Editionrun-20260727-181606-b37ed9

2.414,4 tok/s

3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260728-184456-d87c73

2.143,6 tok/s

NVIDIA GeForce RTX 5070 Tirun-20260728-140953-875f2e

1.744,0 tok/s

NVIDIA GeForce RTX 5070 Tirun-20260727-090152-d5613d

1.743,1 tok/s

NVIDIA GeForce RTX 5070 Ti dieser Laufrun-20260727-032758-bb6a92

1.608,5 tok/s

2× NVIDIA RTX A6000run-20260829-102814-5fd238

1.568,0 tok/s

NVIDIA GeForce RTX 3090 Tirun-20260727-142111-067e7e

1.492,8 tok/s

2× NVIDIA RTX A6000run-20260827-073158-73b96c

1.359,1 tok/s

NVIDIA RTX A6000run-20260826-190954-c9d261

1.122,5 tok/s

NVIDIA GB10run-20260729-224611-cc3776

903,3 tok/s

NVIDIA GB10run-20260729-224610-32ded2

860,9 tok/s

Intel Arc Pro B70run-20260729-224611-0989d2

826,2 tok/s

AMD Radeon PRO W7800 48GBrun-20260828-123128-d94027

702,9 tok/s

Hardware

GPU: NVIDIA GeForce RTX 5070 Ti · 16 GB VRAM
CPU: AMD Ryzen Threadripper PRO 5975WX 32-Cores
RAM: 247 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI

Setup

Runtime: vLLM
Quantisierung: -
Modell: gemma-4-E2B-it

Konfiguration

benchmark-konfiguration — run-20260727-032758-bb6a92

# LLM-Benchmark Konfiguration # Modell : gemma-4-E2B-it # Engine : vLLM # Run-ID : run-20260727-032758-bb6a92 # GPU : NVIDIA GeForce RTX 5070 Ti # CPU : AMD Ryzen Threadripper PRO 5975WX 32-Cores # RAM : 247 GB bench@llm-benchmark:~$ /home/godcore/vllm-venv/bin/python3 /home/godcore/vllm-venv/bin/vllm serve google/gemma-4-E2B-it-qat-w4a16-ct \ --served-model-name gemma-4-E2B-it \ --tensor-parallel-size 1 \ --cpu-offload-gb 80 \ --chat-template /home/godcore/tmpl_gemma.jinja \ --dtype auto \ --max-model-len 8192 \ --gpu-memory-utilization 0.85 \ --trust-remote-code \ --host 0.0.0.0 \ --port 8000

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	gemma-4-E2B-it
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	8192
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	gemma-4-E2B-it
Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3).	1
cpu-offload-gb?Menge an Modellgewichten in GiB, die in den CPU-RAM ausgelagert wird. Ermoeglicht groessere Modelle als der GPU-Speicher fasst, kostet aber Geschwindigkeit.	80
chat-template?Jinja-Vorlage, die Chat-Nachrichten in den Prompt-Text des Modells umwandelt. Noetig, wenn das Modell keine eigene mitbringt.	/home/godcore/tmpl_gemma.jinja
Dtype?Zahlenformat der Modellgewichte bei der Berechnung (z.B. auto, float16, bfloat16). 'auto' waehlt automatisch das vom Modell empfohlene Format.	auto
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	8192
GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'.	0.85

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

gemma-4-E2B-it auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

NVIDIA GeForce RTX 5090 2.491,2 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 2.414,4 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 2.143,6 tok/s★ NVIDIA GeForce RTX 5070 Ti 1.744,0 tok/s dieser LaufNVIDIA RTX A6000 1.568,0 tok/sNVIDIA GeForce RTX 3090 Ti 1.492,8 tok/sNVIDIA GB10 (DGX Spark) 903,3 tok/sIntel Arc Pro B70 826,2 tok/sAMD Radeon PRO W7800 48GB 702,9 tok/sTesla V100-PCIE-32GB 361,8 tok/sNVIDIA GeForce RTX 2060 15,3 tok/s

CPUnach Prozessor

AMD Ryzen 7 5800X3D 8-Core Processor 2.491,2 tok/sAMD Ryzen 9 9950X 16-Core Processor 2.414,4 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 2.143,6 tok/s★ AMD Ryzen Threadripper PRO 5975WX 32-Cores 1.744,0 tok/s dieser LaufAMD Ryzen Threadripper PRO 7955WX 16-Cores 1.568,0 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 1.492,8 tok/sNVIDIA Grace 903,3 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 826,2 tok/sAMD Ryzen 5 5600X 6-Core Processor 451,1 tok/sAMD Ryzen 3 PRO 3200GE w/ Radeon Vega Graphics 361,8 tok/sIntel(R) Core(TM) i5-7400 CPU @ 3.00GHz 15,3 tok/s

MBnach Mainboard

ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 2.491,2 tok/sASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 2.414,4 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 2.143,6 tok/s★ ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 1.744,0 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 1.492,8 tok/sASUSTeK COMPUTER INC. GX10 903,3 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 826,2 tok/sASUSTeK COMPUTER INC. PRIME A520M-K 451,1 tok/sASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 361,8 tok/sASRock H110 Pro BTC+ 15,3 tok/s

ENGnach Engine

llama.cpp 2.491,2 tok/s★ vLLM 1.608,5 tok/s dieser Lauf

DRVnach Treiber

unbekannt 2.491,2 tok/sNVIDIA 590.48.01 / CUDA 13.1 903,3 tok/sIntel 26.18.38308.4 826,2 tok/s

💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (10× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmen Zurücksetzen

⚡ Strompreis EUR/kWh

⚙️ System-Auslastung 100 %

🖥️ Anschaffung EUR

🔌 Idle 10 W

⚡ TDP 310 W

☁️ Externes LLM (API) anzeigen

Input €/1M Output €/1M Input je Output-Token

Strompreis0,30 EUR/kWh

Ø-Leistung (inkl. Idle)310 W geschätzt (TDP)GPU 300 + Board 10 W Volllast

Ø-Kosten / Stunde0,093 EUR

Strom / 1 Mio. Token0,016 EUR

Token / kWh18,68 Mio.

Anschaffung (System)5.000 EUR TeilpreisGPU 994 EUR · CPU 1.880 EUR · RAM 1.976 EUR · Netzteil 150 EUR

Stromkosten (2 Jahre)–

TCO (2 Jahre)6.629 EUR

Output-Token (2 Jahre)101,45 Mrd.

☁️ Externes LLM (API) – Vergleich

Externe LLM-Kosten (2 Jahre)–

Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (10 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

	gemma-4-E2B-itNVIDIA GeForce RTX 5070 Ti	gemma-4-E2B-itNVIDIA GeForce RTX 5090	gemma-4-E2B-itNVIDIA RTX PRO 6000 Blackwell Workstation Edition	gemma-4-E2B-it3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
Kosten Strom (24 Mon.)	–	–	–	–
Kosten Anschaffung	–	–	–	–
Kosten Gesamt (TCO)	–	–	–	–
Generierte Token (24 Mon.)	–	–	–	–
Tokenpreis bei API	–	–	–	–
Break-Even-Point (Tage)	–	–	–	–
Ergebnis (Ersparnis / Ausgabe)	–	–	–	–

NVIDIA GeForce RTX 5070 Ti · dieser Lauf 1.608 tok/s NVIDIA GeForce RTX 5090 2.491 tok/s NVIDIA RTX PRO 6000 Blackwell Workstation Edition 2.414 tok/s 3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 2.144 tok/s

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.