Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beigesteuert vonMarcel SommerGoogle

gemma4:31b

Performancebenchmark · gemessen am 03.08.2026 20:47

Benchmark-IDrun-20260804-052133-f1716d
Timebench 3 - Kombi (Prefill + Generation)Dense31BRuntime: openclaw_cli
Generation28,74tok/s
Prefill937,69tok/s
Time to First Token2.109,50ms
Gesamtdauer76,09s
Concurrency1parallel
Einordnung im Feld
1244von 1851 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 1× parallel

Dieser Lauf ist besser als 33 % aller vergleichbaren Systeme.
Generation 28,7 tok/s
-63 % vs Ø 77,9
Prefill 937,7 tok/s
-67 % vs Ø 2.847,6
Time to First Token 2.110 ms
-91 % vs Ø 24.622
Verteilung im Feld0 – 471 tok/s
Ø 78 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 1× parallel · Generation (tok/s)

Hardware

GPU: NVIDIA GeForce RTX 3090 Ti · 24 GB VRAM
CPU: AMD Ryzen 5 5600X 6-Core Processor
RAM: 30 GB
Mainboard: ASUSTeK COMPUTER INC. PRIME A520M-K

Setup

Runtime: openclaw_cli
Quantisierung: -
Modell: gemma4:31b

Konfiguration

benchmark-konfiguration — run-20260804-052133-f1716d
# LLM-Benchmark Konfiguration # Modell : gemma4:31b # Run-ID : run-20260804-052133-f1716d # GPU : NVIDIA GeForce RTX 3090 Ti # CPU : AMD Ryzen 5 5600X 6-Core Processor # RAM : 30 GB bench@llm-benchmark:~$ cat benchmark.conf execution_type local
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

gemma4:31b auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

22116611155,40,0433887331.078Prefill (tok/s)Generation (tok/s)AMD Radeon AI PRO R9700 - 24,4 tok/s Generation, 219 tok/s Prefill, TTFT 271 ms (8 Laufe)AMD Radeon AI PRO R97...NVIDIA GeForce RTX 3090 Ti - 174,1 tok/s Generation, 901 tok/s Prefill, TTFT 22.889 ms (6 Laufe) | DIESER LAUF★ NVIDIA GeForce RTX 30...
★ NVIDIA GeForce RTX 3090 Ti 174,1 tok/s dieser LaufAMD Radeon AI PRO R9700 24,4 tok/s

CPUnach Prozessor

22116611155,40,0433887331.078Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 7955WX 16-Cores - 24,4 tok/s Generation, 219 tok/s Prefill, TTFT 271 ms (8 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 5 5600X 6-Core Processor - 174,1 tok/s Generation, 901 tok/s Prefill, TTFT 22.889 ms (6 Laufe) | DIESER LAUF★ AMD Ryzen 5 5600X 6-C...
★ AMD Ryzen 5 5600X 6-Core Processor 174,1 tok/s dieser LaufAMD Ryzen Threadripper PRO 7955WX 16-Cores 24,4 tok/s

MBnach Mainboard

22116611155,40,0433887331.078Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 24,4 tok/s Generation, 219 tok/s Prefill, TTFT 271 ms (8 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. PRIME A520M-K - 174,1 tok/s Generation, 901 tok/s Prefill, TTFT 22.889 ms (6 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. PRIME A520M-K 174,1 tok/s dieser LaufASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 24,4 tok/s

ENGnach Engine

22116611155,40,0108319529740Prefill (tok/s)Generation (tok/s)unbekannt - 174,1 tok/s Generation, 628 tok/s Prefill, TTFT 13.842 ms (10 Laufe)unbekanntvLLM - 24,4 tok/s Generation, 219 tok/s Prefill, TTFT 271 ms (4 Laufe)vLLM
unbekannt 174,1 tok/svLLM 24,4 tok/s

DRVnach Treiber

22116611155,40,0108319529740Prefill (tok/s)Generation (tok/s)unbekannt - 174,1 tok/s Generation, 628 tok/s Prefill, TTFT 13.842 ms (10 Laufe)unbekanntAMD 7.0.0-27-generic - 24,4 tok/s Generation, 219 tok/s Prefill, TTFT 271 ms (4 Laufe)AMD 7.0.0-27-generic
unbekannt 174,1 tok/sAMD 7.0.0-27-generic 24,4 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (1× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 25 W
⚡ TDP 450 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)450 W geschätzt (TDP)GPU 450 W Volllast
Ø-Kosten / Stunde0,14 EUR
Strom / 1 Mio. Token1,30 EUR
Token / kWh229,92 Tsd.
Anschaffung (System)1.270 EUR TeilpreisGPU 999 EUR · CPU 121 EUR · Netzteil 150 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)3.635 EUR
Output-Token (2 Jahre)1,81 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (25 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

gemma4:31bNVIDIA GeForce RTX 3090 Tigemma4:31bNVIDIA GeForce RTX 3090 Tigemma4:31b2x AMD Radeon AI PRO R9700gemma4:31b2x AMD Radeon AI PRO R9700
Kosten Strom (24 Mon.)––––
Kosten Anschaffung––––
Kosten Gesamt (TCO)––––
Generierte Token (24 Mon.)––––
Tokenpreis bei API––––
Break-Even-Point (Tage)––––
Ergebnis (Ersparnis / Ausgabe)––––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Marcel Sommer

@marcelsommer