ℹ

Zur Einordnung: Teile des Modells wurden per --cpu-offload-gb=32 GB in den System-RAM ausgelagert – RAM wird als erweiterter VRAM genutzt, was den Durchsatz senken kann.

Generation7,01tok/s

Prefill440,89tok/s

Time to First Token4.837,00ms

Gesamtdauer301,94s

Concurrency1parallel

Einordnung im Feld

Diese GPU Alle GPUs

1417von 1654 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 1× parallel

Dieser Lauf ist besser als 14 % aller vergleichbaren Systeme.

Generation 7,0 tok/s

-91 % vs Ø 78,7

Prefill 440,9 tok/s

-84 % vs Ø 2.838,4

Time to First Token 4.837 ms

-81 % vs Ø 26.022

Verteilung im Feld0 – 405 tok/s

Ø 79 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260724-004608-16af9b

404,6 tok/s

gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260730-035052-9f766a

395,2 tok/s

Nemotron-3-Nano-4BNVIDIA GeForce RTX 5090 · run-20260728-194135-d456e7

393,5 tok/s

Nemotron-3-Nano-4BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181607-bffb11

393,5 tok/s

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260724-004607-29bd16

388,9 tok/s

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260729-032121-1c779f

388,2 tok/s

gemma-4-E2B-itNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181606-6ea089

378,6 tok/s

gemma-4-E2B-itNVIDIA GeForce RTX 5090 · run-20260728-184455-e8b129

377,6 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-ac388e

362,3 tok/s

Nemotron-3-Nano-4B3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-5e5085

361,4 tok/s

Nemotron-3-Nano-30B-A3BNVIDIA GeForce RTX 5090 · run-20260729-105335-653788

359,4 tok/s

Nemotron-3-Nano-Omni-30B-A3B-ReasoningNVIDIA GeForce RTX 5090 · run-20260729-105334-2c4905

359,3 tok/s

Nemotron-Cascade-2-30B-A3BNVIDIA GeForce RTX 5090 · run-20260729-105334-44d1e7

359,0 tok/s

Nemotron-3-Nano-Omni-30B-A3B-ReasoningNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032119-4852bf

357,1 tok/s

GLM-4.5-Air dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260924-124207-5b0327

7,0 tok/s

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 1× parallel · Generation (tok/s)

NVIDIA RTX PRO 6000 Blackwell Workstation Editionrun-20260728-034053-a9943a

125,2 tok/s

3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-032119-b49dd6

115,0 tok/s

3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260727-193100-3c7cde

114,9 tok/s

3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-032118-ea6a1d

107,9 tok/s

3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-032119-e24445

106,9 tok/s

2× NVIDIA RTX A6000run-20260830-061629-0104e8

90,6 tok/s

2× NVIDIA RTX A6000run-20260827-224816-4ab9b8

84,4 tok/s

2× AMD Radeon PRO W7900 Dual Slotrun-20260818-073335-70eea7

44,2 tok/s

3× AMD Radeon AI PRO R9700run-20260722-165908-d4fe52

32,9 tok/s

3× AMD Radeon AI PRO R9700run-20260722-165909-49350e

32,9 tok/s

AMD Radeon PRO W7900 Dual Slotrun-20260817-163914-16b78b

15,7 tok/s

2× AMD Radeon PRO W7900 Dual Slotrun-20260818-080548-ece3de

11,2 tok/s

NVIDIA GeForce RTX 5070 Tirun-20260727-125308-0c484e

9,9 tok/s

3× AMD Radeon AI PRO R9700run-20260722-165909-33832d

9,1 tok/s

Hardware

GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)

Setup

Runtime: vLLM
Quantisierung: FP8
Modell: GLM-4.5-Air

Konfiguration

benchmark-konfiguration — run-20260924-124207-5b0327

# LLM-Benchmark Konfiguration # Modell : GLM-4.5-Air # Engine : vLLM # Run-ID : run-20260924-124207-5b0327 # GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition # CPU : AMD Ryzen 9 7945HX with Radeon Graphics # RAM : 60 GB bench@llm-benchmark:~$ docker vllm/vllm-openai serve GLM-4.5-Air-FP8 \ --served-model-name GLM-4.5-Air \ --gpu-memory-utilization 0.90 \ --max-model-len 16384 \ --max-num-seqs 12 \ --cpu-offload-gb 32 '(NVIDIA' RTX PRO 6000 Blackwell '96GB)'

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	GLM-4.5-Air
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	16384
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	GLM-4.5-Air
GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'.	0.90
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	16384
Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher.	12
cpu-offload-gb?Menge an Modellgewichten in GiB, die in den CPU-RAM ausgelagert wird. Ermoeglicht groessere Modelle als der GPU-Speicher fasst, kostet aber Geschwindigkeit.	32

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

GLM-4.5-Air auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

NVIDIA RTX PRO 6000 Blackwell Workstation Edition 661,8 tok/s★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 615,3 tok/s dieser LaufNVIDIA RTX A6000 276,5 tok/sAMD Radeon AI PRO R9700 104,1 tok/sAMD Radeon PRO W7900 Dual Slot 99,5 tok/sNVIDIA GeForce RTX 3090 Ti 20,8 tok/sNVIDIA GeForce RTX 5070 Ti 9,9 tok/sNVIDIA GeForce RTX 5090 6,2 tok/sNVIDIA GeForce RTX 2060 4,2 tok/sCPU-only 2,1 tok/s

CPUnach Prozessor

AMD Ryzen 9 9950X 16-Core Processor 661,8 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 615,3 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 276,5 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 99,5 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 20,8 tok/s★ AMD Ryzen 9 7945HX with Radeon Graphics 18,8 tok/s dieser LaufAMD Ryzen 7 5800X3D 8-Core Processor 6,2 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 4,2 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 2,1 tok/s

MBnach Mainboard

ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 661,8 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 615,3 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 99,5 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 20,8 tok/s★ Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 18,8 tok/s dieser LaufASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 6,2 tok/sDell Inc. PowerEdge R820 4,2 tok/s

ENGnach Engine

llama.cpp 661,8 tok/s★ vLLM 276,5 tok/s dieser Laufunbekannt 32,9 tok/s

DRVnach Treiber

unbekannt 661,8 tok/sAMD 7.0.0-27-generic 32,9 tok/s

💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (1× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmen Zurücksetzen

⚡ Strompreis EUR/kWh

⚙️ System-Auslastung 100 %

🖥️ Anschaffung EUR

🔌 Idle 30 W

⚡ TDP 300 W

☁️ Externes LLM (API) anzeigen

Input €/1M Output €/1M Input je Output-Token

Strompreis0,30 EUR/kWh

Ø-Leistung (inkl. Idle)300 W geschätzt (TDP)GPU 300 W Volllast

Ø-Kosten / Stunde0,090 EUR

Strom / 1 Mio. Token3,57 EUR

Token / kWh84,12 Tsd.

Anschaffung (System)13.120 EUR TeilpreisGPU 13.000 EUR · Netzteil 120 EUR

Stromkosten (2 Jahre)–

TCO (2 Jahre)14.697 EUR

Output-Token (2 Jahre)442,13 Mio.

☁️ Externes LLM (API) – Vergleich

Externe LLM-Kosten (2 Jahre)–

Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (30 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

	GLM-4.5-AirNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition	GLM-4.5-AirNVIDIA RTX PRO 6000 Blackwell Workstation Edition	GLM-4.5-Air3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition	GLM-4.5-Air3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
Kosten Strom (24 Mon.)	–	–	–	–
Kosten Anschaffung	–	–	–	–
Kosten Gesamt (TCO)	–	–	–	–
Generierte Token (24 Mon.)	–	–	–	–
Tokenpreis bei API	–	–	–	–
Break-Even-Point (Tage)	–	–	–	–
Ergebnis (Ersparnis / Ausgabe)	–	–	–	–

NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · dieser Lauf 7 tok/s NVIDIA RTX PRO 6000 Blackwell Workstation Edition 125 tok/s 3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 115 tok/s 3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 115 tok/s

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.