Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beigesteuert vonMario AlkaQwen (Alibaba)

Qwen3.6-27B

Performancebenchmark · gemessen am 28.07.2026 20:19

Benchmark-IDrun-20260729-032118-d71246
Timebench 3 - Kombi (Prefill + Generation)Dense27BRuntime: llama.cppQuantisierung: Q4_K_M
Generation288,04tok/s
Prefill3.367,78tok/s
Time to First Token6.270,50ms
Gesamtdauer71,48s
Concurrency5parallel
Einordnung im Feld
56von 81 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 5× parallel

Dieser Lauf ist besser als 31 % aller vergleichbaren Systeme.
Generation 288,0 tok/s
-44 % vs Ø 511,2
Prefill 3.367,8 tok/s
-57 % vs Ø 7.810,2
Time to First Token 6.271 ms
-80 % vs Ø 31.543
Verteilung im Feld0 – 1.349 tok/s
Ø 511 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

gemma-4-E2B-itNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181606-0adf6d
1.349,3 tok/s
Nemotron-3-Nano-4BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181607-30d864
1.188,7 tok/s
gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260728-140954-9e81f9
1.136,3 tok/s
gpt-oss-20bNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260730-035052-09627f
1.135,0 tok/s
Nemotron-3-Nano-30B-A3BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032121-305ad6
1.007,8 tok/s
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032120-4b8514
1.007,3 tok/s
Nemotron-3-Nano-Omni-30B-A3B-ReasoningNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032119-1ddf01
1.007,0 tok/s
Laguna-XS-2.1NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260728-140955-17e7b6
975,1 tok/s
Laguna-XS-2.1NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260728-140955-d94e39
967,9 tok/s
Laguna-XS-2.1NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260728-140955-8dd350
966,1 tok/s
Qwen3-Coder-30B-A3B-InstructNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032124-ebc781
938,2 tok/s
Qwen3-30B-A3B-Thinking-2507NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032123-277335
926,2 tok/s
gemma-4-E4B-itNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260727-181607-bf4219
914,3 tok/s
Qwen3-30B-A3B-Instruct-2507NVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032122-601ed1
910,8 tok/s
Qwen3.6-27B dieser LaufNVIDIA RTX PRO 6000 Blackwell Workstation Edition · run-20260729-032118-d71246
288,0 tok/s

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 5× parallel · Generation (tok/s)

Hardware

GPU: NVIDIA RTX PRO 6000 Blackwell Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 9950X 16-Core Processor
RAM: 92 GB
Mainboard: ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI

Setup

Runtime: llama.cpp
Quantisierung: Q4_K_M
Modell: Qwen3.6-27B

Konfiguration

benchmark-konfiguration — run-20260729-032118-d71246
# LLM-Benchmark Konfiguration # Modell : Qwen3.6-27B # Engine : llama.cpp # Run-ID : run-20260729-032118-d71246 # GPU : NVIDIA RTX PRO 6000 Blackwell Workstation Edition # CPU : AMD Ryzen 9 9950X 16-Core Processor # RAM : 92 GB bench@llm-benchmark:~$ /home/godcore/llama.cpp/build/bin/llama-server \ -m /home/godcore/.cache/huggingface/hub/models--DavidAU--Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF/snapshots/ee5b7441ffe27869e1e5b4357733248d561c26b7/Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q4_K_M.gguf \ --alias Qwen3.6-27B \ --host 0.0.0.0 \ --port 8000 \ -ngl 999 \ -c 16384 \ -np 4 \ --jinja
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Qwen3.6-27B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.16384
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird./home/godcore/.cache/huggingface/hub/models--DavidAU--Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF/snapshots/ee5b7441ffe27869e1e5b4357733248d561c26b7/Qwen3.6-27B-Fable-Fus-711-UnHeretic-NM-DAU-NEO-MAX-NEO-MTP-Q4_K_M.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.999
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.16384
np4

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Qwen3.6-27B auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

7045283521760,001.1052.2103.315Prefill (tok/s)Generation (tok/s)NVIDIA GeForce RTX 5090 - 532,5 tok/s Generation, 2.539 tok/s Prefill, TTFT 9.812 ms (3 Laufe)NVIDIA GeForce RTX 50...NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 464,1 tok/s Generation, 2.737 tok/s Prefill, TTFT 9.091 ms (11 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA RTX A6000 - 431,7 tok/s Generation, 2.362 tok/s Prefill, TTFT 8.109 ms (27 Laufe)NVIDIA RTX A6000NVIDIA GeForce RTX 3090 Ti - 264,2 tok/s Generation, 1.458 tok/s Prefill, TTFT 19.358 ms (3 Laufe)NVIDIA GeForce RTX 30...AMD Radeon AI PRO R9700 - 165,4 tok/s Generation, 1.380 tok/s Prefill, TTFT 28.271 ms (9 Laufe)AMD Radeon AI PRO R97...AMD Radeon PRO W7800 48GB - 106,8 tok/s Generation, 600 tok/s Prefill, TTFT 12.996 ms (4 Laufe)AMD Radeon PRO W7800 ...NVIDIA GeForce RTX 5070 Ti - 57,2 tok/s Generation, 447 tok/s Prefill, TTFT 80.318 ms (3 Laufe)NVIDIA GeForce RTX 50...AMD Radeon 8060S Graphics - 36,1 tok/s Generation, 536 tok/s Prefill, TTFT 41.917 ms (1 Lauf)AMD Radeon 8060S Grap...NVIDIA RTX PRO 6000 Blackwell Workstation Edition - 546,9 tok/s Generation, 2.739 tok/s Prefill, TTFT 9.126 ms (3 Laufe) | DIESER LAUF★ NVIDIA RTX PRO 6000 B...
★ NVIDIA RTX PRO 6000 Blackwell Workstation Edition 546,9 tok/s dieser LaufNVIDIA GeForce RTX 5090 532,5 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 464,1 tok/sNVIDIA RTX A6000 431,7 tok/sNVIDIA GeForce RTX 3090 Ti 264,2 tok/sAMD Radeon AI PRO R9700 165,4 tok/sAMD Radeon PRO W7800 48GB 106,8 tok/sNVIDIA GeForce RTX 5070 Ti 57,2 tok/sAMD Radeon 8060S Graphics 36,1 tok/s

CPUnach Prozessor

7045283521760,001.2962.5913.887Prefill (tok/s)Generation (tok/s)AMD Ryzen 7 5800X3D 8-Core Processor - 532,5 tok/s Generation, 2.539 tok/s Prefill, TTFT 9.812 ms (3 Laufe)AMD Ryzen 7 5800X3D 8...AMD Ryzen Threadripper PRO 9965WX 24-Cores - 464,1 tok/s Generation, 3.212 tok/s Prefill, TTFT 11.084 ms (9 Laufe)AMD Ryzen Threadrippe...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 431,7 tok/s Generation, 2.117 tok/s Prefill, TTFT 13.149 ms (36 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 9 8945HX with Radeon Graphics - 264,2 tok/s Generation, 1.458 tok/s Prefill, TTFT 19.358 ms (3 Laufe)AMD Ryzen 9 8945HX wi...AMD Ryzen Threadripper PRO 5975WX 32-Cores - 106,8 tok/s Generation, 534 tok/s Prefill, TTFT 41.848 ms (7 Laufe)AMD Ryzen Threadrippe...AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 36,1 tok/s Generation, 536 tok/s Prefill, TTFT 41.917 ms (1 Lauf)AMD RYZEN AI MAX+ 395...AMD Ryzen 9 9950X 16-Core Processor - 546,9 tok/s Generation, 1.883 tok/s Prefill, TTFT 5.524 ms (5 Laufe) | DIESER LAUF★ AMD Ryzen 9 9950X 16-...
★ AMD Ryzen 9 9950X 16-Core Processor 546,9 tok/s dieser LaufAMD Ryzen 7 5800X3D 8-Core Processor 532,5 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 464,1 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 431,7 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 264,2 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 106,8 tok/sAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 36,1 tok/s

MBnach Mainboard

7055293531760,0211.0312.0423.052Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING - 532,5 tok/s Generation, 2.539 tok/s Prefill, TTFT 9.812 ms (3 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 464,1 tok/s Generation, 2.336 tok/s Prefill, TTFT 12.736 ms (45 Laufe)ASUSTeK COMPUTER INC....Meigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) - 264,2 tok/s Generation, 1.458 tok/s Prefill, TTFT 19.358 ms (3 Laufe)Meigao Innovation Tec...ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 106,8 tok/s Generation, 534 tok/s Prefill, TTFT 41.848 ms (7 Laufe)ASUSTeK COMPUTER INC....Bosgame AXB35-02 (BeyondMax Series) - 36,1 tok/s Generation, 536 tok/s Prefill, TTFT 41.917 ms (1 Lauf)Bosgame AXB35-02 (Bey...unbekannt - 28,8 tok/s Generation, 599 tok/s Prefill, TTFT 122 ms (1 Lauf)unbekanntASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI - 546,9 tok/s Generation, 2.204 tok/s Prefill, TTFT 6.875 ms (4 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 546,9 tok/s dieser LaufASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 532,5 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 464,1 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 264,2 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 106,8 tok/sBosgame AXB35-02 (BeyondMax Series) 36,1 tok/sunbekannt 28,8 tok/s

ENGnach Engine

7055293531760,001.6393.2784.917Prefill (tok/s)Generation (tok/s)vLLM - 431,7 tok/s Generation, 4.052 tok/s Prefill, TTFT 2.692 ms (10 Laufe)vLLMunbekannt - 28,8 tok/s Generation, 599 tok/s Prefill, TTFT 122 ms (1 Lauf)unbekanntllama.cpp - 546,9 tok/s Generation, 1.692 tok/s Prefill, TTFT 18.794 ms (53 Laufe) | DIESER LAUF★ llama.cpp
★ llama.cpp 546,9 tok/s dieser LaufvLLM 431,7 tok/sunbekannt 28,8 tok/s

DRVnach Treiber

7055293531760,02119591.7072.455Prefill (tok/s)Generation (tok/s)unbekannt - 546,9 tok/s Generation, 2.067 tok/s Prefill, TTFT 16.238 ms (63 Laufe)unbekanntNVIDIA 580.159.03 / CUDA 13.0 - 28,8 tok/s Generation, 599 tok/s Prefill, TTFT 122 ms (1 Lauf)NVIDIA 580.159.03 / C...
unbekannt 546,9 tok/sNVIDIA 580.159.03 / CUDA 13.0 28,8 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (5× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 70 W
⚡ TDP 644 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)644 W geschätzt (TDP)GPU 600 + CPU 29 + Board 15 W Volllast
Ø-Kosten / Stunde0,19 EUR
Strom / 1 Mio. Token0,19 EUR
Token / kWh1,61 Mio.
Anschaffung (System)15.248 EUR VollpreisGPU 13.000 EUR · CPU 649 EUR · Board 499 EUR · RAM 920 EUR · Netzteil 180 EUR
Stromkosten (2 Jahre)
TCO (2 Jahre)18.632 EUR
Output-Token (2 Jahre)18,17 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)
Ersparnis vs. extern (2 Jahre)

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (70 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Qwen3.6-27BNVIDIA RTX PRO 6000 Blackwell Workstation EditionQwen3.6-27BNVIDIA GeForce RTX 5090Qwen3.6-27B2x NVIDIA RTX A6000Qwen3.6-27B3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
Kosten Strom (24 Mon.)
Kosten Anschaffung
Kosten Gesamt (TCO)
Generierte Token (24 Mon.)
Tokenpreis bei API
Break-Even-Point (Tage)
Ergebnis (Ersparnis / Ausgabe)

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.