Beigesteuert vonMario AlkaQwen (Alibaba) Qwen3.8-Flash-Next
Performancebenchmark · gemessen am 08.11.2026 14:54
Benchmark-ID
run-20261108-142319-be40f3Timebench 3 - Kombi (Prefill + Generation)MoE180BRuntime: strataQuantisierung: IQ2_XS
ℹ
Öffentliche Anmerkung: Messung NACH Installation von gpu-unlock (zagitta/gpu-unlock 2.0.0, Tensor-Core-Entsperrung fuer GeForce), RTX 3090 24 GB, Treiber 595.99.02, Power-Limit 370 W, Kernel 7.0.0-38 unveraendert. Strata mit Qwen3.8-Flash-Next in GSQ-RCO IQ2_XS, Kontext 4096, 8 Streams, Expert-Cache 14,67 GiB im VRAM; bei 10 Anfragen warten 2 auf einen freien Stream, der Summenwert liegt daher ueber dem echten Durchsatz. Das Modell laeuft deutlich unter dem empfohlenen Speicher (31 statt 48 GB), die Experten werden von der SSD nachgeladen; der Engpass liegt nicht bei den Tensor Cores. Serve-Konfiguration zeichengleich zur Referenzmessung davor (BMID 12646). Teil eines Vorher-Nachher-Vergleichs.
Generation195,16tok/s
Prefill4.168,25tok/s
Time to First Token11.305,50ms
Gesamtdauer146,05s
Concurrency10parallel
Einordnung im Feld
17von 26 Systemen
Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 10× parallel
Dieser Lauf ist besser als 36 % aller vergleichbaren Systeme.
Generation
195,2 tok/s
-70 % vs Ø 655,7
Prefill
4.168,3 tok/s
-54 % vs Ø 9.136,3
Time to First Token
11.306 ms
-17 % vs Ø 13.576
Verteilung im Feld71 – 3.484 tok/s
Wie schlägt sich dieser Benchmark mit anderen Modellen?
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261026-180644-063abd
3.484,3 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261026-183943-bbe82c
2.867,2 tok/s
Qwen3.8-Flash-Next gleiches ModellNVIDIA GeForce RTX 3090 · run-20261013-092430-0e9347
1.132,7 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261108-142255-a5a095
883,7 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261108-160906-091e40
859,8 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261108-160906-621b3d
847,5 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261108-142255-6a09ef
837,1 tok/s
Qwen3.6-35B-A3BNVIDIA GeForce RTX 3090 · run-20261101-195359-745413
833,3 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261026-183943-22e90b
725,3 tok/s
NVIDIA-Nemotron-3.5-Lightning-30B-A3BNVIDIA GeForce RTX 3090 · run-20261026-183943-c42023
709,0 tok/s
Qwen3.8-Flash-Next gleiches ModellNVIDIA GeForce RTX 3090 · run-20261013-165111-37735f
638,6 tok/s
Qwen3.6-35B-A3BNVIDIA GeForce RTX 3090 · run-20261101-202817-afa850
623,6 tok/s
gpt-oss-20bNVIDIA GeForce RTX 3090 · run-20261024-084507-9d9121
448,2 tok/s
Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 3090 · run-20261024-084507-0f8d84
371,7 tok/s
Qwen3.8-Flash-Next dieser LaufNVIDIA GeForce RTX 3090 · run-20261108-142319-be40f3
195,2 tok/s
Wie schlägt sich dieser Benchmark mit anderen GPUs?
Dasselbe Modell auf anderer Hardware · 10× parallel · Generation (tok/s)
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20261012-175110-ea7bf0
1.564,6 tok/s
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20261012-182514-eada92
1.555,3 tok/s
NVIDIA RTX A6000run-20261021-093816-82f62e
1.171,8 tok/s
NVIDIA GeForce RTX 3090run-20261013-092430-0e9347
1.132,7 tok/s
NVIDIA GeForce RTX 3090run-20261013-165111-37735f
638,6 tok/s
NVIDIA RTX PRO 6000 Blackwell Workstation Editionrun-20261023-180245-c8d477
584,1 tok/s
NVIDIA DGX SPARK (GB10)run-20261013-151008-fdcb3e
492,8 tok/s
2× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20261023-180239-e453cd
424,2 tok/s
NVIDIA DGX SPARK (GB10)run-20261013-165111-6f74d0
420,2 tok/s
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20261023-183307-d048bb
418,8 tok/s
2× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20261023-180238-0a23c1
411,3 tok/s
NVIDIA GeForce RTX 5090run-20261101-162845-2ebe13
346,0 tok/s
NVIDIA RTX PRO 6000 Blackwell Workstation Editionrun-20261026-133956-44316f
344,4 tok/s
NVIDIA RTX A6000run-20261021-093816-b52dc0
242,4 tok/s
Hardware
GPU: NVIDIA GeForce RTX 3090 · 24 GB VRAM
CPU: AMD Ryzen 5 5600X 6-Core Processor
RAM: 31 GB
Mainboard: ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING
Setup
Runtime: strata
Quantisierung: IQ2_XS
Modell: Qwen3.8-Flash-Next
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.8-Flash-Next
# Engine : strata
# Run-ID : run-20261108-142319-be40f3
# GPU : NVIDIA GeForce RTX 3090
# CPU : AMD Ryzen 5 5600X 6-Core Processor
# RAM : 31 GB
bench@llm-benchmark:~$ strata \
--model Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | strata |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 4096 |
| execution_type | local |
Anzeige
Modell-Vergleich
Qwen3.8-Flash-Next auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.564,6 tok/sNVIDIA RTX A6000 1.171,8 tok/s★ NVIDIA GeForce RTX 3090 1.132,7 tok/s dieser LaufNVIDIA RTX PRO 6000 Blackwell Workstation Edition 584,1 tok/sNVIDIA DGX SPARK (GB10) 492,8 tok/sNVIDIA GeForce RTX 5090 346,0 tok/sNVIDIA Tesla V100 PCIe 32GB 196,2 tok/sAMD Radeon RX 7900 XTX 18,7 tok/s
CPUnach Prozessor
AMD Ryzen 9 7945HX with Radeon Graphics 1.564,6 tok/sAMD Ryzen Threadripper PRO 3945WX 12-Cores 1.171,8 tok/s★ AMD Ryzen 5 5600X 6-Core Processor 1.132,7 tok/s dieser LaufAMD Ryzen 9 9950X 16-Core Processor 584,1 tok/sNVIDIA Grace 492,8 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 424,2 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 346,0 tok/sAMD Ryzen 3 PRO 3200GE w/ Radeon Vega Graphics 196,2 tok/sAMD EPYC 7203P 8-Core Processor 79,2 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 63,2 tok/sAMD Ryzen Threadripper PRO 3955WX 16-Cores 18,7 tok/s
MBnach Mainboard
Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 1.564,6 tok/sunbekannt 1.171,8 tok/s★ ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 1.132,7 tok/s dieser LaufASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 584,1 tok/sASUSTeK COMPUTER INC. GX10 492,8 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 424,2 tok/sASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 196,2 tok/sASRockRack ROMED8-2T/BCM 79,2 tok/sDell Inc. PowerEdge R820 63,2 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 35,4 tok/s
ENGnach Engine
DRVnach Treiber
unbekannt 1.564,6 tok/sNVIDIA 590.48.01 / CUDA 13.1 492,8 tok/s
💰 Economics
Wirtschaftlichkeit dieses Laufs
Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (10× parallel). Methodik →
⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis
EUR/kWh
⚙️ System-Auslastung
100 %
🖥️ Anschaffung
EUR
🔌 Idle
12 W
⚡ TDP
362 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)362 W geschätzt (TDP)GPU 350 + Board 12 W Volllast
Ø-Kosten / Stunde0,11 EUR
Strom / 1 Mio. Token0,15 EUR
Token / kWh1,94 Mio.
Anschaffung (System)1.518 EUR VollpreisGPU 850 EUR · CPU 121 EUR · Board 149 EUR · RAM 248 EUR · Netzteil 150 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)3.421 EUR
Output-Token (2 Jahre)12,31 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–
Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (12 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.
Kosten über 2 Jahre – nur Strom
Kosten über 2 Jahre – inkl. Anschaffung (TCO)
Geschwindigkeit vs. Token pro Euro
Euro pro 1 Mio. Token
Vergleich zur API – Wirtschaftlichkeit je Benchmark
| Qwen3.8-Flash-NextNVIDIA GeForce RTX 3090 | Qwen3.8-Flash-NextNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition | Qwen3.8-Flash-NextNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition | Qwen3.8-Flash-NextNVIDIA RTX A6000 | |
|---|---|---|---|---|
| Kosten Strom (24 Mon.) | – | – | – | – |
| Kosten Anschaffung | – | – | – | – |
| Kosten Gesamt (TCO) | – | – | – | – |
| Generierte Token (24 Mon.) | – | – | – | – |
| Tokenpreis bei API | – | – | – | – |
| Break-Even-Point (Tage) | – | – | – | – |
| Ergebnis (Ersparnis / Ausgabe) | – | – | – | – |
NVIDIA GeForce RTX 3090 · dieser Lauf 195 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.565 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.555 tok/sNVIDIA RTX A6000 1.172 tok/s
Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.