Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
Qwen (Alibaba)

Qwen3-8B8.2B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense8.2B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

AMD Radeon RX 7900 XTXAlle GPUs
Generation315,2 tok/s
Min 0,1Ø 159,1Max 717,6
Ueber dem Durchschnitt · 361 Systeme im Feld
Prefill13.007 tok/s
Min 39Ø 5.819Max 52.503
Ueber dem Durchschnitt · 361 Systeme im Feld
Time to First Token505 ms
Min 156Ø 18.353Max 354.928
Ueber dem Durchschnitt · 361 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

4093072051020,002.6485.2967.945Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 315,2 tok/s Generation, 6.408 tok/s Prefill, TTFT 2.336 ms (9 Laufe)AMD Radeon RX 7900 XTXAMD Oberon (PlayStation 5) - 68,1 tok/s Generation, 475 tok/s Prefill, TTFT 15.195 ms (2 Laufe)AMD Oberon (PlayStati...CPU-only - 1,6 tok/s Generation, 9 tok/s Prefill, TTFT 232.748 ms (1 Lauf)CPU-only
AMD Radeon RX 7900 XTX 315,2 tok/sAMD Oberon (PlayStation 5) 68,1 tok/sCPU-only 1,6 tok/s

CPUnach Prozessor

4093072051020,002.9985.9958.993Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 315,2 tok/s Generation, 7.254 tok/s Prefill, TTFT 2.212 ms (6 Laufe)AMD Ryzen Threadrippe...Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 252,8 tok/s Generation, 4.717 tok/s Prefill, TTFT 2.583 ms (3 Laufe)Intel(R) Xeon(R) CPU ...AMD Zen2 8-Core (PlayStation 5) - 68,1 tok/s Generation, 475 tok/s Prefill, TTFT 15.195 ms (2 Laufe)AMD Zen2 8-Core (Play...4 x Cortex-A78C + 4 x Cortex-A55 - 1,6 tok/s Generation, 9 tok/s Prefill, TTFT 232.748 ms (1 Lauf)4 x Cortex-A78C + 4 x...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 315,2 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 252,8 tok/sAMD Zen2 8-Core (PlayStation 5) 68,1 tok/s4 x Cortex-A78C + 4 x Cortex-A55 1,6 tok/s

ENGnach Engine

3583232882532181.6914.8397.98711.135Prefill (tok/s)Generation (tok/s)vLLM - 315,2 tok/s Generation, 9.468 tok/s Prefill, TTFT 1.994 ms (3 Laufe)vLLMllama.cpp - 260,2 tok/s Generation, 3.359 tok/s Prefill, TTFT 30.908 ms (9 Laufe)llama.cpp
vLLM 315,2 tok/sllama.cpp 260,2 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
GPUs
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
315,16 tok/s TG
Prefill 13.007 · TTFT 3.960 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
2Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
260,23 tok/s TG
Prefill 6.946 · TTFT 3.919 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
3Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
252,78 tok/s TG
Prefill 6.452 · TTFT 4.269 ms
10×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
4Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
224,00 tok/s TG
Prefill 10.578 · TTFT 1.518 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
5Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
165,72 tok/s TG
Prefill 4.638 · TTFT 2.673 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
6Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
145,20 tok/s TG
Prefill 4.884 · TTFT 2.555 ms
5×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
7Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
73,49 tok/s TG
Prefill 2.816 · TTFT 926 ms
1×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
8Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
69,22 tok/s TG
Prefill 3.537 · TTFT 698 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMllama.cppgodclawQ4_K_MDetails →
9Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
68,07 tok/s TG
Prefill 577 · TTFT 23.820 ms
5×AMD Oberon (PlayStation 5)AMD Zen2 8-Core (PlayStation 5) · 16 GB RAMllama.cppgodclawQ4_K_MDetails →
10Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
58,58 tok/s TG
Prefill 373 · TTFT 6.570 ms
1×AMD Oberon (PlayStation 5)AMD Zen2 8-Core (PlayStation 5) · 16 GB RAMllama.cppgodclawQ4_K_MDetails →
11Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
49,36 tok/s TG
Prefill 4.818 · TTFT 505 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
12Qwen3-8B8.2BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
1,62 tok/s TG
Prefill 9 · TTFT 232.748 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.