Qwen (Alibaba)

Qwen2.5-72B-Instruct-Q4_K_M.gguf

Performancebenchmark · gemessen am 20.07.2026 14:56

Benchmark-IDrun-20260722-165905-1dde01

Performancetest Small 1.0Dense72BRuntime: godclaw

Generation2,28tok/s

Prefill80,82tok/s

Time to First Token569,00ms

Gesamtdauer51,82s

Concurrency1parallel

Einordnung im Feld

134von 135 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 1 % aller vergleichbaren Systeme.

Generation 2,3 tok/s

-95 % vs Ø 42,5

Prefill 80,8 tok/s

-97 % vs Ø 2.885,5

Time to First Token 569 ms

-66 % vs Ø 1.685

Verteilung im Feld2 – 148 tok/s

Ø 42 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-85f64f

147,8 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-637af7

143,9 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260722-165909-65d35f

137,7 tok/s

Nemotron-Cascade-2-30B-A3B3× AMD Radeon AI PRO R9700 · run-20260722-181156-a273f2

107,9 tok/s

Nemotron-3-Nano-Omni-30B-A3B-Reasoning3× AMD Radeon AI PRO R9700 · run-20260722-182228-95c528

102,9 tok/s

gpt-oss-120b3× AMD Radeon AI PRO R9700 · run-20260722-165909-4e3ede

99,8 tok/s

Qwen3-30B-A3B-Instruct-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-cc8f3f

97,6 tok/s

NVIDIA-Nemotron-3-Nano-4B3× AMD Radeon AI PRO R9700 · run-20260722-190202-45dc8e

93,4 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165908-5712c8

91,4 tok/s

Qwen3-30B-A3B-Instruct-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-b20fe5

91,0 tok/s

Qwen3-VL-30B-A3B-Instruct3× AMD Radeon AI PRO R9700 · run-20260722-165908-4d91c3

89,8 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165908-40e052

88,6 tok/s

Qwen3-Coder-30B-A3B-Instruct3× AMD Radeon AI PRO R9700 · run-20260722-165907-0a4b43

88,2 tok/s

Qwen3-30B-A3B-Thinking-25073× AMD Radeon AI PRO R9700 · run-20260722-165907-83951d

87,8 tok/s

Qwen2.5-72B-Instruct-Q4_K_M.gguf dieser LaufKeine GPU (CPU-only) · run-20260722-165905-1dde01

2,3 tok/s

Hardware

GPU: Keine GPU (CPU-only) · 0 GB VRAM
CPU: 51x Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz
RAM: 504 GB

Setup

Runtime: godclaw
Quantisierung: -
Modell: Qwen2.5-72B-Instruct-Q4_K_M.gguf

Alle Benchmarks dieses Modells Zum Leaderboard