Qwen (Alibaba)
Qwen3.6-27B
Harnessbenchmark · gemessen am 15.07.2026 13:36
Benchmark-ID
run-20260722-161611-b852f3Tool Usage Standard 1.0Dense27BRuntime: godclaw
Punkte1.220,00von 2.980,00
Punktequote40,94%
Aufgaben bestanden16von 16
Gesamtdauer1.036,00s
Einordnung im Feld
21von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 31 % aller vergleichbaren Systeme.
Punktequote
41 %
-25 % vs Ø 54,4
Aufgaben bestanden
16
-14 % vs Ø 18,6
Gesamtdauer
1.036,0 s
-57 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Qwen3.6-27B dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-b852f3
41 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: 32x AMD Ryzen 9 9950X 16-Core Processor
RAM: 92 GB
Setup
Runtime: godclaw
Quantisierung: -
Modell: Qwen3.6-27B
Aufgaben (16)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Antwortzeit Test | bestanden | 5 / 50 | 28,00 s |
| Format Test | bestanden | 13 / 80 | 28,00 s |
| Dateisystem Setup | bestanden | 55 / 120 | 27,00 s |
| Daten Generierung | bestanden | 26 / 150 | 55,00 s |
| Parsing + Transformation | bestanden | 20 / 200 | 105,00 s |
| Fehlerbehandlung JSON | bestanden | 58 / 150 | 41,00 s |
| Python Tool Usage | bestanden | 92 / 220 | 58,00 s |
| PHP Tool Usage | bestanden | 70 / 220 | 68,00 s |
| Export + Reimport | bestanden | 103 / 240 | 76,00 s |
| Archivierung | bestanden | 18 / 180 | 65,00 s |
| Hash Berechnung | bestanden | 121 / 200 | 33,00 s |
| Textsuche | bestanden | 18 / 180 | 200,00 s |
| Idempotenz Test | bestanden | 22 / 220 | 204,00 s |
| Rechte Problem | bestanden | 185 / 220 | 16,00 s |
| Final JSON | bestanden | 210 / 250 | 16,00 s |
| Finale Ausgabe | bestanden | 204 / 300 | 16,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.6-27B
# Engine : vLLM
# Run-ID : run-20260722-161611-b852f3
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : 32x AMD Ryzen 9 9950X 16-Core Processor
# RAM : 92 GB
bench@llm-benchmark:~$ python \
-m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen3.6-27B \
--served-model-name Qwen/Qwen3.6-27B \
--host 0.0.0.0 \
--port 8000 \
--gpu-memory-utilization 0.90 \
--max-model-len 65536 \
--generation-config vllm \
--language-model-only \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
| Engine | vllm |
| Modellalias | Qwen/Qwen3.6-27B |
| Kontextlaenge | 65536 |
| Python-Modul | vllm.entrypoints.openai.api_server |
| Modellpfad | Qwen/Qwen3.6-27B |
| Alias | Qwen/Qwen3.6-27B |
| GPU-Speicher | 0.90 |
| Kontext | 65536 |
| Generation-Config | vllm |
| Nur-Sprachmodell | aktiv |
| Reasoning-Parser | qwen3 |
| Auto-Tool-Choice | aktiv |
| Tool-Parser | qwen3_coder |