Qwen (Alibaba)
Qwen3.6-27B
Harnessbenchmark · gemessen am 19.07.2026 23:13
Benchmark-ID
run-20260722-161612-b91648Tool-Parcours Dossier 40 V1.0Dense27BRuntime: godclaw
Punkte2.267,00von 5.960,00
Punktequote38,04%
Aufgaben bestanden38von 40
Gesamtdauer10.331,00s
Einordnung im Feld
22von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 28 % aller vergleichbaren Systeme.
Punktequote
38 %
-30 % vs Ø 54,4
Aufgaben bestanden
38
+104 % vs Ø 18,6
Gesamtdauer
10.331,0 s
+331 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Qwen3.6-27B dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161612-b91648
38 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: 32x AMD Ryzen 9 9950X 16-Core Processor
RAM: 92 GB
Setup
Runtime: godclaw
Quantisierung: -
Modell: Qwen3.6-27B
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Arbeitsstruktur anlegen | bestanden | 5 / 50 | 7.222,00 s |
| Startdatei schreiben | bestanden | 6 / 60 | 41,00 s |
| Datei zuruecklesen | fehlgeschlagen | 0 / 50 | 1.452,00 s |
| CSV mit Testdaten | bestanden | 13 / 80 | 28,00 s |
| Struktur pruefen | bestanden | 6 / 60 | 20,00 s |
| Recherche RAG | bestanden | 96 / 150 | 24,00 s |
| Recherche Hersteller | bestanden | 72 / 120 | 20,00 s |
| Recherche sichern | bestanden | 25 / 100 | 25,00 s |
| Webseite auswerten | bestanden | 14 / 140 | 96,00 s |
| Seite im Browser oeffnen | bestanden | 25 / 180 | 86,00 s |
| Modellvergleich | bestanden | 78 / 200 | 51,00 s |
| Quellenliste | bestanden | 17 / 90 | 27,00 s |
| Wissenskategorien sichten | bestanden | 52 / 100 | 16,00 s |
| Wissenseintrag anlegen | bestanden | 114 / 220 | 40,00 s |
| Wissenseintrag pruefen | bestanden | 53 / 120 | 25,00 s |
| Wissenseintrag ergaenzen | bestanden | 80 / 200 | 40,00 s |
| Versionen zaehlen | bestanden | 81 / 140 | 21,00 s |
| Wissen durchsuchen | bestanden | 29 / 130 | 39,00 s |
| Firma erfassen | bestanden | 123 / 180 | 21,00 s |
| Person verknuepfen | bestanden | 117 / 220 | 39,00 s |
| Fakt hinterlegen | bestanden | 16 / 160 | 103,00 s |
| Entitaet suchen | bestanden | 17 / 140 | 44,00 s |
| Aufgabenliste anlegen | bestanden | 89 / 130 | 14,00 s |
| Aufgaben ergaenzen | bestanden | 114 / 170 | 22,00 s |
| Boards sichten | bestanden | 47 / 120 | 27,00 s |
| Board-Aufgabe anlegen | bestanden | 19 / 190 | 158,00 s |
| CSV nach JSON | bestanden | 86 / 180 | 35,00 s |
| JSON validieren | bestanden | 81 / 140 | 21,00 s |
| Defektes JSON reparieren | bestanden | 120 / 220 | 38,00 s |
| Pruefsummen | bestanden | 53 / 160 | 37,00 s |
| Volltextsuche | bestanden | 66 / 150 | 28,00 s |
| Archiv packen | bestanden | 106 / 170 | 25,00 s |
| Bestandsaufnahme | bestanden | 12 / 120 | 41,00 s |
| Titelbild erzeugen | bestanden | 154 / 250 | 51,00 s |
| Bild pruefen | bestanden | 83 / 130 | 18,00 s |
| Merken | bestanden | 75 / 150 | 25,00 s |
| Erinnern | bestanden | 42 / 120 | 29,00 s |
| Fachfrage delegieren | bestanden | 23 / 230 | 166,00 s |
| Gesamtbericht | bestanden | 58 / 240 | 76,00 s |
| Abschluss | fehlgeschlagen | 0 / 200 | 40,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.6-27B
# Engine : vLLM
# Run-ID : run-20260722-161612-b91648
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : 32x AMD Ryzen 9 9950X 16-Core Processor
# RAM : 92 GB
bench@llm-benchmark:~$ python \
-m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen3.6-27B \
--served-model-name Qwen/Qwen3.6-27B \
--host 0.0.0.0 \
--port 8000 \
--gpu-memory-utilization 0.90 \
--max-model-len 65536 \
--generation-config vllm \
--language-model-only \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder
| Engine | vllm |
| Modellalias | Qwen/Qwen3.6-27B |
| Kontextlaenge | 65536 |
| Python-Modul | vllm.entrypoints.openai.api_server |
| Modellpfad | Qwen/Qwen3.6-27B |
| Alias | Qwen/Qwen3.6-27B |
| GPU-Speicher | 0.90 |
| Kontext | 65536 |
| Generation-Config | vllm |
| Nur-Sprachmodell | aktiv |
| Reasoning-Parser | qwen3 |
| Auto-Tool-Choice | aktiv |
| Tool-Parser | qwen3_coder |