Beigesteuert vonMario AlkaQwen (Alibaba) Qwen3.6-35B-A3B-AWQ
Harnessbenchmark · gemessen am 29.09.2026 12:06
Benchmark-ID
run-20260929-100818-ef3ac1Decision-Benchmark High V 1.0MoE35.00BRuntime: vllmQuantisierung: AWQ
ℹ
Öffentliche Anmerkung: 200 neue komplexe synthetische Entscheidungsfragen, 10 Familien: Rechnung, Lager, Quorum, Beschaffung, Buchungen, Zeitintervalle, Ereignisse, Budget, Rechte, Graphen. 100 Noul (50/50),100 Choice (4 Optionen). Ein Punkt pro exakter Entscheidung. Unabhaengig gepruefte Sollwerte; Datensatz vor Modelltests eingefroren. Keine Tools, direkte Entscheidung ohne Thinking-Modus; keine allgemeine Reasoning-Bewertung. Concurrency1, keine Retries; gesamte HTTP-Antwortzeit inkl. erster Anfrage. 87/200 richtig. Mittel 95.020 ms; Median 84.970 ms; P95 120.404 ms. API-Fehler 0; Formatfehler 8 (zaehlen als falsch). AWQ4 cyankiwi, vLLM0.27.1, Temperatur0,max_tokens32,enable_thinking=false; andere Modelle auf ai005 deaktiviert.
Punkte87,00von 200,00
Punktequote43,50%
Aufgaben bestanden87von 200
Gesamtdauer19,00s
Einordnung im Feld
18von 20 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 11 % aller vergleichbaren Systeme.
Punktequote
44 %
-39 % vs Ø 71,0
Aufgaben bestanden
87
-6 % vs Ø 92,5
Gesamtdauer
19,0 s
-98 % vs Ø 1.240,5
Verteilung im Feld38 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Qwen3.6-35B-A3B-AWQ gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQ gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Qwen3.6-35B-A3B-AWQ gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
LayaNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-2fc816
61 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161612-8d5f5c
61 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-cfb2d1
58 %
Qwen3.6-35B-A3B-AWQ dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-100818-ef3ac1
44 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)
Setup
Runtime: vllm
Quantisierung: AWQ
Modell: Qwen3.6-35B-A3B-AWQ
Aufgaben (200)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| 001 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,12 s |
| 002 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 003 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 004 - Rechnung_Rundung | bestanden | 1 / 1 | 0,09 s |
| 005 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 006 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 007 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,08 s |
| 008 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 009 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 010 - permission_deny_override | bestanden | 1 / 1 | 0,08 s |
| 011 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,08 s |
| 012 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 013 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 014 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 015 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 016 - Buchungen_Korrekturen | bestanden | 1 / 1 | 0,08 s |
| 017 - budget_dependency_selection | bestanden | 1 / 1 | 0,09 s |
| 018 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,09 s |
| 019 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,28 s |
| 020 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 021 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 022 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 023 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 024 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 025 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 026 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 027 - permission_deny_override | bestanden | 1 / 1 | 0,08 s |
| 028 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 029 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 030 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 031 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,08 s |
| 032 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,10 s |
| 033 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 034 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 035 - time_interval_conflicts | bestanden | 1 / 1 | 0,09 s |
| 036 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 037 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 038 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 039 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,09 s |
| 040 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,27 s |
| 041 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 042 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,08 s |
| 043 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 044 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 045 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 046 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 047 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
| 048 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 049 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 050 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 051 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 052 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,08 s |
| 053 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 054 - budget_dependency_selection | bestanden | 1 / 1 | 0,09 s |
| 055 - Buchungen_Korrekturen | bestanden | 1 / 1 | 0,10 s |
| 056 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,10 s |
| 057 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,09 s |
| 058 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 059 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 060 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 061 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 062 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,09 s |
| 063 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
| 064 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,08 s |
| 065 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 066 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,08 s |
| 067 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,08 s |
| 068 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 069 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 070 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,08 s |
| 071 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 072 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 073 - Rechnung_Rundung | bestanden | 1 / 1 | 0,10 s |
| 074 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,27 s |
| 075 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 076 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 077 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 078 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 079 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 080 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,08 s |
| 081 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,09 s |
| 082 - version_event_reconstruction | bestanden | 1 / 1 | 0,12 s |
| 083 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,08 s |
| 084 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 085 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 086 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,08 s |
| 087 - budget_dependency_selection | bestanden | 1 / 1 | 0,09 s |
| 088 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 089 - Rechnung_Rundung | bestanden | 1 / 1 | 0,09 s |
| 090 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 091 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 092 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,24 s |
| 093 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 094 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 095 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 096 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 097 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,09 s |
| 098 - Buchungen_Korrekturen | bestanden | 1 / 1 | 0,08 s |
| 099 - budget_dependency_selection | bestanden | 1 / 1 | 0,09 s |
| 100 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 101 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 102 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 103 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,09 s |
| 104 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,11 s |
| 105 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 106 - graph_reachability_blocks | bestanden | 1 / 1 | 0,08 s |
| 107 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
| 108 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 109 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,08 s |
| 110 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 111 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 112 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 113 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 114 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 115 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,13 s |
| 116 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 117 - Rechnung_Rundung | bestanden | 1 / 1 | 0,09 s |
| 118 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,10 s |
| 119 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 120 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,24 s |
| 121 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 122 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,24 s |
| 123 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,09 s |
| 124 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 125 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 126 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 127 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,09 s |
| 128 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 129 - budget_dependency_selection | bestanden | 1 / 1 | 0,09 s |
| 130 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,08 s |
| 131 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 132 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 133 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 134 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,09 s |
| 135 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,08 s |
| 136 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 137 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,08 s |
| 138 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 139 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,09 s |
| 140 - time_interval_conflicts | bestanden | 1 / 1 | 0,09 s |
| 141 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
| 142 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,09 s |
| 143 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 144 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 145 - version_event_reconstruction | bestanden | 1 / 1 | 0,11 s |
| 146 - Buchungen_Korrekturen | bestanden | 1 / 1 | 0,08 s |
| 147 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,08 s |
| 148 - time_interval_conflicts | bestanden | 1 / 1 | 0,08 s |
| 149 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,08 s |
| 150 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 151 - permission_deny_override | fehlgeschlagen | 0 / 1 | 0,09 s |
| 152 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
| 153 - Rechnung_Rundung | bestanden | 1 / 1 | 0,08 s |
| 154 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,09 s |
| 155 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 156 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 157 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,09 s |
| 158 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,09 s |
| 159 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 160 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,09 s |
| 161 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 162 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 163 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,24 s |
| 164 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,09 s |
| 165 - budget_dependency_selection | fehlgeschlagen | 0 / 1 | 0,09 s |
| 166 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 167 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,08 s |
| 168 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,09 s |
| 169 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 170 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 171 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,08 s |
| 172 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 173 - Abstimmung_Quorum | fehlgeschlagen | 0 / 1 | 0,08 s |
| 174 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 175 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 176 - version_event_reconstruction | bestanden | 1 / 1 | 0,12 s |
| 177 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 178 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,08 s |
| 179 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 180 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 181 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,12 s |
| 182 - graph_reachability_blocks | bestanden | 1 / 1 | 0,09 s |
| 183 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,09 s |
| 184 - time_interval_conflicts | fehlgeschlagen | 0 / 1 | 0,09 s |
| 185 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,12 s |
| 186 - Rechnung_Rundung | fehlgeschlagen | 0 / 1 | 0,09 s |
| 187 - Beschaffung_Optimierung | bestanden | 1 / 1 | 0,09 s |
| 188 - Buchungen_Korrekturen | fehlgeschlagen | 0 / 1 | 0,09 s |
| 189 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,08 s |
| 190 - Abstimmung_Quorum | bestanden | 1 / 1 | 0,08 s |
| 191 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 192 - permission_deny_override | bestanden | 1 / 1 | 0,09 s |
| 193 - graph_reachability_blocks | bestanden | 1 / 1 | 0,08 s |
| 194 - budget_dependency_selection | bestanden | 1 / 1 | 0,08 s |
| 195 - Lager_Haltbarkeit | bestanden | 1 / 1 | 0,09 s |
| 196 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,09 s |
| 197 - graph_reachability_blocks | fehlgeschlagen | 0 / 1 | 0,24 s |
| 198 - Lager_Haltbarkeit | fehlgeschlagen | 0 / 1 | 0,09 s |
| 199 - Beschaffung_Optimierung | fehlgeschlagen | 0 / 1 | 0,08 s |
| 200 - version_event_reconstruction | fehlgeschlagen | 0 / 1 | 0,11 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.6-35B-A3B-AWQ
# Engine : vLLM
# Run-ID : run-20260929-100818-ef3ac1
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen 9 7945HX with Radeon Graphics
# RAM : 60 GB
bench@llm-benchmark:~$ vllm serve \
--model Qwen3.6-35B-A3B-AWQ \
--served-model-name Qwen3.6-35B-A3B-AWQ \
--quantization AWQ
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Qwen3.6-35B-A3B-AWQ |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | Qwen3.6-35B-A3B-AWQ |
| Quantisierung?Quantisierungsverfahren der Gewichte (z.B. awq, gptq, fp8, bitsandbytes). Verkleinert das Modell und spart VRAM, kann die Genauigkeit leicht senken. Leer = keine zusaetzliche Quantisierung. | AWQ |
| execution_type | local |
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.