Contributed byMario AlkaMiniMax MiniMax-M2.7
Harness benchmark · measured on 19.07.2026 22:46
Benchmark-ID
run-20260722-165445-bc5ac0Tool-Parcours Dossier 40 V1.0MoE230BRuntime: godclawQuantisierung: AWQ
⚠
Configuration note: This run used 2 devices in distributed inference (2× NVIDIA GB10 (DGX Spark), tensor/pipeline parallel via the vLLM config). Not a single machine – power & acquisition in the economics section are calculated for all 2 devices.
ℹ
For context: Diese Plattform nutzt Unified Memory – die "VRAM" ist gemeinsamer System-RAM (APU/Superchip); das Modell teilt sich den Speicher mit dem System.
Points3.641,00von 5.960,00
Points rate61,09%
Tasks passed40von 40
Total duration8.209,00s
Ranking in the field
15of 30 systems
Harness benchmark · Primary metric: Score rate (%)
This run is better than 52 % of all comparable systems.
Score rate
61 %
+12 % vs Ø 54,4
Tasks passed
40
+115 % vs Ø 18,6
Total duration
8.209,0 s
+243 % vs Ø 2.395,9
Distribution in the field10 – 91 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD Radeon 8060S Graphics · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD Radeon 8060S Graphics · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-78ff78
74 %
MiniMax-M2.5NVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD Radeon 8060S Graphics · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.52× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
MiniMax-M2.7 this runNVIDIA GB10 · run-20260722-165445-bc5ac0
61 %
Hardware
GPU: NVIDIA GB10 · 128 GB VRAM
CPU: NVIDIA Grace
RAM: 120 GB
Mainboard: ASUSTeK COMPUTER INC. GX10
Setup
Runtime: godclaw
Quantization: AWQ
Driver: NVIDIA 590.48.01 / CUDA 13.1
Model: MiniMax-M2.7
Aufgaben (40)
| Task | Status | Points | Duration |
|---|---|---|---|
| Arbeitsstruktur anlegen | passed | 5 / 50 | 7.208,00 s |
| Startdatei schreiben | passed | 17 / 60 | 16,00 s |
| Datei zuruecklesen | passed | 38 / 50 | 4,00 s |
| CSV mit Testdaten | passed | 56 / 80 | 10,00 s |
| Struktur pruefen | passed | 49 / 60 | 4,00 s |
| Recherche RAG | passed | 125 / 150 | 11,00 s |
| Recherche Hersteller | passed | 19 / 120 | 42,00 s |
| Recherche sichern | passed | 58 / 100 | 14,00 s |
| Webseite auswerten | passed | 41 / 140 | 47,00 s |
| Seite im Browser oeffnen | passed | 160 / 180 | 11,00 s |
| Modellvergleich | passed | 20 / 200 | 145,00 s |
| Quellenliste | passed | 63 / 90 | 10,00 s |
| Wissenskategorien sichten | passed | 70 / 100 | 10,00 s |
| Wissenseintrag anlegen | passed | 175 / 220 | 17,00 s |
| Wissenseintrag pruefen | passed | 101 / 120 | 7,00 s |
| Wissenseintrag ergaenzen | passed | 173 / 200 | 9,00 s |
| Versionen zaehlen | passed | 92 / 140 | 17,00 s |
| Wissen durchsuchen | passed | 104 / 130 | 10,00 s |
| Firma erfassen | passed | 69 / 180 | 41,00 s |
| Person verknuepfen | passed | 165 / 220 | 21,00 s |
| Fakt hinterlegen | passed | 16 / 160 | 56,00 s |
| Entitaet suchen | passed | 42 / 140 | 35,00 s |
| Aufgabenliste anlegen | passed | 98 / 130 | 11,00 s |
| Aufgaben ergaenzen | passed | 134 / 170 | 14,00 s |
| Boards sichten | passed | 80 / 120 | 15,00 s |
| Board-Aufgabe anlegen | passed | 119 / 190 | 25,00 s |
| CSV nach JSON | passed | 121 / 180 | 22,00 s |
| JSON validieren | passed | 112 / 140 | 10,00 s |
| Defektes JSON reparieren | passed | 178 / 220 | 16,00 s |
| Pruefsummen | passed | 140 / 160 | 7,00 s |
| Volltextsuche | passed | 117 / 150 | 11,00 s |
| Archiv packen | passed | 157 / 170 | 5,00 s |
| Bestandsaufnahme | passed | 88 / 120 | 12,00 s |
| Titelbild erzeugen | passed | 25 / 250 | 128,00 s |
| Bild pruefen | passed | 117 / 130 | 5,00 s |
| Merken | passed | 135 / 150 | 5,00 s |
| Erinnern | passed | 39 / 120 | 30,00 s |
| Fachfrage delegieren | passed | 25 / 230 | 89,00 s |
| Gesamtbericht | passed | 134 / 240 | 44,00 s |
| Abschluss | passed | 164 / 200 | 15,00 s |
Configuration
# LLM-Benchmark Konfiguration
# Modell : MiniMax-M2.7
# Engine : vLLM
# Run-ID : run-20260722-165445-bc5ac0
# GPU : NVIDIA GB10
# CPU : NVIDIA Grace
# RAM : 120 GB
bench@llm-benchmark:~$ /usr/bin/python /usr/local/bin/vllm serve cyankiwi/MiniMax-M2.7-AWQ-4bit \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 2 \
--distributed-executor-backend ray \
--gpu-memory-utilization 0.8 \
--max-model-len 196608 \
--max-num-seqs 4 \
--load-format fastsafetensors \
--tool-call-parser minimax_m2 \
--reasoning-parser minimax_m2 \
--enable-auto-tool-choice \
--kv-cache-dtype fp8_e4m3 \
--enable-prefix-caching \
--trust-remote-code \
--enforce-eager \
--served-model-name cyankiwi/MiniMax-M2.7-AWQ-4bit
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | cyankiwi/MiniMax-M2.7-AWQ-4bit |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 196608 |
| Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3). | 2 |
| Executor-Backend?Verfahren fuer Multi-GPU/Multi-Node: mp = Prozesse auf einer Maschine, ray = ueber Ray (auch ueber mehrere Knoten). | ray |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.8 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 196608 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 4 |
| Load-Format?Format, aus dem die Gewichte geladen werden (auto, safetensors, pt ...). 'auto' erkennt es selbst. | fastsafetensors |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | minimax_m2 |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | minimax_m2 |
| Auto-Tool-Choice?Erlaubt dem Modell, Tools (Function-Calling) selbststaendig auszuwaehlen. MUSS aktiv sein, damit 'tools' im Request akzeptiert werden - sonst lehnt vLLM sie mit HTTP 400 ab. | aktiv |
| KV-Cache-Dtype?Datentyp des KV-Cache (auto, fp8). fp8 halbiert etwa den Cache-Speicher -> mehr und laengere parallele Anfragen bei minimalem Qualitaetsverlust. | fp8_e4m3 |
| Prefix-Caching?Speichert bereits berechnete Prompt-Anfaenge und verwendet sie wieder. Beschleunigt Anfragen mit gemeinsamem Praefix (z.B. gleicher System-Prompt) deutlich. | aktiv |
| Trust-Remote-Code?Erlaubt vLLM, mit dem Modell mitgelieferten Python-Code auszufuehren. Noetig fuer Architekturen, die vLLM nicht von Haus aus kennt. Nur bei vertrauenswuerdigen Modellen aktivieren. | aktiv |
| Enforce-Eager?Schaltet die optimierte Graph-Ausfuehrung (CUDA-/HIP-Graphs) AB und rechnet Schritt fuer Schritt. Startet schneller und spart etwas VRAM, ist im laufenden Betrieb aber meist langsamer als mit Graphs. | aktiv |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | cyankiwi/MiniMax-M2.7-AWQ-4bit |
Anzeige
Model comparison
MiniMax-M2.7 on various hardware
All published performance runs of this model – each bubble a variant: position = prefill (X) × generation (Y), bubble size = number of runs. Closer to the top right = faster. ★ Marked gold = this benchmark.
GPUby graphics card
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 548,6 tok/s★ NVIDIA GB10 (DGX Spark) 174,2 tok/s this runAMD Radeon AI PRO R9700 14,5 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 7,0 tok/sNVIDIA GeForce RTX 5090 6,0 tok/sNVIDIA GeForce RTX 3090 Ti 4,0 tok/sNVIDIA GeForce RTX 2060 2,6 tok/s
CPUby processor
AMD Ryzen Threadripper PRO 9965WX 24-Cores 548,6 tok/s★ NVIDIA Grace 174,2 tok/s this runAMD Ryzen Threadripper PRO 7955WX 16-Cores 14,5 tok/sAMD Ryzen 9 9950X 16-Core Processor 7,0 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 6,0 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 4,0 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 2,6 tok/s
MBby mainboard
ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 548,6 tok/s★ ASUSTeK COMPUTER INC. GX10 174,2 tok/s this runASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 7,0 tok/sASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 6,0 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 4,0 tok/sDell Inc. PowerEdge R820 2,6 tok/s
DRVby driver
unbekannt 548,6 tok/s★ NVIDIA 590.48.01 / CUDA 13.1 174,2 tok/s this runAMD 7.0.0-27-generic 3,0 tok/s
Contributed by
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.