Beigesteuert vonMario AlkaMiniMax MiniMax-M2.7
Harnessbenchmark · gemessen am 19.07.2026 22:46
Benchmark-ID
run-20260722-165445-bc5ac0Tool-Parcours Dossier 40 V1.0MoE230BRuntime: godclawQuantisierung: AWQ
⚠
Konfigurations-Hinweis: Dieser Lauf nutzte 2 Geräte im verteilten Betrieb (2× NVIDIA GB10 (DGX Spark), Tensor-/Pipeline-Parallel laut vLLM-Konfiguration). Kein Einzelgerät – Leistung & Anschaffung in der Wirtschaftlichkeit werden für alle 2 Geräte berechnet.
ℹ
Zur Einordnung: Diese Plattform nutzt Unified Memory – die "VRAM" ist gemeinsamer System-RAM (APU/Superchip); das Modell teilt sich den Speicher mit dem System.
Punkte3.641,00von 5.960,00
Punktequote61,09%
Aufgaben bestanden40von 40
Gesamtdauer8.209,00s
Einordnung im Feld
2von 5 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 75 % aller vergleichbaren Systeme.
Punktequote
61 %
+12 % vs Ø 54,3
Aufgaben bestanden
40
+96 % vs Ø 20,4
Gesamtdauer
8.209,0 s
+290 % vs Ø 2.103,8
Verteilung im Feld29 – 71 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
MiniMax-M2.5NVIDIA GB10 · run-20260722-165444-51f2b3
71 %
MiniMax-M2.7 dieser LaufNVIDIA GB10 · run-20260722-165445-bc5ac0
61 %
MiniMax-M2.5NVIDIA GB10 · run-20260722-165444-48d83f
59 %
MiniMax-M2.5NVIDIA GB10 · run-20260722-165444-2d00bb
52 %
MiniMax-M2.7 gleiches ModellNVIDIA GB10 · run-20260722-165445-4bc8a8
29 %
Hardware
GPU: NVIDIA GB10 · 128 GB VRAM
CPU: NVIDIA Grace
RAM: 120 GB
Mainboard: ASUSTeK COMPUTER INC. GX10
Setup
Runtime: godclaw
Quantisierung: AWQ
Treiber: NVIDIA 590.48.01 / CUDA 13.1
Modell: MiniMax-M2.7
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Arbeitsstruktur anlegen | bestanden | 5 / 50 | 7.208,00 s |
| Startdatei schreiben | bestanden | 17 / 60 | 16,00 s |
| Datei zuruecklesen | bestanden | 38 / 50 | 4,00 s |
| CSV mit Testdaten | bestanden | 56 / 80 | 10,00 s |
| Struktur pruefen | bestanden | 49 / 60 | 4,00 s |
| Recherche RAG | bestanden | 125 / 150 | 11,00 s |
| Recherche Hersteller | bestanden | 19 / 120 | 42,00 s |
| Recherche sichern | bestanden | 58 / 100 | 14,00 s |
| Webseite auswerten | bestanden | 41 / 140 | 47,00 s |
| Seite im Browser oeffnen | bestanden | 160 / 180 | 11,00 s |
| Modellvergleich | bestanden | 20 / 200 | 145,00 s |
| Quellenliste | bestanden | 63 / 90 | 10,00 s |
| Wissenskategorien sichten | bestanden | 70 / 100 | 10,00 s |
| Wissenseintrag anlegen | bestanden | 175 / 220 | 17,00 s |
| Wissenseintrag pruefen | bestanden | 101 / 120 | 7,00 s |
| Wissenseintrag ergaenzen | bestanden | 173 / 200 | 9,00 s |
| Versionen zaehlen | bestanden | 92 / 140 | 17,00 s |
| Wissen durchsuchen | bestanden | 104 / 130 | 10,00 s |
| Firma erfassen | bestanden | 69 / 180 | 41,00 s |
| Person verknuepfen | bestanden | 165 / 220 | 21,00 s |
| Fakt hinterlegen | bestanden | 16 / 160 | 56,00 s |
| Entitaet suchen | bestanden | 42 / 140 | 35,00 s |
| Aufgabenliste anlegen | bestanden | 98 / 130 | 11,00 s |
| Aufgaben ergaenzen | bestanden | 134 / 170 | 14,00 s |
| Boards sichten | bestanden | 80 / 120 | 15,00 s |
| Board-Aufgabe anlegen | bestanden | 119 / 190 | 25,00 s |
| CSV nach JSON | bestanden | 121 / 180 | 22,00 s |
| JSON validieren | bestanden | 112 / 140 | 10,00 s |
| Defektes JSON reparieren | bestanden | 178 / 220 | 16,00 s |
| Pruefsummen | bestanden | 140 / 160 | 7,00 s |
| Volltextsuche | bestanden | 117 / 150 | 11,00 s |
| Archiv packen | bestanden | 157 / 170 | 5,00 s |
| Bestandsaufnahme | bestanden | 88 / 120 | 12,00 s |
| Titelbild erzeugen | bestanden | 25 / 250 | 128,00 s |
| Bild pruefen | bestanden | 117 / 130 | 5,00 s |
| Merken | bestanden | 135 / 150 | 5,00 s |
| Erinnern | bestanden | 39 / 120 | 30,00 s |
| Fachfrage delegieren | bestanden | 25 / 230 | 89,00 s |
| Gesamtbericht | bestanden | 134 / 240 | 44,00 s |
| Abschluss | bestanden | 164 / 200 | 15,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : MiniMax-M2.7
# Engine : vLLM
# Run-ID : run-20260722-165445-bc5ac0
# GPU : NVIDIA GB10
# CPU : NVIDIA Grace
# RAM : 120 GB
bench@llm-benchmark:~$ /usr/bin/python /usr/local/bin/vllm serve cyankiwi/MiniMax-M2.7-AWQ-4bit \
--host 0.0.0.0 \
--port 8000 \
--tensor-parallel-size 2 \
--distributed-executor-backend ray \
--gpu-memory-utilization 0.8 \
--max-model-len 196608 \
--max-num-seqs 4 \
--load-format fastsafetensors \
--tool-call-parser minimax_m2 \
--reasoning-parser minimax_m2 \
--enable-auto-tool-choice \
--kv-cache-dtype fp8_e4m3 \
--enable-prefix-caching \
--trust-remote-code \
--enforce-eager \
--served-model-name cyankiwi/MiniMax-M2.7-AWQ-4bit
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | cyankiwi/MiniMax-M2.7-AWQ-4bit |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 196608 |
| Tensor-Parallel?Anzahl GPUs, auf die JEDER einzelne Modell-Layer aufgeteilt wird (Tensor-Parallelitaet). Mehr GPUs = mehr VRAM und meist mehr Speed, aber die Anzahl der Attention-Heads muss durch diesen Wert teilbar sein (z.B. 32 Heads -> nur 1, 2, 4, 8 ... moeglich, NICHT 3). | 2 |
| Executor-Backend?Verfahren fuer Multi-GPU/Multi-Node: mp = Prozesse auf einer Maschine, ray = ueber Ray (auch ueber mehrere Knoten). | ray |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.8 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 196608 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 4 |
| Load-Format?Format, aus dem die Gewichte geladen werden (auto, safetensors, pt ...). 'auto' erkennt es selbst. | fastsafetensors |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | minimax_m2 |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | minimax_m2 |
| Auto-Tool-Choice?Erlaubt dem Modell, Tools (Function-Calling) selbststaendig auszuwaehlen. MUSS aktiv sein, damit 'tools' im Request akzeptiert werden - sonst lehnt vLLM sie mit HTTP 400 ab. | aktiv |
| KV-Cache-Dtype?Datentyp des KV-Cache (auto, fp8). fp8 halbiert etwa den Cache-Speicher -> mehr und laengere parallele Anfragen bei minimalem Qualitaetsverlust. | fp8_e4m3 |
| Prefix-Caching?Speichert bereits berechnete Prompt-Anfaenge und verwendet sie wieder. Beschleunigt Anfragen mit gemeinsamem Praefix (z.B. gleicher System-Prompt) deutlich. | aktiv |
| Trust-Remote-Code?Erlaubt vLLM, mit dem Modell mitgelieferten Python-Code auszufuehren. Noetig fuer Architekturen, die vLLM nicht von Haus aus kennt. Nur bei vertrauenswuerdigen Modellen aktivieren. | aktiv |
| Enforce-Eager?Schaltet die optimierte Graph-Ausfuehrung (CUDA-/HIP-Graphs) AB und rechnet Schritt fuer Schritt. Startet schneller und spart etwas VRAM, ist im laufenden Betrieb aber meist langsamer als mit Graphs. | aktiv |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | cyankiwi/MiniMax-M2.7-AWQ-4bit |
Anzeige
Modell-Vergleich
MiniMax-M2.7 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 548,6 tok/s★ NVIDIA GB10 (DGX Spark) 174,2 tok/s dieser LaufAMD Radeon AI PRO R9700 14,5 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 7,0 tok/sNVIDIA GeForce RTX 5090 6,0 tok/sNVIDIA GeForce RTX 3090 Ti 4,0 tok/sNVIDIA GeForce RTX 2060 2,6 tok/s
CPUnach Prozessor
AMD Ryzen Threadripper PRO 9965WX 24-Cores 548,6 tok/s★ NVIDIA Grace 174,2 tok/s dieser LaufAMD Ryzen Threadripper PRO 7955WX 16-Cores 14,5 tok/sAMD Ryzen 9 9950X 16-Core Processor 7,0 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 6,0 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 4,0 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 2,6 tok/s
MBnach Mainboard
ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 548,6 tok/s★ ASUSTeK COMPUTER INC. GX10 174,2 tok/s dieser LaufASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 7,0 tok/sASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 6,0 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 4,0 tok/sDell Inc. PowerEdge R820 2,6 tok/s
DRVnach Treiber
unbekannt 548,6 tok/s★ NVIDIA 590.48.01 / CUDA 13.1 174,2 tok/s dieser LaufAMD 7.0.0-27-generic 3,0 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.