Mistral AI
Devstral-Small-2-24B-Instruct-2512
Harnessbenchmark · gemessen am 19.07.2026 22:54
Benchmark-ID
run-20260722-161612-46dd0cTool-Parcours Dossier 40 V1.0Dense24BRuntime: godclawQuantisierung: Q8_0
Punkte1.436,00von 5.960,00
Punktequote24,09%
Aufgaben bestanden21von 40
Gesamtdauer8.887,00s
Einordnung im Feld
26von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 14 % aller vergleichbaren Systeme.
Punktequote
24 %
-56 % vs Ø 54,4
Aufgaben bestanden
21
+13 % vs Ø 18,6
Gesamtdauer
8.887,0 s
+271 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512 gleiches ModellAMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512 gleiches ModellAMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512 gleiches ModellAMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Devstral-Small-2-24B-Instruct-2512 dieser LaufAMD GPU · run-20260722-161612-46dd0c
24 %
Hardware
GPU: AMD GPU · 0 GB VRAM
CPU: 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
RAM: 31 GB
Setup
Runtime: godclaw
Quantisierung: Q8_0
Modell: Devstral-Small-2-24B-Instruct-2512
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Arbeitsstruktur anlegen | bestanden | 5 / 50 | 7.224,00 s |
| Startdatei schreiben | fehlgeschlagen | 0 / 60 | 22,00 s |
| Datei zuruecklesen | bestanden | 5 / 50 | 15,00 s |
| CSV mit Testdaten | bestanden | 25 / 80 | 23,00 s |
| Struktur pruefen | bestanden | 33 / 60 | 10,00 s |
| Recherche RAG | bestanden | 94 / 150 | 25,00 s |
| Recherche Hersteller | bestanden | 101 / 120 | 8,00 s |
| Recherche sichern | bestanden | 10 / 100 | 33,00 s |
| Webseite auswerten | fehlgeschlagen | 0 / 140 | 47,00 s |
| Seite im Browser oeffnen | fehlgeschlagen | 0 / 180 | 18,00 s |
| Modellvergleich | bestanden | 20 / 200 | 159,00 s |
| Quellenliste | fehlgeschlagen | 0 / 90 | 25,00 s |
| Wissenskategorien sichten | bestanden | 46 / 100 | 18,00 s |
| Wissenseintrag anlegen | fehlgeschlagen | 0 / 220 | 37,00 s |
| Wissenseintrag pruefen | bestanden | 93 / 120 | 10,00 s |
| Wissenseintrag ergaenzen | fehlgeschlagen | 0 / 200 | 8,00 s |
| Versionen zaehlen | bestanden | 120 / 140 | 7,00 s |
| Wissen durchsuchen | fehlgeschlagen | 0 / 130 | 37,00 s |
| Firma erfassen | fehlgeschlagen | 0 / 180 | 194,00 s |
| Person verknuepfen | fehlgeschlagen | 0 / 220 | 208,00 s |
| Fakt hinterlegen | fehlgeschlagen | 0 / 160 | 21,00 s |
| Entitaet suchen | fehlgeschlagen | 0 / 140 | 8,00 s |
| Aufgabenliste anlegen | bestanden | 98 / 130 | 11,00 s |
| Aufgaben ergaenzen | bestanden | 88 / 170 | 32,00 s |
| Boards sichten | bestanden | 12 / 120 | 41,00 s |
| Board-Aufgabe anlegen | bestanden | 167 / 190 | 8,00 s |
| CSV nach JSON | fehlgeschlagen | 0 / 180 | 259,00 s |
| JSON validieren | bestanden | 95 / 140 | 16,00 s |
| Defektes JSON reparieren | fehlgeschlagen | 0 / 220 | 43,00 s |
| Pruefsummen | fehlgeschlagen | 0 / 160 | 52,00 s |
| Volltextsuche | fehlgeschlagen | 0 / 150 | 7,00 s |
| Archiv packen | fehlgeschlagen | 0 / 170 | 8,00 s |
| Bestandsaufnahme | bestanden | 53 / 120 | 25,00 s |
| Titelbild erzeugen | fehlgeschlagen | 0 / 250 | 18,00 s |
| Bild pruefen | fehlgeschlagen | 0 / 130 | 7,00 s |
| Merken | bestanden | 84 / 150 | 22,00 s |
| Erinnern | bestanden | 98 / 120 | 8,00 s |
| Fachfrage delegieren | bestanden | 23 / 230 | 111,00 s |
| Gesamtbericht | fehlgeschlagen | 0 / 240 | 48,00 s |
| Abschluss | bestanden | 166 / 200 | 14,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Devstral-Small-2-24B-Instruct-2512
# Engine : llama.cpp
# Run-ID : run-20260722-161612-46dd0c
# GPU : AMD GPU
# CPU : 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
# RAM : 31 GB
bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \
--model /home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf \
--alias mistralai/Devstral-Small-2-24B-Instruct-2512 \
--host 0.0.0.0 \
--port 8000 \
--ctx-size 131072 \
--parallel 1 \
--temp 0.2 \
--repeat-penalty 1.05 \
--repeat-last-n 256 \
--gpu-layers 99 \
--flash-attn on \
--jinja \
--chat-template-file /home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja \
--threads 8 \
--threads-batch 16
| Engine | llamacpp |
| Modellalias | mistralai/Devstral-Small-2-24B-Instruct-2512 |
| Kontextlaenge | 131072 |
| Modellpfad | /home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf |
| Parallel | 1 |
| Temperatur | 0.2 |
| Repeat-Penalty | 1.05 |
| Repeat-Last-N | 256 |
| GPU-Layer | 99 |
| Flash Attention | on |
| Jinja | aktiv |
| Chat-Template | /home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja |
| Threads | 8 |
| Batch-Threads | 16 |