Contributed byMario AlkaMistral AI Devstral-Small-2-24B-Instruct-2512
Harness benchmark · measured on 17.07.2026 13:33
Benchmark-ID
run-20260722-161611-798dccGodBrain MCP Deep 40 - Wissensbasis-Lebenszyklus 1.0Dense24BRuntime: godclawQuantisierung: Q8_0
Points5.738,00von 7.580,00
Points rate75,70%
Tasks passed40von 40
Total duration1.879,00s
Ranking in the field
5of 13 systems
Harness benchmark · Primary metric: Score rate (%)
This run is better than 67 % of all comparable systems.
Score rate
76 %
+50 % vs Ø 50,4
Tasks passed
40
+94 % vs Ø 20,6
Total duration
1.879,0 s
-39 % vs Ø 3.076,5
Distribution in the field10 – 87 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Devstral-Small-2-24B-Instruct-2512 same modelAMD Radeon 8060S Graphics · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-12a767
82 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-9b7325
80 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512 this runAMD Radeon 8060S Graphics · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-78ff78
74 %
Devstral-Small-2-24B-Instruct-2512 same modelAMD Radeon 8060S Graphics · run-20260722-161611-23baf9
69 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-4b5bb6
30 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161612-4aa240
25 %
Devstral-Small-2-24B-Instruct-2512 same modelAMD Radeon 8060S Graphics · run-20260722-161612-46dd0c
24 %
Qwen2.5-32B-Instruct-AWQAMD Radeon 8060S Graphics · run-20260722-161610-de118a
13 %
gemma-4-31B-itAMD Radeon 8060S Graphics · run-20260722-161611-227dd8
10 %
Qwen2.5-32B-Instruct-AWQAMD Radeon 8060S Graphics · run-20260722-161610-75ccf8
10 %
Hardware
GPU: AMD Radeon 8060S Graphics
CPU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
RAM: 31 GB
Mainboard: Bosgame AXB35-02 (BeyondMax Series)
Setup
Runtime: godclaw
Quantization: Q8_0
Model: Devstral-Small-2-24B-Instruct-2512
Aufgaben (40)
| Task | Status | Points | Duration |
|---|---|---|---|
| Entitätstypen erkunden | passed | 84 / 120 | 15,00 s |
| Rohdatentypen erkunden | passed | 79 / 120 | 17,00 s |
| Wissenskategorien auflisten | passed | 67 / 120 | 22,00 s |
| Aufgabenboards sichten | passed | 53 / 130 | 33,00 s |
| Freitextsuche im Bestand | passed | 85 / 150 | 29,00 s |
| Firma anlegen | passed | 159 / 200 | 16,00 s |
| Firma wiederfinden | passed | 118 / 150 | 13,00 s |
| Firma aktualisieren | passed | 161 / 200 | 15,00 s |
| Person anlegen | passed | 167 / 180 | 5,00 s |
| Person wiederfinden | passed | 118 / 150 | 12,00 s |
| Rolle verknüpfen | passed | 198 / 220 | 9,00 s |
| Rolle ändern | passed | 177 / 200 | 9,00 s |
| Fakt hinterlegen | passed | 154 / 200 | 18,00 s |
| Fakt wiederfinden | passed | 116 / 150 | 14,00 s |
| Fakt bestätigen | passed | 174 / 200 | 10,00 s |
| Beziehung herstellen | passed | 200 / 220 | 8,00 s |
| Beziehung ändern | passed | 158 / 180 | 9,00 s |
| Wissenskategorie anlegen | passed | 155 / 180 | 10,00 s |
| Wissenseintrag anlegen | passed | 195 / 250 | 22,00 s |
| Wissenseintrag suchen | passed | 121 / 150 | 12,00 s |
| Wissenseintrag per ID lesen | passed | 130 / 150 | 8,00 s |
| Wissenseintrag erweitern | passed | 177 / 200 | 9,00 s |
| Versionsstände prüfen | passed | 228 / 250 | 9,00 s |
| Board-Struktur verstehen | passed | 95 / 180 | 34,00 s |
| Kachel anlegen | passed | 180 / 220 | 16,00 s |
| Aufgabe anlegen | passed | 200 / 220 | 8,00 s |
| Aufgabe ändern und prüfen | passed | 203 / 220 | 7,00 s |
| ToDo-Liste anlegen | passed | 155 / 180 | 10,00 s |
| ToDo-Punkte anlegen | passed | 115 / 200 | 33,00 s |
| ToDo-Punkt abhaken | passed | 159 / 200 | 16,00 s |
| Rohdatensatz anlegen | passed | 136 / 200 | 25,00 s |
| Rohdaten-Status setzen | passed | 151 / 200 | 19,00 s |
| Notizen sichten | passed | 118 / 150 | 13,00 s |
| Mail-Integrationen sichten | passed | 138 / 150 | 5,00 s |
| Aufräumen: Beziehung + Fakt | passed | 203 / 220 | 7,00 s |
| Aufräumen: Rolle + Person | passed | 205 / 220 | 6,00 s |
| Aufräumen: Firma | passed | 177 / 200 | 9,00 s |
| Aufräumen: Wissenseintrag | passed | 174 / 200 | 10,00 s |
| Aufräumen: Kanban + ToDo | passed | 25 / 250 | 659,00 s |
| Endkontrolle Rückstandsfreiheit | passed | 30 / 300 | 678,00 s |
Configuration
# LLM-Benchmark Konfiguration
# Modell : Devstral-Small-2-24B-Instruct-2512
# Engine : llama.cpp
# Run-ID : run-20260722-161611-798dcc
# GPU : AMD Radeon 8060S Graphics
# CPU : AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
# RAM : 31 GB
bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \
--model /home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf \
--alias mistralai/Devstral-Small-2-24B-Instruct-2512 \
--host 0.0.0.0 \
--port 8000 \
--ctx-size 131072 \
--parallel 1 \
--temp 0.2 \
--repeat-penalty 1.05 \
--repeat-last-n 256 \
--gpu-layers 99 \
--flash-attn on \
--jinja \
--chat-template-file /home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja \
--threads 8 \
--threads-batch 16
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | llamacpp |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | mistralai/Devstral-Small-2-24B-Instruct-2512 |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 131072 |
| Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird. | /home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf |
| Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt. | 1 |
| Temperatur?Sampling-Temperatur. Hoeher = kreativer/zufaelliger, niedriger = deterministischer. 0 = greedy. | 0.2 |
| Repeat-Penalty?Straffaktor gegen Token-Wiederholungen. 1.0 = keine Strafe, hoeher = staerker. | 1.05 |
| Repeat-Last-N?Anzahl der letzten Token, die fuer die Wiederholungsstrafe betrachtet werden. 0 = aus, -1 = gesamter Kontext. | 256 |
| GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU. | 99 |
| Flash Attention?FlashAttention fuer schnellere und speichersparende Attention. Wert on/off/auto je nach Build. | on |
| Jinja?Nutzt die im Modell eingebettete Jinja-Chat-Vorlage fuer korrekte Rollen-, Tool- und Reasoning-Formatierung. | aktiv |
| Chat-Template?Pfad zu einer externen Chat-Template-Datei. Ueberschreibt die im Modell eingebettete Vorlage. | /home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja |
| Threads?Anzahl CPU-Threads fuer die Token-Generierung (Decode). | 8 |
| Batch-Threads?Anzahl CPU-Threads fuer Prompt-Verarbeitung und Batch (Prefill). | 16 |
Anzeige
Model comparison
Devstral-Small-2-24B-Instruct-2512 on various hardware
All published performance runs of this model – each bubble a variant: position = prefill (X) × generation (Y), bubble size = number of runs. Closer to the top right = faster. ★ Marked gold = this benchmark.
GPUby graphics card
NVIDIA RTX PRO 6000 Blackwell Workstation Edition 725,6 tok/sNVIDIA GeForce RTX 5090 620,3 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 569,7 tok/sNVIDIA RTX A6000 536,7 tok/sNVIDIA GeForce RTX 3090 Ti 331,6 tok/sAMD Radeon AI PRO R9700 206,3 tok/sAMD Radeon PRO W7900 Dual Slot 152,1 tok/sAMD Radeon PRO W7800 48GB 138,4 tok/sNVIDIA GeForce RTX 5070 Ti 108,5 tok/sNVIDIA Tesla P100 PCIe 16GB 23,3 tok/s★ AMD Radeon 8060S Graphics 8,9 tok/s this run
CPUby processor
AMD Ryzen 9 9950X 16-Core Processor 725,6 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 620,3 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 569,7 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 536,7 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 331,6 tok/sAMD Ryzen 5 5600X 6-Core Processor 247,7 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 152,1 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 23,3 tok/s★ AMD RYZEN AI MAX+ 395 w/ Radeon 8060S 8,9 tok/s this run
MBby mainboard
ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 725,6 tok/sASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 620,3 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 569,7 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 331,6 tok/sASUSTeK COMPUTER INC. PRIME A520M-K 247,7 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 152,1 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd F1FXM (DeskMini Series) 23,3 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 8,9 tok/s★ Bosgame AXB35-02 (BeyondMax Series) 8,9 tok/s this run
DRVby driver
unbekannt 725,6 tok/sAMD 7.0.0-27-generic 29,4 tok/sROCm 7.2.0 8,9 tok/s
Contributed by
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.