Aufgabe	Status	Punkte	Dauer
Antwortzeit	bestanden	5 / 50	28,00 s
Strukturierte Ausgabe	bestanden	7 / 70	37,00 s
Arbeitsverzeichnis anlegen	bestanden	10 / 100	99,00 s
Quelldatei schreiben	bestanden	12 / 120	308,00 s
Gezielt lesen	bestanden	72 / 100	11,00 s
Zählen im Dateisystem	bestanden	99 / 130	12,00 s
CSV erzeugen	bestanden	80 / 180	43,00 s
CSV nach JSON	bestanden	70 / 220	68,00 s
Defektes JSON diagnostizieren	bestanden	60 / 180	52,00 s
Datenfilter	bestanden	185 / 220	16,00 s
Prüfsummen	bestanden	131 / 180	21,00 s
Archiv packen	bestanden	161 / 180	8,00 s
Internetrecherche Fakt	bestanden	172 / 220	22,00 s
Internetrecherche Vergleich	bestanden	217 / 250	16,00 s
Webseite auswerten	bestanden	176 / 220	22,00 s
Rechercheergebnis sichern	bestanden	36 / 200	73,00 s
Wissenseintrag anlegen	bestanden	183 / 300	52,00 s
Wissenseintrag wiederfinden	bestanden	115 / 200	38,00 s
Wissenseintrag erweitern	bestanden	228 / 250	10,00 s
Versionierung prüfen	bestanden	191 / 220	13,00 s
Kategorien erkunden	bestanden	148 / 180	14,00 s
Aufgabenboards sichten	bestanden	178 / 200	10,00 s
Aufgabe erstellen	bestanden	239 / 250	5,00 s
Aufgabenliste anlegen	bestanden	219 / 250	14,00 s
Aufgabenliste prüfen	bestanden	141 / 180	17,00 s
Organisation erfassen	bestanden	214 / 250	16,00 s
Fakt hinterlegen	bestanden	232 / 250	8,00 s
Verknüpfung herstellen	bestanden	236 / 280	19,00 s
Bestand durchsuchen	bestanden	198 / 220	10,00 s
Erkenntnis merken	bestanden	171 / 200	13,00 s
Erkenntnis abrufen	bestanden	159 / 180	9,00 s
Titelbild erzeugen	bestanden	222 / 250	15,00 s
Zweitmeinung einholen	bestanden	25 / 250	465,00 s
Kette: Recherche in Datei	bestanden	185 / 250	29,00 s
Kette: Datei ins Wissen	bestanden	255 / 280	12,00 s
Konsistenzprüfung	bestanden	198 / 250	23,00 s
Fehlerfall ehrlich melden	bestanden	185 / 200	6,00 s
Abschlussbericht	bestanden	28 / 280	148,00 s
Gezielt aufräumen	bestanden	22 / 220	220,00 s
Selbstauskunft	bestanden	164 / 200	16,00 s

Konfiguration

benchmark-konfiguration — run-20260722-161611-23baf9

# LLM-Benchmark Konfiguration # Modell : Devstral-Small-2-24B-Instruct-2512 # Engine : llama.cpp # Run-ID : run-20260722-161611-23baf9 # GPU : AMD Radeon 8060S Graphics # CPU : AMD RYZEN AI MAX+ 395 w/ Radeon 8060S # RAM : 31 GB bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \ --model /home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf \ --alias mistralai/Devstral-Small-2-24B-Instruct-2512 \ --host 0.0.0.0 \ --port 8000 \ --ctx-size 131072 \ --parallel 1 \ --temp 0.2 \ --repeat-penalty 1.05 \ --repeat-last-n 256 \ --gpu-layers 99 \ --flash-attn on \ --jinja \ --chat-template-file /home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja \ --threads 8 \ --threads-batch 16

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	mistralai/Devstral-Small-2-24B-Instruct-2512
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	131072
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.	/home/godcore/models/devstral-small-2-24b-q8_0-gguf/Devstral-Small-2-24B-Instruct-2512-Q8_0.gguf
Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt.	1
Temperatur?Sampling-Temperatur. Hoeher = kreativer/zufaelliger, niedriger = deterministischer. 0 = greedy.	0.2
Repeat-Penalty?Straffaktor gegen Token-Wiederholungen. 1.0 = keine Strafe, hoeher = staerker.	1.05
Repeat-Last-N?Anzahl der letzten Token, die fuer die Wiederholungsstrafe betrachtet werden. 0 = aus, -1 = gesamter Kontext.	256
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.	99
Flash Attention?FlashAttention fuer schnellere und speichersparende Attention. Wert on/off/auto je nach Build.	on
Jinja?Nutzt die im Modell eingebettete Jinja-Chat-Vorlage fuer korrekte Rollen-, Tool- und Reasoning-Formatierung.	aktiv
Chat-Template?Pfad zu einer externen Chat-Template-Datei. Ueberschreibt die im Modell eingebettete Vorlage.	/home/godcore/models/devstral-small-2-24b-q8_0-gguf/chat_template.jinja
Threads?Anzahl CPU-Threads fuer die Token-Generierung (Decode).	8
Batch-Threads?Anzahl CPU-Threads fuer Prompt-Verarbeitung und Batch (Prefill).	16

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

Devstral-Small-2-24B-Instruct-2512 auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

NVIDIA RTX PRO 6000 Blackwell Workstation Edition 725,6 tok/sNVIDIA GeForce RTX 5090 620,3 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 569,7 tok/sNVIDIA RTX A6000 536,7 tok/sNVIDIA GeForce RTX 3090 Ti 331,6 tok/sAMD Radeon AI PRO R9700 206,3 tok/sAMD Radeon PRO W7900 Dual Slot 152,1 tok/sAMD Radeon PRO W7800 48GB 138,4 tok/sNVIDIA GeForce RTX 5070 Ti 108,5 tok/sNVIDIA Tesla P100 PCIe 16GB 23,3 tok/s★ AMD Radeon 8060S Graphics 8,9 tok/s dieser Lauf

CPUnach Prozessor

AMD Ryzen 9 9950X 16-Core Processor 725,6 tok/sAMD Ryzen 7 5800X3D 8-Core Processor 620,3 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 569,7 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 536,7 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 331,6 tok/sAMD Ryzen 5 5600X 6-Core Processor 247,7 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 152,1 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 23,3 tok/s★ AMD RYZEN AI MAX+ 395 w/ Radeon 8060S 8,9 tok/s dieser Lauf

MBnach Mainboard

ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 725,6 tok/sASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 620,3 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 569,7 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 331,6 tok/sASUSTeK COMPUTER INC. PRIME A520M-K 247,7 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 152,1 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd F1FXM (DeskMini Series) 23,3 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 8,9 tok/s★ Bosgame AXB35-02 (BeyondMax Series) 8,9 tok/s dieser Lauf

ENGnach Engine

vLLM 725,6 tok/s★ llama.cpp 645,1 tok/s dieser Laufunbekannt 247,7 tok/s

DRVnach Treiber

unbekannt 725,6 tok/sAMD 7.0.0-27-generic 29,4 tok/sROCm 7.2.0 8,9 tok/s

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.