Google
Gemma-4-26B-A4B-it
Harnessbenchmark · gemessen am 16.07.2026 07:55
Benchmark-ID
run-20260722-161611-0064a9Tool Usage Standard 1.0MoE26BRuntime: godclawQuantisierung: Q8_0
Punkte2.268,00von 2.980,00
Punktequote76,11%
Aufgaben bestanden16von 16
Gesamtdauer347,00s
Einordnung im Feld
7von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 79 % aller vergleichbaren Systeme.
Punktequote
76 %
+40 % vs Ø 54,4
Aufgaben bestanden
16
-14 % vs Ø 18,6
Gesamtdauer
347,0 s
-86 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-it gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-it dieser LaufAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Hardware
GPU: AMD GPU · 0 GB VRAM
CPU: 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
RAM: 31 GB
Setup
Runtime: godclaw
Quantisierung: Q8_0
Modell: Gemma-4-26B-A4B-it
Aufgaben (16)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Antwortzeit Test | bestanden | 35 / 50 | 5,00 s |
| Format Test | bestanden | 70 / 80 | 4,00 s |
| Dateisystem Setup | bestanden | 98 / 120 | 9,00 s |
| Daten Generierung | bestanden | 141 / 150 | 4,00 s |
| Parsing + Transformation | bestanden | 108 / 200 | 46,00 s |
| Fehlerbehandlung JSON | bestanden | 15 / 150 | 112,00 s |
| Python Tool Usage | bestanden | 176 / 220 | 20,00 s |
| PHP Tool Usage | bestanden | 183 / 220 | 17,00 s |
| Export + Reimport | bestanden | 213 / 240 | 15,00 s |
| Archivierung | bestanden | 148 / 180 | 12,00 s |
| Hash Berechnung | bestanden | 154 / 200 | 19,00 s |
| Textsuche | bestanden | 167 / 180 | 5,00 s |
| Idempotenz Test | bestanden | 211 / 220 | 4,00 s |
| Rechte Problem | bestanden | 110 / 220 | 50,00 s |
| Final JSON | bestanden | 223 / 250 | 11,00 s |
| Finale Ausgabe | bestanden | 216 / 300 | 14,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Gemma-4-26B-A4B-it
# Engine : llama.cpp
# Run-ID : run-20260722-161611-0064a9
# GPU : AMD GPU
# CPU : 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
# RAM : 31 GB
bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \
--model /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf \
--alias google/gemma-4-26B-A4B-it \
--host 0.0.0.0 \
--port 8000 \
--ctx-size 65536 \
--parallel 2 \
--gpu-layers 999 \
--flash-attn auto \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--reasoning off \
--jinja
| Engine | llamacpp |
| Modellalias | google/gemma-4-26B-A4B-it |
| Kontextlaenge | 65536 |
| Modellpfad | /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf |
| Parallel | 2 |
| GPU-Layer | 999 |
| Flash Attention | auto |
| K-Cache-Typ | q8_0 |
| V-Cache-Typ | q8_0 |
| Reasoning | off |
| Jinja | aktiv |