Google
Gemma-4-26B-A4B-it
Harnessbenchmark · gemessen am 17.07.2026 09:49
Benchmark-ID
run-20260722-161611-4b5bb6GodBrain MCP Deep 40 - Wissensbasis-Lebenszyklus 1.0MoE26BRuntime: godclawQuantisierung: Q8_0
Punkte2.271,00von 7.580,00
Punktequote29,96%
Aufgaben bestanden18von 40
Gesamtdauer982,00s
Einordnung im Feld
23von 30 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 24 % aller vergleichbaren Systeme.
Punktequote
30 %
-45 % vs Ø 54,4
Aufgaben bestanden
18
-3 % vs Ø 18,6
Gesamtdauer
982,0 s
-59 % vs Ø 2.395,9
Verteilung im Feld10 – 91 %
Wie schlägt sich dieser Benchmark?
Gemma-4-26B-A4B-it gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-12a767
82 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-9b7325
80 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-0064a9
76 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-798dcc
76 %
Gemma-4-26B-A4B-it gleiches ModellAMD GPU · run-20260722-161611-78ff78
74 %
MiniMax-M2.5-BF16-INT4-AWQNVIDIA GB10 · run-20260722-165444-51f2b3
71 %
Devstral-Small-2-24B-Instruct-2512AMD GPU · run-20260722-161611-23baf9
69 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-2a2c91
65 %
MiniMax-M2.53× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161610-99f36d
61 %
Gemma-4-26B-A4B-it dieser LaufAMD GPU · run-20260722-161611-4b5bb6
30 %
Hardware
GPU: AMD GPU · 0 GB VRAM
CPU: 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
RAM: 31 GB
Setup
Runtime: godclaw
Quantisierung: Q8_0
Modell: Gemma-4-26B-A4B-it
Aufgaben (40)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Entitätstypen erkunden | bestanden | 12 / 120 | 127,00 s |
| Rohdatentypen erkunden | bestanden | 103 / 120 | 7,00 s |
| Wissenskategorien auflisten | bestanden | 89 / 120 | 13,00 s |
| Aufgabenboards sichten | fehlgeschlagen | 114 / 130 | 7,00 s |
| Freitextsuche im Bestand | bestanden | 107 / 150 | 19,00 s |
| Firma anlegen | fehlgeschlagen | 20 / 200 | 193,00 s |
| Firma wiederfinden | bestanden | 96 / 150 | 22,00 s |
| Firma aktualisieren | bestanden | 146 / 200 | 21,00 s |
| Person anlegen | fehlgeschlagen | 158 / 180 | 8,00 s |
| Person wiederfinden | fehlgeschlagen | 126 / 150 | 9,00 s |
| Rolle verknüpfen | fehlgeschlagen | 195 / 220 | 10,00 s |
| Rolle ändern | fehlgeschlagen | 77 / 200 | 48,00 s |
| Fakt hinterlegen | fehlgeschlagen | 125 / 200 | 29,00 s |
| Fakt wiederfinden | fehlgeschlagen | 133 / 150 | 7,00 s |
| Fakt bestätigen | fehlgeschlagen | 20 / 200 | 76,00 s |
| Beziehung herstellen | fehlgeschlagen | 188 / 220 | 13,00 s |
| Beziehung ändern | fehlgeschlagen | 128 / 180 | 21,00 s |
| Wissenskategorie anlegen | bestanden | 128 / 180 | 21,00 s |
| Wissenseintrag anlegen | bestanden | 135 / 250 | 46,00 s |
| Wissenseintrag suchen | bestanden | 125 / 150 | 10,00 s |
| Wissenseintrag per ID lesen | bestanden | 113 / 150 | 15,00 s |
| Wissenseintrag erweitern | bestanden | 151 / 200 | 19,00 s |
| Versionsstände prüfen | bestanden | 193 / 250 | 23,00 s |
| Board-Struktur verstehen | fehlgeschlagen | 160 / 180 | 8,00 s |
| Kachel anlegen | fehlgeschlagen | 198 / 220 | 9,00 s |
| Aufgabe anlegen | fehlgeschlagen | 190 / 220 | 12,00 s |
| Aufgabe ändern und prüfen | fehlgeschlagen | 198 / 220 | 9,00 s |
| ToDo-Liste anlegen | bestanden | 158 / 180 | 9,00 s |
| ToDo-Punkte anlegen | bestanden | 156 / 200 | 17,00 s |
| ToDo-Punkt abhaken | bestanden | 156 / 200 | 17,00 s |
| Rohdatensatz anlegen | fehlgeschlagen | 172 / 200 | 11,00 s |
| Rohdaten-Status setzen | fehlgeschlagen | 172 / 200 | 11,00 s |
| Notizen sichten | bestanden | 116 / 150 | 14,00 s |
| Mail-Integrationen sichten | bestanden | 133 / 150 | 7,00 s |
| Aufräumen: Beziehung + Fakt | fehlgeschlagen | 190 / 220 | 12,00 s |
| Aufräumen: Rolle + Person | fehlgeschlagen | 185 / 220 | 14,00 s |
| Aufräumen: Firma | fehlgeschlagen | 167 / 200 | 13,00 s |
| Aufräumen: Wissenseintrag | bestanden | 154 / 200 | 18,00 s |
| Aufräumen: Kanban + ToDo | fehlgeschlagen | 225 / 250 | 10,00 s |
| Endkontrolle Rückstandsfreiheit | fehlgeschlagen | 234 / 300 | 27,00 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Gemma-4-26B-A4B-it
# Engine : llama.cpp
# Run-ID : run-20260722-161611-4b5bb6
# GPU : AMD GPU
# CPU : 32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S
# RAM : 31 GB
bench@llm-benchmark:~$ /home/godcore/llama.cpp/build-rocm/bin/llama-server \
--model /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf \
--alias google/gemma-4-26B-A4B-it \
--host 0.0.0.0 \
--port 8000 \
--ctx-size 65536 \
--parallel 2 \
--gpu-layers 999 \
--flash-attn auto \
--cache-type-k q8_0 \
--cache-type-v q8_0 \
--reasoning off \
--jinja
| Engine | llamacpp |
| Modellalias | google/gemma-4-26B-A4B-it |
| Kontextlaenge | 65536 |
| Modellpfad | /home/godcore/models/gemma4/gemma-4-26B-A4B-it-Q8_0.gguf |
| Parallel | 2 |
| GPU-Layer | 999 |
| Flash Attention | auto |
| K-Cache-Typ | q8_0 |
| V-Cache-Typ | q8_0 |
| Reasoning | off |
| Jinja | aktiv |
