Beigesteuert vonMario AlkaAleph Alpha Kolibri-1
Harnessbenchmark · gemessen am 08.10.2026 14:43
Benchmark-ID
run-20261008-165122-c5dea7Office Agentic Work 100 - Tool Usage V1MoE78.1BRuntime: officeagentic100Quantisierung: NVFP4
ℹ
Öffentliche Anmerkung: Import von100 echten Agentenlaeufen,10 Workflowfamilien x10 parametrisierte Faelle, synthetische Buero-CRUD-Sandbox. Thinking medium,4096 Tokens/Runde,16 Runden,48 Tools,3 parallele Tasks. Exakter Endzustand+Quellen gelesen+keine unerlaubte Zwischenmutation+normaler Abschluss. Finale Sprachqualitaet nicht automatisch benotet. Kein realer Mailversand. Vollstaendige Protokolle/Designscreenshots (qualitativ, ohne Punktzahl)
Punkte100,00von 100,00
Punktequote100,00%
Aufgaben bestanden100von 100
Gesamtdauer547,73s
Einordnung im Feld
1von 27 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 85 % aller vergleichbaren Systeme.
Punktequote
100 %
+40 % vs Ø 71,5
Aufgaben bestanden
100
-12 % vs Ø 113,7
Gesamtdauer
547,7 s
-53 % vs Ø 1.169,9
Verteilung im Feld37 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Kolibri-1 dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)
Setup
Runtime: officeagentic100
Quantisierung: NVFP4
Modell: Kolibri-1
Aufgaben (100)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| Ausgabenfreigabe-01 | bestanden | 1 / 1 | 6,57 s |
| Ausgabenfreigabe-02 | bestanden | 1 / 1 | 6,24 s |
| Ausgabenfreigabe-03 | bestanden | 1 / 1 | 7,53 s |
| Ausgabenfreigabe-04 | bestanden | 1 / 1 | 7,25 s |
| Ausgabenfreigabe-05 | bestanden | 1 / 1 | 4,78 s |
| Ausgabenfreigabe-06 | bestanden | 1 / 1 | 8,05 s |
| Ausgabenfreigabe-07 | bestanden | 1 / 1 | 6,72 s |
| Ausgabenfreigabe-08 | bestanden | 1 / 1 | 7,19 s |
| Ausgabenfreigabe-09 | bestanden | 1 / 1 | 4,86 s |
| Ausgabenfreigabe-10 | bestanden | 1 / 1 | 6,21 s |
| Bestandsplanung-01 | bestanden | 1 / 1 | 4,33 s |
| Bestandsplanung-02 | bestanden | 1 / 1 | 4,94 s |
| Bestandsplanung-03 | bestanden | 1 / 1 | 5,40 s |
| Bestandsplanung-04 | bestanden | 1 / 1 | 5,77 s |
| Bestandsplanung-05 | bestanden | 1 / 1 | 4,86 s |
| Bestandsplanung-06 | bestanden | 1 / 1 | 5,75 s |
| Bestandsplanung-07 | bestanden | 1 / 1 | 7,11 s |
| Bestandsplanung-08 | bestanden | 1 / 1 | 5,88 s |
| Bestandsplanung-09 | bestanden | 1 / 1 | 5,63 s |
| Bestandsplanung-10 | bestanden | 1 / 1 | 6,61 s |
| CRM_Pflege-01 | bestanden | 1 / 1 | 3,90 s |
| CRM_Pflege-02 | bestanden | 1 / 1 | 4,85 s |
| CRM_Pflege-03 | bestanden | 1 / 1 | 4,41 s |
| CRM_Pflege-04 | bestanden | 1 / 1 | 4,51 s |
| CRM_Pflege-05 | bestanden | 1 / 1 | 4,43 s |
| CRM_Pflege-06 | bestanden | 1 / 1 | 4,29 s |
| CRM_Pflege-07 | bestanden | 1 / 1 | 4,17 s |
| CRM_Pflege-08 | bestanden | 1 / 1 | 5,32 s |
| CRM_Pflege-09 | bestanden | 1 / 1 | 5,74 s |
| CRM_Pflege-10 | bestanden | 1 / 1 | 4,07 s |
| Dokumentversionen-01 | bestanden | 1 / 1 | 3,47 s |
| Dokumentversionen-02 | bestanden | 1 / 1 | 4,57 s |
| Dokumentversionen-03 | bestanden | 1 / 1 | 4,13 s |
| Dokumentversionen-04 | bestanden | 1 / 1 | 3,92 s |
| Dokumentversionen-05 | bestanden | 1 / 1 | 4,02 s |
| Dokumentversionen-06 | bestanden | 1 / 1 | 3,65 s |
| Dokumentversionen-07 | bestanden | 1 / 1 | 3,74 s |
| Dokumentversionen-08 | bestanden | 1 / 1 | 4,03 s |
| Dokumentversionen-09 | bestanden | 1 / 1 | 3,30 s |
| Dokumentversionen-10 | bestanden | 1 / 1 | 3,80 s |
| Email_zu_Aufgabe-01 | bestanden | 1 / 1 | 3,99 s |
| Email_zu_Aufgabe-02 | bestanden | 1 / 1 | 5,66 s |
| Email_zu_Aufgabe-03 | bestanden | 1 / 1 | 4,25 s |
| Email_zu_Aufgabe-04 | bestanden | 1 / 1 | 4,99 s |
| Email_zu_Aufgabe-05 | bestanden | 1 / 1 | 5,20 s |
| Email_zu_Aufgabe-06 | bestanden | 1 / 1 | 4,01 s |
| Email_zu_Aufgabe-07 | bestanden | 1 / 1 | 4,45 s |
| Email_zu_Aufgabe-08 | bestanden | 1 / 1 | 5,16 s |
| Email_zu_Aufgabe-09 | bestanden | 1 / 1 | 4,31 s |
| Email_zu_Aufgabe-10 | bestanden | 1 / 1 | 4,70 s |
| Kontaktdubletten-01 | bestanden | 1 / 1 | 4,03 s |
| Kontaktdubletten-02 | bestanden | 1 / 1 | 5,07 s |
| Kontaktdubletten-03 | bestanden | 1 / 1 | 5,41 s |
| Kontaktdubletten-04 | bestanden | 1 / 1 | 4,80 s |
| Kontaktdubletten-05 | bestanden | 1 / 1 | 5,02 s |
| Kontaktdubletten-06 | bestanden | 1 / 1 | 4,84 s |
| Kontaktdubletten-07 | bestanden | 1 / 1 | 4,09 s |
| Kontaktdubletten-08 | bestanden | 1 / 1 | 4,96 s |
| Kontaktdubletten-09 | bestanden | 1 / 1 | 4,76 s |
| Kontaktdubletten-10 | bestanden | 1 / 1 | 5,45 s |
| Terminplanung-01 | bestanden | 1 / 1 | 10,06 s |
| Terminplanung-02 | bestanden | 1 / 1 | 9,95 s |
| Terminplanung-03 | bestanden | 1 / 1 | 9,13 s |
| Terminplanung-04 | bestanden | 1 / 1 | 9,09 s |
| Terminplanung-05 | bestanden | 1 / 1 | 8,72 s |
| Terminplanung-06 | bestanden | 1 / 1 | 9,17 s |
| Terminplanung-07 | bestanden | 1 / 1 | 8,32 s |
| Terminplanung-08 | bestanden | 1 / 1 | 9,17 s |
| Terminplanung-09 | bestanden | 1 / 1 | 8,32 s |
| Terminplanung-10 | bestanden | 1 / 1 | 7,52 s |
| Terminverschiebung-01 | bestanden | 1 / 1 | 5,22 s |
| Terminverschiebung-02 | bestanden | 1 / 1 | 5,17 s |
| Terminverschiebung-03 | bestanden | 1 / 1 | 4,51 s |
| Terminverschiebung-04 | bestanden | 1 / 1 | 5,66 s |
| Terminverschiebung-05 | bestanden | 1 / 1 | 4,54 s |
| Terminverschiebung-06 | bestanden | 1 / 1 | 5,96 s |
| Terminverschiebung-07 | bestanden | 1 / 1 | 6,52 s |
| Terminverschiebung-08 | bestanden | 1 / 1 | 6,42 s |
| Terminverschiebung-09 | bestanden | 1 / 1 | 5,29 s |
| Terminverschiebung-10 | bestanden | 1 / 1 | 5,12 s |
| Toolfehler_Recovery-01 | bestanden | 1 / 1 | 5,67 s |
| Toolfehler_Recovery-02 | bestanden | 1 / 1 | 3,86 s |
| Toolfehler_Recovery-03 | bestanden | 1 / 1 | 4,64 s |
| Toolfehler_Recovery-04 | bestanden | 1 / 1 | 4,05 s |
| Toolfehler_Recovery-05 | bestanden | 1 / 1 | 4,55 s |
| Toolfehler_Recovery-06 | bestanden | 1 / 1 | 3,46 s |
| Toolfehler_Recovery-07 | bestanden | 1 / 1 | 3,48 s |
| Toolfehler_Recovery-08 | bestanden | 1 / 1 | 5,64 s |
| Toolfehler_Recovery-09 | bestanden | 1 / 1 | 6,19 s |
| Toolfehler_Recovery-10 | bestanden | 1 / 1 | 3,59 s |
| Vertraulichkeit_Entwurf-01 | bestanden | 1 / 1 | 5,00 s |
| Vertraulichkeit_Entwurf-02 | bestanden | 1 / 1 | 4,84 s |
| Vertraulichkeit_Entwurf-03 | bestanden | 1 / 1 | 4,77 s |
| Vertraulichkeit_Entwurf-04 | bestanden | 1 / 1 | 4,79 s |
| Vertraulichkeit_Entwurf-05 | bestanden | 1 / 1 | 13,19 s |
| Vertraulichkeit_Entwurf-06 | bestanden | 1 / 1 | 5,88 s |
| Vertraulichkeit_Entwurf-07 | bestanden | 1 / 1 | 4,46 s |
| Vertraulichkeit_Entwurf-08 | bestanden | 1 / 1 | 4,75 s |
| Vertraulichkeit_Entwurf-09 | bestanden | 1 / 1 | 5,37 s |
| Vertraulichkeit_Entwurf-10 | bestanden | 1 / 1 | 4,56 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Kolibri-1
# Run-ID : run-20261008-165122-c5dea7
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen 9 7945HX with Radeon Graphics
# RAM : 60 GB
bench@llm-benchmark:~$ cat benchmark.conf
execution_type local
| execution_type | local |
Anzeige
Modell-Vergleich
Kolibri-1 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
CPUnach Prozessor
MBnach Mainboard
DRVnach Treiber
unbekannt 1.044,4 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.