Beigesteuert vonMario AlkaAleph Alpha Kolibri-1
Harnessbenchmark · gemessen am 08.10.2026 07:33
Benchmark-ID
run-20261008-125923-8d83d8Kolibri-Qwen Diverse Deterministic 210 V1.0MoE78.1BRuntime: deterministic210
⚠
Konfigurations-Hinweis: Es sind 2 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 2 GPUs koennte der Durchsatz deutlich hoeher liegen.
Punkte108,00von 210,00
Punktequote51,43%
Aufgaben bestanden108von 210
Gesamtdauer72,09s
Einordnung im Feld
21von 27 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 23 % aller vergleichbaren Systeme.
Punktequote
51 %
-28 % vs Ø 71,5
Aufgaben bestanden
108
-5 % vs Ø 113,7
Gesamtdauer
72,1 s
-94 % vs Ø 1.169,9
Verteilung im Feld37 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
Kolibri-1 dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-8d83d8
51 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)
Setup
Runtime: deterministic210
Quantisierung: -
Modell: Kolibri-1
Aufgaben (210)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| arithmetic-01 | bestanden | 1 / 1 | 1,03 s |
| arithmetic-02 | fehlgeschlagen | 0 / 1 | 1,03 s |
| arithmetic-03 | fehlgeschlagen | 0 / 1 | 1,06 s |
| arithmetic-04 | fehlgeschlagen | 0 / 1 | 1,03 s |
| arithmetic-05 | fehlgeschlagen | 0 / 1 | 1,03 s |
| arithmetic-06 | bestanden | 1 / 1 | 0,20 s |
| arithmetic-07 | fehlgeschlagen | 0 / 1 | 0,20 s |
| arithmetic-08 | fehlgeschlagen | 0 / 1 | 0,23 s |
| arithmetic-09 | fehlgeschlagen | 0 / 1 | 0,20 s |
| arithmetic-10 | fehlgeschlagen | 0 / 1 | 1,27 s |
| arithmetic-11 | bestanden | 1 / 1 | 0,20 s |
| arithmetic-12 | fehlgeschlagen | 0 / 1 | 0,21 s |
| arithmetic-13 | fehlgeschlagen | 0 / 1 | 0,21 s |
| arithmetic-14 | fehlgeschlagen | 0 / 1 | 0,18 s |
| arithmetic-15 | fehlgeschlagen | 0 / 1 | 0,20 s |
| ordering_logic-01 | fehlgeschlagen | 0 / 1 | 0,34 s |
| ordering_logic-02 | bestanden | 1 / 1 | 0,30 s |
| ordering_logic-03 | bestanden | 1 / 1 | 0,33 s |
| ordering_logic-04 | bestanden | 1 / 1 | 0,31 s |
| ordering_logic-05 | bestanden | 1 / 1 | 0,36 s |
| ordering_logic-06 | bestanden | 1 / 1 | 0,33 s |
| ordering_logic-07 | bestanden | 1 / 1 | 0,33 s |
| ordering_logic-08 | bestanden | 1 / 1 | 0,40 s |
| ordering_logic-09 | fehlgeschlagen | 0 / 1 | 0,41 s |
| ordering_logic-10 | bestanden | 1 / 1 | 0,40 s |
| ordering_logic-11 | bestanden | 1 / 1 | 0,40 s |
| ordering_logic-12 | bestanden | 1 / 1 | 0,35 s |
| ordering_logic-13 | bestanden | 1 / 1 | 0,35 s |
| ordering_logic-14 | bestanden | 1 / 1 | 0,41 s |
| ordering_logic-15 | bestanden | 1 / 1 | 0,41 s |
| extraction-01 | fehlgeschlagen | 0 / 1 | 0,53 s |
| extraction-02 | fehlgeschlagen | 0 / 1 | 0,59 s |
| extraction-03 | fehlgeschlagen | 0 / 1 | 0,61 s |
| extraction-04 | fehlgeschlagen | 0 / 1 | 0,52 s |
| extraction-05 | fehlgeschlagen | 0 / 1 | 0,54 s |
| extraction-06 | fehlgeschlagen | 0 / 1 | 0,46 s |
| extraction-07 | fehlgeschlagen | 0 / 1 | 0,53 s |
| extraction-08 | fehlgeschlagen | 0 / 1 | 0,57 s |
| extraction-09 | fehlgeschlagen | 0 / 1 | 0,54 s |
| extraction-10 | fehlgeschlagen | 0 / 1 | 0,52 s |
| extraction-11 | fehlgeschlagen | 0 / 1 | 0,49 s |
| extraction-12 | fehlgeschlagen | 0 / 1 | 0,53 s |
| extraction-13 | fehlgeschlagen | 0 / 1 | 0,48 s |
| extraction-14 | fehlgeschlagen | 0 / 1 | 0,86 s |
| extraction-15 | fehlgeschlagen | 0 / 1 | 0,90 s |
| code_comprehension-01 | bestanden | 1 / 1 | 0,20 s |
| code_comprehension-02 | fehlgeschlagen | 0 / 1 | 0,64 s |
| code_comprehension-03 | fehlgeschlagen | 0 / 1 | 0,58 s |
| code_comprehension-04 | bestanden | 1 / 1 | 0,68 s |
| code_comprehension-05 | bestanden | 1 / 1 | 0,30 s |
| code_comprehension-06 | bestanden | 1 / 1 | 0,30 s |
| code_comprehension-07 | fehlgeschlagen | 0 / 1 | 0,30 s |
| code_comprehension-08 | fehlgeschlagen | 0 / 1 | 0,27 s |
| code_comprehension-09 | fehlgeschlagen | 0 / 1 | 0,31 s |
| code_comprehension-10 | fehlgeschlagen | 0 / 1 | 0,23 s |
| code_comprehension-11 | bestanden | 1 / 1 | 0,25 s |
| code_comprehension-12 | fehlgeschlagen | 0 / 1 | 0,36 s |
| code_comprehension-13 | fehlgeschlagen | 0 / 1 | 0,35 s |
| code_comprehension-14 | bestanden | 1 / 1 | 0,43 s |
| code_comprehension-15 | fehlgeschlagen | 0 / 1 | 0,20 s |
| grounded_qa-01 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-02 | bestanden | 1 / 1 | 0,25 s |
| grounded_qa-03 | bestanden | 1 / 1 | 0,24 s |
| grounded_qa-04 | bestanden | 1 / 1 | 0,21 s |
| grounded_qa-05 | bestanden | 1 / 1 | 0,21 s |
| grounded_qa-06 | bestanden | 1 / 1 | 1,21 s |
| grounded_qa-07 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-08 | bestanden | 1 / 1 | 0,20 s |
| grounded_qa-09 | bestanden | 1 / 1 | 0,17 s |
| grounded_qa-10 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-11 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-12 | bestanden | 1 / 1 | 0,18 s |
| grounded_qa-13 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-14 | bestanden | 1 / 1 | 0,19 s |
| grounded_qa-15 | bestanden | 1 / 1 | 0,19 s |
| classification-01 | fehlgeschlagen | 0 / 1 | 0,23 s |
| classification-02 | fehlgeschlagen | 0 / 1 | 0,24 s |
| classification-03 | bestanden | 1 / 1 | 0,36 s |
| classification-04 | fehlgeschlagen | 0 / 1 | 0,32 s |
| classification-05 | fehlgeschlagen | 0 / 1 | 0,28 s |
| classification-06 | fehlgeschlagen | 0 / 1 | 0,27 s |
| classification-07 | fehlgeschlagen | 0 / 1 | 0,28 s |
| classification-08 | bestanden | 1 / 1 | 0,37 s |
| classification-09 | fehlgeschlagen | 0 / 1 | 0,32 s |
| classification-10 | bestanden | 1 / 1 | 0,34 s |
| classification-11 | bestanden | 1 / 1 | 0,36 s |
| classification-12 | bestanden | 1 / 1 | 0,35 s |
| classification-13 | fehlgeschlagen | 0 / 1 | 0,27 s |
| classification-14 | fehlgeschlagen | 0 / 1 | 0,35 s |
| classification-15 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-01 | fehlgeschlagen | 0 / 1 | 0,43 s |
| path_planning-02 | fehlgeschlagen | 0 / 1 | 0,37 s |
| path_planning-03 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-04 | fehlgeschlagen | 0 / 1 | 0,32 s |
| path_planning-05 | fehlgeschlagen | 0 / 1 | 0,26 s |
| path_planning-06 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-07 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-08 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-09 | fehlgeschlagen | 0 / 1 | 0,28 s |
| path_planning-10 | fehlgeschlagen | 0 / 1 | 0,30 s |
| path_planning-11 | fehlgeschlagen | 0 / 1 | 0,33 s |
| path_planning-12 | fehlgeschlagen | 0 / 1 | 0,32 s |
| path_planning-13 | fehlgeschlagen | 0 / 1 | 0,31 s |
| path_planning-14 | fehlgeschlagen | 0 / 1 | 0,32 s |
| path_planning-15 | fehlgeschlagen | 0 / 1 | 0,30 s |
| relational_query-01 | fehlgeschlagen | 0 / 1 | 0,21 s |
| relational_query-02 | bestanden | 1 / 1 | 0,21 s |
| relational_query-03 | fehlgeschlagen | 0 / 1 | 0,21 s |
| relational_query-04 | fehlgeschlagen | 0 / 1 | 0,21 s |
| relational_query-05 | fehlgeschlagen | 0 / 1 | 0,20 s |
| relational_query-06 | bestanden | 1 / 1 | 0,20 s |
| relational_query-07 | bestanden | 1 / 1 | 0,22 s |
| relational_query-08 | bestanden | 1 / 1 | 0,22 s |
| relational_query-09 | bestanden | 1 / 1 | 0,23 s |
| relational_query-10 | bestanden | 1 / 1 | 0,21 s |
| relational_query-11 | fehlgeschlagen | 0 / 1 | 0,21 s |
| relational_query-12 | bestanden | 1 / 1 | 0,22 s |
| relational_query-13 | fehlgeschlagen | 0 / 1 | 0,21 s |
| relational_query-14 | bestanden | 1 / 1 | 0,21 s |
| relational_query-15 | fehlgeschlagen | 0 / 1 | 0,18 s |
| date_time-01 | bestanden | 1 / 1 | 0,28 s |
| date_time-02 | fehlgeschlagen | 0 / 1 | 0,33 s |
| date_time-03 | fehlgeschlagen | 0 / 1 | 0,29 s |
| date_time-04 | fehlgeschlagen | 0 / 1 | 0,28 s |
| date_time-05 | fehlgeschlagen | 0 / 1 | 0,30 s |
| date_time-06 | fehlgeschlagen | 0 / 1 | 0,34 s |
| date_time-07 | bestanden | 1 / 1 | 0,31 s |
| date_time-08 | fehlgeschlagen | 0 / 1 | 0,32 s |
| date_time-09 | fehlgeschlagen | 0 / 1 | 0,30 s |
| date_time-10 | fehlgeschlagen | 0 / 1 | 0,30 s |
| date_time-11 | fehlgeschlagen | 0 / 1 | 0,34 s |
| date_time-12 | fehlgeschlagen | 0 / 1 | 0,33 s |
| date_time-13 | bestanden | 1 / 1 | 0,31 s |
| date_time-14 | fehlgeschlagen | 0 / 1 | 0,33 s |
| date_time-15 | fehlgeschlagen | 0 / 1 | 0,30 s |
| units-01 | bestanden | 1 / 1 | 0,21 s |
| units-02 | bestanden | 1 / 1 | 0,32 s |
| units-03 | bestanden | 1 / 1 | 0,24 s |
| units-04 | bestanden | 1 / 1 | 0,23 s |
| units-05 | bestanden | 1 / 1 | 0,21 s |
| units-06 | bestanden | 1 / 1 | 0,26 s |
| units-07 | bestanden | 1 / 1 | 0,29 s |
| units-08 | bestanden | 1 / 1 | 0,21 s |
| units-09 | bestanden | 1 / 1 | 0,22 s |
| units-10 | bestanden | 1 / 1 | 0,19 s |
| units-11 | bestanden | 1 / 1 | 0,27 s |
| units-12 | bestanden | 1 / 1 | 0,30 s |
| units-13 | bestanden | 1 / 1 | 0,23 s |
| units-14 | fehlgeschlagen | 0 / 1 | 0,24 s |
| units-15 | bestanden | 1 / 1 | 0,21 s |
| string_processing-01 | bestanden | 1 / 1 | 0,26 s |
| string_processing-02 | bestanden | 1 / 1 | 1,33 s |
| string_processing-03 | bestanden | 1 / 1 | 0,31 s |
| string_processing-04 | fehlgeschlagen | 0 / 1 | 0,23 s |
| string_processing-05 | bestanden | 1 / 1 | 0,22 s |
| string_processing-06 | bestanden | 1 / 1 | 0,29 s |
| string_processing-07 | fehlgeschlagen | 0 / 1 | 0,26 s |
| string_processing-08 | bestanden | 1 / 1 | 0,28 s |
| string_processing-09 | bestanden | 1 / 1 | 0,25 s |
| string_processing-10 | fehlgeschlagen | 0 / 1 | 0,24 s |
| string_processing-11 | bestanden | 1 / 1 | 0,28 s |
| string_processing-12 | bestanden | 1 / 1 | 0,27 s |
| string_processing-13 | fehlgeschlagen | 0 / 1 | 0,24 s |
| string_processing-14 | bestanden | 1 / 1 | 0,30 s |
| string_processing-15 | bestanden | 1 / 1 | 0,35 s |
| sets-01 | fehlgeschlagen | 0 / 1 | 0,22 s |
| sets-02 | bestanden | 1 / 1 | 0,31 s |
| sets-03 | fehlgeschlagen | 0 / 1 | 0,49 s |
| sets-04 | bestanden | 1 / 1 | 0,25 s |
| sets-05 | fehlgeschlagen | 0 / 1 | 0,25 s |
| sets-06 | fehlgeschlagen | 0 / 1 | 0,51 s |
| sets-07 | fehlgeschlagen | 0 / 1 | 0,23 s |
| sets-08 | fehlgeschlagen | 0 / 1 | 0,39 s |
| sets-09 | fehlgeschlagen | 0 / 1 | 1,33 s |
| sets-10 | bestanden | 1 / 1 | 0,22 s |
| sets-11 | fehlgeschlagen | 0 / 1 | 0,35 s |
| sets-12 | fehlgeschlagen | 0 / 1 | 0,49 s |
| sets-13 | bestanden | 1 / 1 | 0,24 s |
| sets-14 | fehlgeschlagen | 0 / 1 | 0,40 s |
| sets-15 | fehlgeschlagen | 0 / 1 | 0,30 s |
| constraint_selection-01 | bestanden | 1 / 1 | 1,29 s |
| constraint_selection-02 | bestanden | 1 / 1 | 0,29 s |
| constraint_selection-03 | bestanden | 1 / 1 | 0,27 s |
| constraint_selection-04 | bestanden | 1 / 1 | 0,25 s |
| constraint_selection-05 | bestanden | 1 / 1 | 0,26 s |
| constraint_selection-06 | bestanden | 1 / 1 | 0,25 s |
| constraint_selection-07 | bestanden | 1 / 1 | 0,28 s |
| constraint_selection-08 | bestanden | 1 / 1 | 0,30 s |
| constraint_selection-09 | bestanden | 1 / 1 | 0,29 s |
| constraint_selection-10 | bestanden | 1 / 1 | 0,28 s |
| constraint_selection-11 | bestanden | 1 / 1 | 0,26 s |
| constraint_selection-12 | bestanden | 1 / 1 | 0,25 s |
| constraint_selection-13 | bestanden | 1 / 1 | 0,25 s |
| constraint_selection-14 | bestanden | 1 / 1 | 0,25 s |
| constraint_selection-15 | bestanden | 1 / 1 | 0,27 s |
| probability-01 | bestanden | 1 / 1 | 0,25 s |
| probability-02 | bestanden | 1 / 1 | 0,21 s |
| probability-03 | bestanden | 1 / 1 | 0,24 s |
| probability-04 | fehlgeschlagen | 0 / 1 | 0,22 s |
| probability-05 | bestanden | 1 / 1 | 0,22 s |
| probability-06 | bestanden | 1 / 1 | 0,26 s |
| probability-07 | fehlgeschlagen | 0 / 1 | 0,24 s |
| probability-08 | bestanden | 1 / 1 | 0,22 s |
| probability-09 | bestanden | 1 / 1 | 0,23 s |
| probability-10 | fehlgeschlagen | 0 / 1 | 0,24 s |
| probability-11 | bestanden | 1 / 1 | 0,22 s |
| probability-12 | bestanden | 1 / 1 | 0,22 s |
| probability-13 | fehlgeschlagen | 0 / 1 | 0,23 s |
| probability-14 | bestanden | 1 / 1 | 0,21 s |
| probability-15 | bestanden | 1 / 1 | 0,21 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Kolibri-1
# Engine : vLLM
# Run-ID : run-20261008-125923-8d83d8
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen 9 7945HX with Radeon Graphics
# RAM : 60 GB
bench@llm-benchmark:~$ vllm serve \
--model /model \
--served-model-name Aleph-Alpha/Kolibri-1 \
--max-model-len 32768 \
--max-num-seqs 10 \
--gpu-memory-utilization 0.94 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-prefix-caching
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Aleph-Alpha/Kolibri-1 |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 32768 |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | Aleph-Alpha/Kolibri-1 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 32768 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 10 |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.94 |
| KV-Cache-Dtype?Datentyp des KV-Cache (auto, fp8). fp8 halbiert etwa den Cache-Speicher -> mehr und laengere parallele Anfragen bei minimalem Qualitaetsverlust. | fp8 |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | kolibri1 |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | kolibri1 |
| Prefix-Caching?Speichert bereits berechnete Prompt-Anfaenge und verwendet sie wieder. Beschleunigt Anfragen mit gemeinsamem Praefix (z.B. gleicher System-Prompt) deutlich. | aktiv |
| execution_type | local |
Anzeige
Modell-Vergleich
Kolibri-1 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
CPUnach Prozessor
MBnach Mainboard
DRVnach Treiber
unbekannt 1.044,4 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.