Beigesteuert vonMario AlkaAleph Alpha Kolibri-1
Harnessbenchmark · gemessen am 08.10.2026 07:37
Benchmark-ID
run-20261008-125923-3f1672Kolibri-Qwen Diverse Deterministic 210 V1.0MoE78.1BRuntime: deterministic210
⚠
Konfigurations-Hinweis: Es sind 2 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 2 GPUs koennte der Durchsatz deutlich hoeher liegen.
Punkte207,00von 210,00
Punktequote98,57%
Aufgaben bestanden207von 210
Gesamtdauer1.080,23s
Einordnung im Feld
6von 27 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 81 % aller vergleichbaren Systeme.
Punktequote
99 %
+38 % vs Ø 71,5
Aufgaben bestanden
207
+82 % vs Ø 113,7
Gesamtdauer
1.080,2 s
-8 % vs Ø 1.169,9
Verteilung im Feld37 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1 dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)
Setup
Runtime: deterministic210
Quantisierung: -
Modell: Kolibri-1
Aufgaben (210)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| arithmetic-01 | bestanden | 1 / 1 | 2,68 s |
| arithmetic-02 | bestanden | 1 / 1 | 4,18 s |
| arithmetic-03 | bestanden | 1 / 1 | 3,58 s |
| arithmetic-04 | bestanden | 1 / 1 | 3,09 s |
| arithmetic-05 | bestanden | 1 / 1 | 1,44 s |
| arithmetic-06 | bestanden | 1 / 1 | 2,48 s |
| arithmetic-07 | bestanden | 1 / 1 | 3,16 s |
| arithmetic-08 | bestanden | 1 / 1 | 5,52 s |
| arithmetic-09 | bestanden | 1 / 1 | 3,15 s |
| arithmetic-10 | bestanden | 1 / 1 | 1,74 s |
| arithmetic-11 | bestanden | 1 / 1 | 2,83 s |
| arithmetic-12 | bestanden | 1 / 1 | 3,50 s |
| arithmetic-13 | bestanden | 1 / 1 | 7,00 s |
| arithmetic-14 | bestanden | 1 / 1 | 3,77 s |
| arithmetic-15 | bestanden | 1 / 1 | 1,84 s |
| ordering_logic-01 | bestanden | 1 / 1 | 7,59 s |
| ordering_logic-02 | bestanden | 1 / 1 | 4,50 s |
| ordering_logic-03 | fehlgeschlagen | 0 / 1 | 5,31 s |
| ordering_logic-04 | bestanden | 1 / 1 | 5,14 s |
| ordering_logic-05 | bestanden | 1 / 1 | 3,84 s |
| ordering_logic-06 | fehlgeschlagen | 0 / 1 | 3,83 s |
| ordering_logic-07 | bestanden | 1 / 1 | 5,42 s |
| ordering_logic-08 | bestanden | 1 / 1 | 5,62 s |
| ordering_logic-09 | bestanden | 1 / 1 | 5,91 s |
| ordering_logic-10 | bestanden | 1 / 1 | 2,97 s |
| ordering_logic-11 | bestanden | 1 / 1 | 8,37 s |
| ordering_logic-12 | bestanden | 1 / 1 | 6,11 s |
| ordering_logic-13 | bestanden | 1 / 1 | 5,07 s |
| ordering_logic-14 | bestanden | 1 / 1 | 5,49 s |
| ordering_logic-15 | bestanden | 1 / 1 | 7,67 s |
| extraction-01 | bestanden | 1 / 1 | 6,99 s |
| extraction-02 | bestanden | 1 / 1 | 5,48 s |
| extraction-03 | bestanden | 1 / 1 | 8,12 s |
| extraction-04 | bestanden | 1 / 1 | 5,05 s |
| extraction-05 | bestanden | 1 / 1 | 7,57 s |
| extraction-06 | bestanden | 1 / 1 | 5,38 s |
| extraction-07 | bestanden | 1 / 1 | 5,09 s |
| extraction-08 | bestanden | 1 / 1 | 4,92 s |
| extraction-09 | bestanden | 1 / 1 | 6,06 s |
| extraction-10 | bestanden | 1 / 1 | 4,48 s |
| extraction-11 | bestanden | 1 / 1 | 6,28 s |
| extraction-12 | bestanden | 1 / 1 | 4,93 s |
| extraction-13 | bestanden | 1 / 1 | 6,19 s |
| extraction-14 | bestanden | 1 / 1 | 5,38 s |
| extraction-15 | bestanden | 1 / 1 | 7,37 s |
| code_comprehension-01 | bestanden | 1 / 1 | 2,90 s |
| code_comprehension-02 | bestanden | 1 / 1 | 9,34 s |
| code_comprehension-03 | bestanden | 1 / 1 | 15,73 s |
| code_comprehension-04 | bestanden | 1 / 1 | 10,21 s |
| code_comprehension-05 | bestanden | 1 / 1 | 3,58 s |
| code_comprehension-06 | bestanden | 1 / 1 | 2,95 s |
| code_comprehension-07 | bestanden | 1 / 1 | 4,09 s |
| code_comprehension-08 | bestanden | 1 / 1 | 22,83 s |
| code_comprehension-09 | bestanden | 1 / 1 | 11,75 s |
| code_comprehension-10 | bestanden | 1 / 1 | 3,65 s |
| code_comprehension-11 | bestanden | 1 / 1 | 2,95 s |
| code_comprehension-12 | bestanden | 1 / 1 | 4,31 s |
| code_comprehension-13 | bestanden | 1 / 1 | 14,03 s |
| code_comprehension-14 | bestanden | 1 / 1 | 8,53 s |
| code_comprehension-15 | bestanden | 1 / 1 | 4,16 s |
| grounded_qa-01 | bestanden | 1 / 1 | 2,96 s |
| grounded_qa-02 | bestanden | 1 / 1 | 2,08 s |
| grounded_qa-03 | bestanden | 1 / 1 | 3,29 s |
| grounded_qa-04 | bestanden | 1 / 1 | 2,63 s |
| grounded_qa-05 | bestanden | 1 / 1 | 2,15 s |
| grounded_qa-06 | bestanden | 1 / 1 | 2,96 s |
| grounded_qa-07 | bestanden | 1 / 1 | 3,43 s |
| grounded_qa-08 | bestanden | 1 / 1 | 2,14 s |
| grounded_qa-09 | bestanden | 1 / 1 | 3,03 s |
| grounded_qa-10 | bestanden | 1 / 1 | 2,93 s |
| grounded_qa-11 | bestanden | 1 / 1 | 2,58 s |
| grounded_qa-12 | bestanden | 1 / 1 | 3,04 s |
| grounded_qa-13 | bestanden | 1 / 1 | 2,73 s |
| grounded_qa-14 | bestanden | 1 / 1 | 2,16 s |
| grounded_qa-15 | bestanden | 1 / 1 | 3,06 s |
| classification-01 | bestanden | 1 / 1 | 5,26 s |
| classification-02 | bestanden | 1 / 1 | 6,76 s |
| classification-03 | bestanden | 1 / 1 | 3,51 s |
| classification-04 | bestanden | 1 / 1 | 5,01 s |
| classification-05 | bestanden | 1 / 1 | 3,27 s |
| classification-06 | bestanden | 1 / 1 | 6,48 s |
| classification-07 | bestanden | 1 / 1 | 3,31 s |
| classification-08 | bestanden | 1 / 1 | 5,57 s |
| classification-09 | bestanden | 1 / 1 | 5,75 s |
| classification-10 | bestanden | 1 / 1 | 3,84 s |
| classification-11 | bestanden | 1 / 1 | 5,77 s |
| classification-12 | bestanden | 1 / 1 | 4,99 s |
| classification-13 | bestanden | 1 / 1 | 2,66 s |
| classification-14 | bestanden | 1 / 1 | 5,52 s |
| classification-15 | bestanden | 1 / 1 | 3,03 s |
| path_planning-01 | bestanden | 1 / 1 | 8,93 s |
| path_planning-02 | bestanden | 1 / 1 | 6,47 s |
| path_planning-03 | bestanden | 1 / 1 | 9,52 s |
| path_planning-04 | bestanden | 1 / 1 | 13,64 s |
| path_planning-05 | bestanden | 1 / 1 | 7,48 s |
| path_planning-06 | bestanden | 1 / 1 | 10,01 s |
| path_planning-07 | bestanden | 1 / 1 | 10,66 s |
| path_planning-08 | bestanden | 1 / 1 | 9,10 s |
| path_planning-09 | bestanden | 1 / 1 | 7,21 s |
| path_planning-10 | bestanden | 1 / 1 | 9,17 s |
| path_planning-11 | bestanden | 1 / 1 | 11,58 s |
| path_planning-12 | bestanden | 1 / 1 | 9,33 s |
| path_planning-13 | bestanden | 1 / 1 | 6,66 s |
| path_planning-14 | bestanden | 1 / 1 | 7,56 s |
| path_planning-15 | bestanden | 1 / 1 | 21,24 s |
| relational_query-01 | bestanden | 1 / 1 | 2,87 s |
| relational_query-02 | bestanden | 1 / 1 | 2,68 s |
| relational_query-03 | bestanden | 1 / 1 | 2,47 s |
| relational_query-04 | bestanden | 1 / 1 | 3,13 s |
| relational_query-05 | bestanden | 1 / 1 | 2,85 s |
| relational_query-06 | bestanden | 1 / 1 | 2,77 s |
| relational_query-07 | bestanden | 1 / 1 | 2,36 s |
| relational_query-08 | bestanden | 1 / 1 | 2,55 s |
| relational_query-09 | bestanden | 1 / 1 | 2,82 s |
| relational_query-10 | bestanden | 1 / 1 | 2,76 s |
| relational_query-11 | bestanden | 1 / 1 | 3,74 s |
| relational_query-12 | bestanden | 1 / 1 | 3,25 s |
| relational_query-13 | bestanden | 1 / 1 | 4,99 s |
| relational_query-14 | bestanden | 1 / 1 | 2,22 s |
| relational_query-15 | bestanden | 1 / 1 | 2,98 s |
| date_time-01 | bestanden | 1 / 1 | 4,18 s |
| date_time-02 | bestanden | 1 / 1 | 4,13 s |
| date_time-03 | bestanden | 1 / 1 | 22,74 s |
| date_time-04 | bestanden | 1 / 1 | 5,08 s |
| date_time-05 | bestanden | 1 / 1 | 2,91 s |
| date_time-06 | bestanden | 1 / 1 | 15,86 s |
| date_time-07 | bestanden | 1 / 1 | 8,67 s |
| date_time-08 | bestanden | 1 / 1 | 4,52 s |
| date_time-09 | bestanden | 1 / 1 | 24,32 s |
| date_time-10 | bestanden | 1 / 1 | 6,36 s |
| date_time-11 | bestanden | 1 / 1 | 3,26 s |
| date_time-12 | fehlgeschlagen | 0 / 1 | 41,51 s |
| date_time-13 | bestanden | 1 / 1 | 7,15 s |
| date_time-14 | bestanden | 1 / 1 | 3,05 s |
| date_time-15 | bestanden | 1 / 1 | 33,57 s |
| units-01 | bestanden | 1 / 1 | 2,62 s |
| units-02 | bestanden | 1 / 1 | 2,80 s |
| units-03 | bestanden | 1 / 1 | 2,28 s |
| units-04 | bestanden | 1 / 1 | 2,60 s |
| units-05 | bestanden | 1 / 1 | 2,39 s |
| units-06 | bestanden | 1 / 1 | 2,74 s |
| units-07 | bestanden | 1 / 1 | 2,15 s |
| units-08 | bestanden | 1 / 1 | 2,36 s |
| units-09 | bestanden | 1 / 1 | 2,58 s |
| units-10 | bestanden | 1 / 1 | 2,04 s |
| units-11 | bestanden | 1 / 1 | 2,47 s |
| units-12 | bestanden | 1 / 1 | 3,49 s |
| units-13 | bestanden | 1 / 1 | 2,32 s |
| units-14 | bestanden | 1 / 1 | 2,59 s |
| units-15 | bestanden | 1 / 1 | 2,09 s |
| string_processing-01 | bestanden | 1 / 1 | 5,36 s |
| string_processing-02 | bestanden | 1 / 1 | 2,23 s |
| string_processing-03 | bestanden | 1 / 1 | 2,42 s |
| string_processing-04 | bestanden | 1 / 1 | 4,10 s |
| string_processing-05 | bestanden | 1 / 1 | 2,26 s |
| string_processing-06 | bestanden | 1 / 1 | 3,28 s |
| string_processing-07 | bestanden | 1 / 1 | 4,56 s |
| string_processing-08 | bestanden | 1 / 1 | 2,16 s |
| string_processing-09 | bestanden | 1 / 1 | 2,46 s |
| string_processing-10 | bestanden | 1 / 1 | 2,03 s |
| string_processing-11 | bestanden | 1 / 1 | 2,31 s |
| string_processing-12 | bestanden | 1 / 1 | 2,52 s |
| string_processing-13 | bestanden | 1 / 1 | 2,35 s |
| string_processing-14 | bestanden | 1 / 1 | 2,32 s |
| string_processing-15 | bestanden | 1 / 1 | 2,55 s |
| sets-01 | bestanden | 1 / 1 | 4,29 s |
| sets-02 | bestanden | 1 / 1 | 5,67 s |
| sets-03 | bestanden | 1 / 1 | 9,22 s |
| sets-04 | bestanden | 1 / 1 | 2,23 s |
| sets-05 | bestanden | 1 / 1 | 3,39 s |
| sets-06 | bestanden | 1 / 1 | 5,67 s |
| sets-07 | bestanden | 1 / 1 | 2,70 s |
| sets-08 | bestanden | 1 / 1 | 5,18 s |
| sets-09 | bestanden | 1 / 1 | 4,92 s |
| sets-10 | bestanden | 1 / 1 | 2,58 s |
| sets-11 | bestanden | 1 / 1 | 6,29 s |
| sets-12 | bestanden | 1 / 1 | 10,58 s |
| sets-13 | bestanden | 1 / 1 | 1,75 s |
| sets-14 | bestanden | 1 / 1 | 4,43 s |
| sets-15 | bestanden | 1 / 1 | 5,01 s |
| constraint_selection-01 | bestanden | 1 / 1 | 3,76 s |
| constraint_selection-02 | bestanden | 1 / 1 | 3,47 s |
| constraint_selection-03 | bestanden | 1 / 1 | 4,17 s |
| constraint_selection-04 | bestanden | 1 / 1 | 3,97 s |
| constraint_selection-05 | bestanden | 1 / 1 | 3,64 s |
| constraint_selection-06 | bestanden | 1 / 1 | 3,49 s |
| constraint_selection-07 | bestanden | 1 / 1 | 3,74 s |
| constraint_selection-08 | bestanden | 1 / 1 | 4,37 s |
| constraint_selection-09 | bestanden | 1 / 1 | 2,73 s |
| constraint_selection-10 | bestanden | 1 / 1 | 3,04 s |
| constraint_selection-11 | bestanden | 1 / 1 | 3,97 s |
| constraint_selection-12 | bestanden | 1 / 1 | 4,47 s |
| constraint_selection-13 | bestanden | 1 / 1 | 3,41 s |
| constraint_selection-14 | bestanden | 1 / 1 | 3,53 s |
| constraint_selection-15 | bestanden | 1 / 1 | 3,63 s |
| probability-01 | bestanden | 1 / 1 | 1,49 s |
| probability-02 | bestanden | 1 / 1 | 1,42 s |
| probability-03 | bestanden | 1 / 1 | 2,78 s |
| probability-04 | bestanden | 1 / 1 | 1,56 s |
| probability-05 | bestanden | 1 / 1 | 2,96 s |
| probability-06 | bestanden | 1 / 1 | 3,24 s |
| probability-07 | bestanden | 1 / 1 | 2,39 s |
| probability-08 | bestanden | 1 / 1 | 3,08 s |
| probability-09 | bestanden | 1 / 1 | 3,13 s |
| probability-10 | bestanden | 1 / 1 | 2,42 s |
| probability-11 | bestanden | 1 / 1 | 1,89 s |
| probability-12 | bestanden | 1 / 1 | 2,83 s |
| probability-13 | bestanden | 1 / 1 | 2,31 s |
| probability-14 | bestanden | 1 / 1 | 1,75 s |
| probability-15 | bestanden | 1 / 1 | 2,09 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Kolibri-1
# Engine : vLLM
# Run-ID : run-20261008-125923-3f1672
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen 9 7945HX with Radeon Graphics
# RAM : 60 GB
bench@llm-benchmark:~$ vllm serve \
--model /model \
--served-model-name Aleph-Alpha/Kolibri-1 \
--max-model-len 32768 \
--max-num-seqs 10 \
--gpu-memory-utilization 0.94 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-prefix-caching
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Aleph-Alpha/Kolibri-1 |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 32768 |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | Aleph-Alpha/Kolibri-1 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 32768 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 10 |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.94 |
| KV-Cache-Dtype?Datentyp des KV-Cache (auto, fp8). fp8 halbiert etwa den Cache-Speicher -> mehr und laengere parallele Anfragen bei minimalem Qualitaetsverlust. | fp8 |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | kolibri1 |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | kolibri1 |
| Prefix-Caching?Speichert bereits berechnete Prompt-Anfaenge und verwendet sie wieder. Beschleunigt Anfragen mit gemeinsamem Praefix (z.B. gleicher System-Prompt) deutlich. | aktiv |
| execution_type | local |
Anzeige
Modell-Vergleich
Kolibri-1 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
CPUnach Prozessor
MBnach Mainboard
DRVnach Treiber
unbekannt 1.044,4 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.