Beigesteuert vonMario AlkaAleph Alpha Kolibri-1
Harnessbenchmark · gemessen am 08.10.2026 08:11
Benchmark-ID
run-20261008-125923-5b5304Kolibri-Qwen Diverse Deterministic 310 V2.0MoE78.1BRuntime: deterministic310Quantisierung: NVFP4
⚠
Konfigurations-Hinweis: Es sind 2 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 2 GPUs koennte der Durchsatz deutlich hoeher liegen.
Punkte283,00von 310,00
Punktequote91,29%
Aufgaben bestanden283von 310
Gesamtdauer2.384,43s
Einordnung im Feld
9von 27 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 69 % aller vergleichbaren Systeme.
Punktequote
91 %
+28 % vs Ø 71,5
Aufgaben bestanden
283
+149 % vs Ø 113,7
Gesamtdauer
2.384,4 s
+104 % vs Ø 1.169,9
Verteilung im Feld37 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Kolibri-1 gleiches ModellNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1 dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-a58abe
68 %
Hardware
GPU: NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen 9 7945HX with Radeon Graphics
RAM: 60 GB
Mainboard: Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series)
Setup
Runtime: deterministic310
Quantisierung: NVFP4
Modell: Kolibri-1
Aufgaben (310)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| arithmetic-01 | bestanden | 1 / 1 | 2,41 s |
| arithmetic-02 | bestanden | 1 / 1 | 4,16 s |
| arithmetic-03 | bestanden | 1 / 1 | 5,14 s |
| arithmetic-04 | bestanden | 1 / 1 | 3,05 s |
| arithmetic-05 | bestanden | 1 / 1 | 1,27 s |
| arithmetic-06 | bestanden | 1 / 1 | 2,36 s |
| arithmetic-07 | bestanden | 1 / 1 | 3,38 s |
| arithmetic-08 | bestanden | 1 / 1 | 2,47 s |
| arithmetic-09 | bestanden | 1 / 1 | 3,03 s |
| arithmetic-10 | bestanden | 1 / 1 | 1,52 s |
| arithmetic-11 | bestanden | 1 / 1 | 2,46 s |
| arithmetic-12 | bestanden | 1 / 1 | 2,94 s |
| arithmetic-13 | bestanden | 1 / 1 | 8,44 s |
| arithmetic-14 | bestanden | 1 / 1 | 3,88 s |
| arithmetic-15 | bestanden | 1 / 1 | 1,51 s |
| ordering_logic-01 | bestanden | 1 / 1 | 7,64 s |
| ordering_logic-02 | bestanden | 1 / 1 | 3,45 s |
| ordering_logic-03 | fehlgeschlagen | 0 / 1 | 3,88 s |
| ordering_logic-04 | bestanden | 1 / 1 | 4,46 s |
| ordering_logic-05 | bestanden | 1 / 1 | 5,55 s |
| ordering_logic-06 | bestanden | 1 / 1 | 4,50 s |
| ordering_logic-07 | bestanden | 1 / 1 | 6,56 s |
| ordering_logic-08 | bestanden | 1 / 1 | 5,52 s |
| ordering_logic-09 | bestanden | 1 / 1 | 6,20 s |
| ordering_logic-10 | bestanden | 1 / 1 | 4,83 s |
| ordering_logic-11 | bestanden | 1 / 1 | 4,73 s |
| ordering_logic-12 | bestanden | 1 / 1 | 5,91 s |
| ordering_logic-13 | bestanden | 1 / 1 | 5,04 s |
| ordering_logic-14 | bestanden | 1 / 1 | 5,09 s |
| ordering_logic-15 | bestanden | 1 / 1 | 4,81 s |
| extraction-01 | bestanden | 1 / 1 | 8,20 s |
| extraction-02 | bestanden | 1 / 1 | 4,64 s |
| extraction-03 | bestanden | 1 / 1 | 5,45 s |
| extraction-04 | bestanden | 1 / 1 | 4,32 s |
| extraction-05 | bestanden | 1 / 1 | 9,61 s |
| extraction-06 | bestanden | 1 / 1 | 5,08 s |
| extraction-07 | bestanden | 1 / 1 | 5,94 s |
| extraction-08 | bestanden | 1 / 1 | 10,24 s |
| extraction-09 | bestanden | 1 / 1 | 7,15 s |
| extraction-10 | bestanden | 1 / 1 | 5,70 s |
| extraction-11 | bestanden | 1 / 1 | 5,95 s |
| extraction-12 | bestanden | 1 / 1 | 4,85 s |
| extraction-13 | bestanden | 1 / 1 | 5,75 s |
| extraction-14 | bestanden | 1 / 1 | 5,22 s |
| extraction-15 | bestanden | 1 / 1 | 7,17 s |
| code_comprehension-01 | bestanden | 1 / 1 | 2,68 s |
| code_comprehension-02 | bestanden | 1 / 1 | 5,67 s |
| code_comprehension-03 | bestanden | 1 / 1 | 14,51 s |
| code_comprehension-04 | bestanden | 1 / 1 | 16,71 s |
| code_comprehension-05 | bestanden | 1 / 1 | 3,81 s |
| code_comprehension-06 | bestanden | 1 / 1 | 3,36 s |
| code_comprehension-07 | bestanden | 1 / 1 | 6,48 s |
| code_comprehension-08 | bestanden | 1 / 1 | 11,75 s |
| code_comprehension-09 | bestanden | 1 / 1 | 19,54 s |
| code_comprehension-10 | bestanden | 1 / 1 | 1,81 s |
| code_comprehension-11 | bestanden | 1 / 1 | 2,57 s |
| code_comprehension-12 | bestanden | 1 / 1 | 5,04 s |
| code_comprehension-13 | bestanden | 1 / 1 | 7,22 s |
| code_comprehension-14 | bestanden | 1 / 1 | 8,66 s |
| code_comprehension-15 | bestanden | 1 / 1 | 5,68 s |
| grounded_qa-01 | bestanden | 1 / 1 | 2,51 s |
| grounded_qa-02 | bestanden | 1 / 1 | 3,00 s |
| grounded_qa-03 | bestanden | 1 / 1 | 2,86 s |
| grounded_qa-04 | bestanden | 1 / 1 | 3,82 s |
| grounded_qa-05 | bestanden | 1 / 1 | 2,45 s |
| grounded_qa-06 | bestanden | 1 / 1 | 3,25 s |
| grounded_qa-07 | bestanden | 1 / 1 | 4,26 s |
| grounded_qa-08 | bestanden | 1 / 1 | 3,16 s |
| grounded_qa-09 | bestanden | 1 / 1 | 3,03 s |
| grounded_qa-10 | bestanden | 1 / 1 | 4,08 s |
| grounded_qa-11 | bestanden | 1 / 1 | 3,59 s |
| grounded_qa-12 | bestanden | 1 / 1 | 3,22 s |
| grounded_qa-13 | bestanden | 1 / 1 | 2,90 s |
| grounded_qa-14 | bestanden | 1 / 1 | 3,05 s |
| grounded_qa-15 | bestanden | 1 / 1 | 2,78 s |
| classification-01 | bestanden | 1 / 1 | 5,06 s |
| classification-02 | bestanden | 1 / 1 | 3,21 s |
| classification-03 | bestanden | 1 / 1 | 3,35 s |
| classification-04 | bestanden | 1 / 1 | 3,46 s |
| classification-05 | bestanden | 1 / 1 | 2,85 s |
| classification-06 | bestanden | 1 / 1 | 3,70 s |
| classification-07 | bestanden | 1 / 1 | 4,91 s |
| classification-08 | bestanden | 1 / 1 | 2,80 s |
| classification-09 | bestanden | 1 / 1 | 4,39 s |
| classification-10 | bestanden | 1 / 1 | 3,17 s |
| classification-11 | bestanden | 1 / 1 | 3,69 s |
| classification-12 | bestanden | 1 / 1 | 4,80 s |
| classification-13 | bestanden | 1 / 1 | 4,08 s |
| classification-14 | bestanden | 1 / 1 | 3,36 s |
| classification-15 | bestanden | 1 / 1 | 5,77 s |
| path_planning-01 | bestanden | 1 / 1 | 7,73 s |
| path_planning-02 | bestanden | 1 / 1 | 7,52 s |
| path_planning-03 | bestanden | 1 / 1 | 7,43 s |
| path_planning-04 | bestanden | 1 / 1 | 8,30 s |
| path_planning-05 | bestanden | 1 / 1 | 6,69 s |
| path_planning-06 | bestanden | 1 / 1 | 8,31 s |
| path_planning-07 | bestanden | 1 / 1 | 5,68 s |
| path_planning-08 | bestanden | 1 / 1 | 10,70 s |
| path_planning-09 | bestanden | 1 / 1 | 7,77 s |
| path_planning-10 | fehlgeschlagen | 0 / 1 | 4,05 s |
| path_planning-11 | bestanden | 1 / 1 | 7,81 s |
| path_planning-12 | fehlgeschlagen | 0 / 1 | 4,44 s |
| path_planning-13 | bestanden | 1 / 1 | 8,80 s |
| path_planning-14 | bestanden | 1 / 1 | 7,06 s |
| path_planning-15 | fehlgeschlagen | 0 / 1 | 4,52 s |
| relational_query-01 | bestanden | 1 / 1 | 3,60 s |
| relational_query-02 | bestanden | 1 / 1 | 4,34 s |
| relational_query-03 | bestanden | 1 / 1 | 3,46 s |
| relational_query-04 | bestanden | 1 / 1 | 3,61 s |
| relational_query-05 | bestanden | 1 / 1 | 3,99 s |
| relational_query-06 | bestanden | 1 / 1 | 3,60 s |
| relational_query-07 | bestanden | 1 / 1 | 2,53 s |
| relational_query-08 | bestanden | 1 / 1 | 4,86 s |
| relational_query-09 | bestanden | 1 / 1 | 3,54 s |
| relational_query-10 | bestanden | 1 / 1 | 3,21 s |
| relational_query-11 | bestanden | 1 / 1 | 3,02 s |
| relational_query-12 | bestanden | 1 / 1 | 3,15 s |
| relational_query-13 | bestanden | 1 / 1 | 5,40 s |
| relational_query-14 | bestanden | 1 / 1 | 4,83 s |
| relational_query-15 | bestanden | 1 / 1 | 3,60 s |
| date_time-01 | bestanden | 1 / 1 | 5,56 s |
| date_time-02 | bestanden | 1 / 1 | 4,08 s |
| date_time-03 | bestanden | 1 / 1 | 28,75 s |
| date_time-04 | bestanden | 1 / 1 | 6,49 s |
| date_time-05 | bestanden | 1 / 1 | 2,91 s |
| date_time-06 | bestanden | 1 / 1 | 19,06 s |
| date_time-07 | bestanden | 1 / 1 | 14,57 s |
| date_time-08 | bestanden | 1 / 1 | 3,15 s |
| date_time-09 | bestanden | 1 / 1 | 24,42 s |
| date_time-10 | bestanden | 1 / 1 | 6,08 s |
| date_time-11 | bestanden | 1 / 1 | 3,48 s |
| date_time-12 | bestanden | 1 / 1 | 32,88 s |
| date_time-13 | bestanden | 1 / 1 | 5,52 s |
| date_time-14 | bestanden | 1 / 1 | 3,47 s |
| date_time-15 | fehlgeschlagen | 0 / 1 | 38,95 s |
| units-01 | bestanden | 1 / 1 | 2,48 s |
| units-02 | bestanden | 1 / 1 | 0,71 s |
| units-03 | bestanden | 1 / 1 | 3,30 s |
| units-04 | bestanden | 1 / 1 | 2,29 s |
| units-05 | bestanden | 1 / 1 | 3,22 s |
| units-06 | bestanden | 1 / 1 | 2,54 s |
| units-07 | bestanden | 1 / 1 | 1,72 s |
| units-08 | bestanden | 1 / 1 | 6,35 s |
| units-09 | bestanden | 1 / 1 | 2,35 s |
| units-10 | bestanden | 1 / 1 | 1,93 s |
| units-11 | bestanden | 1 / 1 | 2,39 s |
| units-12 | bestanden | 1 / 1 | 4,49 s |
| units-13 | bestanden | 1 / 1 | 2,92 s |
| units-14 | bestanden | 1 / 1 | 2,81 s |
| units-15 | bestanden | 1 / 1 | 1,91 s |
| string_processing-01 | bestanden | 1 / 1 | 4,04 s |
| string_processing-02 | bestanden | 1 / 1 | 3,16 s |
| string_processing-03 | bestanden | 1 / 1 | 2,22 s |
| string_processing-04 | bestanden | 1 / 1 | 3,00 s |
| string_processing-05 | bestanden | 1 / 1 | 1,90 s |
| string_processing-06 | bestanden | 1 / 1 | 2,17 s |
| string_processing-07 | bestanden | 1 / 1 | 3,26 s |
| string_processing-08 | bestanden | 1 / 1 | 2,21 s |
| string_processing-09 | bestanden | 1 / 1 | 2,22 s |
| string_processing-10 | bestanden | 1 / 1 | 5,01 s |
| string_processing-11 | bestanden | 1 / 1 | 2,17 s |
| string_processing-12 | bestanden | 1 / 1 | 2,32 s |
| string_processing-13 | bestanden | 1 / 1 | 3,42 s |
| string_processing-14 | bestanden | 1 / 1 | 2,13 s |
| string_processing-15 | bestanden | 1 / 1 | 2,38 s |
| sets-01 | bestanden | 1 / 1 | 3,81 s |
| sets-02 | bestanden | 1 / 1 | 10,11 s |
| sets-03 | bestanden | 1 / 1 | 4,60 s |
| sets-04 | bestanden | 1 / 1 | 2,05 s |
| sets-05 | bestanden | 1 / 1 | 3,88 s |
| sets-06 | bestanden | 1 / 1 | 4,86 s |
| sets-07 | bestanden | 1 / 1 | 2,53 s |
| sets-08 | bestanden | 1 / 1 | 4,96 s |
| sets-09 | bestanden | 1 / 1 | 5,85 s |
| sets-10 | bestanden | 1 / 1 | 3,47 s |
| sets-11 | bestanden | 1 / 1 | 5,45 s |
| sets-12 | bestanden | 1 / 1 | 6,29 s |
| sets-13 | bestanden | 1 / 1 | 1,59 s |
| sets-14 | bestanden | 1 / 1 | 5,40 s |
| sets-15 | bestanden | 1 / 1 | 5,86 s |
| constraint_selection-01 | bestanden | 1 / 1 | 3,48 s |
| constraint_selection-02 | bestanden | 1 / 1 | 4,16 s |
| constraint_selection-03 | bestanden | 1 / 1 | 3,79 s |
| constraint_selection-04 | bestanden | 1 / 1 | 3,25 s |
| constraint_selection-05 | bestanden | 1 / 1 | 3,24 s |
| constraint_selection-06 | bestanden | 1 / 1 | 3,56 s |
| constraint_selection-07 | bestanden | 1 / 1 | 3,68 s |
| constraint_selection-08 | bestanden | 1 / 1 | 3,79 s |
| constraint_selection-09 | bestanden | 1 / 1 | 3,37 s |
| constraint_selection-10 | bestanden | 1 / 1 | 3,16 s |
| constraint_selection-11 | bestanden | 1 / 1 | 2,59 s |
| constraint_selection-12 | bestanden | 1 / 1 | 4,21 s |
| constraint_selection-13 | bestanden | 1 / 1 | 3,52 s |
| constraint_selection-14 | bestanden | 1 / 1 | 3,80 s |
| constraint_selection-15 | bestanden | 1 / 1 | 3,55 s |
| probability-01 | bestanden | 1 / 1 | 2,76 s |
| probability-02 | bestanden | 1 / 1 | 1,24 s |
| probability-03 | bestanden | 1 / 1 | 2,90 s |
| probability-04 | bestanden | 1 / 1 | 1,56 s |
| probability-05 | bestanden | 1 / 1 | 1,44 s |
| probability-06 | bestanden | 1 / 1 | 2,62 s |
| probability-07 | bestanden | 1 / 1 | 1,98 s |
| probability-08 | bestanden | 1 / 1 | 1,53 s |
| probability-09 | bestanden | 1 / 1 | 2,86 s |
| probability-10 | bestanden | 1 / 1 | 2,09 s |
| probability-11 | bestanden | 1 / 1 | 3,59 s |
| probability-12 | bestanden | 1 / 1 | 3,12 s |
| probability-13 | bestanden | 1 / 1 | 2,41 s |
| probability-14 | bestanden | 1 / 1 | 2,03 s |
| probability-15 | bestanden | 1 / 1 | 3,00 s |
| ext-bit_circuits-01 | bestanden | 1 / 1 | 3,06 s |
| ext-bit_circuits-02 | bestanden | 1 / 1 | 25,22 s |
| ext-bit_circuits-03 | bestanden | 1 / 1 | 13,94 s |
| ext-bit_circuits-04 | bestanden | 1 / 1 | 15,65 s |
| ext-bit_circuits-05 | bestanden | 1 / 1 | 3,13 s |
| ext-bit_circuits-06 | bestanden | 1 / 1 | 28,71 s |
| ext-bit_circuits-07 | bestanden | 1 / 1 | 3,25 s |
| ext-bit_circuits-08 | bestanden | 1 / 1 | 25,92 s |
| ext-bit_circuits-09 | bestanden | 1 / 1 | 25,78 s |
| ext-bit_circuits-10 | bestanden | 1 / 1 | 22,88 s |
| ext-weighted_scheduling-01 | bestanden | 1 / 1 | 15,83 s |
| ext-weighted_scheduling-02 | bestanden | 1 / 1 | 19,80 s |
| ext-weighted_scheduling-03 | bestanden | 1 / 1 | 9,84 s |
| ext-weighted_scheduling-04 | bestanden | 1 / 1 | 19,78 s |
| ext-weighted_scheduling-05 | bestanden | 1 / 1 | 10,40 s |
| ext-weighted_scheduling-06 | fehlgeschlagen | 0 / 1 | 38,22 s |
| ext-weighted_scheduling-07 | bestanden | 1 / 1 | 8,29 s |
| ext-weighted_scheduling-08 | bestanden | 1 / 1 | 20,84 s |
| ext-weighted_scheduling-09 | bestanden | 1 / 1 | 10,01 s |
| ext-weighted_scheduling-10 | bestanden | 1 / 1 | 10,37 s |
| ext-finite_automata-01 | bestanden | 1 / 1 | 2,12 s |
| ext-finite_automata-02 | bestanden | 1 / 1 | 8,96 s |
| ext-finite_automata-03 | bestanden | 1 / 1 | 2,20 s |
| ext-finite_automata-04 | bestanden | 1 / 1 | 5,93 s |
| ext-finite_automata-05 | bestanden | 1 / 1 | 1,75 s |
| ext-finite_automata-06 | bestanden | 1 / 1 | 5,92 s |
| ext-finite_automata-07 | bestanden | 1 / 1 | 2,22 s |
| ext-finite_automata-08 | bestanden | 1 / 1 | 17,25 s |
| ext-finite_automata-09 | bestanden | 1 / 1 | 1,70 s |
| ext-finite_automata-10 | bestanden | 1 / 1 | 8,90 s |
| ext-fifo_inventory-01 | bestanden | 1 / 1 | 7,03 s |
| ext-fifo_inventory-02 | bestanden | 1 / 1 | 4,67 s |
| ext-fifo_inventory-03 | bestanden | 1 / 1 | 2,55 s |
| ext-fifo_inventory-04 | bestanden | 1 / 1 | 3,00 s |
| ext-fifo_inventory-05 | bestanden | 1 / 1 | 3,30 s |
| ext-fifo_inventory-06 | bestanden | 1 / 1 | 4,14 s |
| ext-fifo_inventory-07 | bestanden | 1 / 1 | 2,44 s |
| ext-fifo_inventory-08 | bestanden | 1 / 1 | 2,87 s |
| ext-fifo_inventory-09 | bestanden | 1 / 1 | 4,55 s |
| ext-fifo_inventory-10 | bestanden | 1 / 1 | 2,79 s |
| ext-edit_distance-01 | fehlgeschlagen | 0 / 1 | 37,48 s |
| ext-edit_distance-02 | fehlgeschlagen | 0 / 1 | 37,48 s |
| ext-edit_distance-03 | bestanden | 1 / 1 | 27,67 s |
| ext-edit_distance-04 | fehlgeschlagen | 0 / 1 | 37,46 s |
| ext-edit_distance-05 | fehlgeschlagen | 0 / 1 | 37,47 s |
| ext-edit_distance-06 | fehlgeschlagen | 0 / 1 | 38,51 s |
| ext-edit_distance-07 | fehlgeschlagen | 0 / 1 | 37,88 s |
| ext-edit_distance-08 | fehlgeschlagen | 0 / 1 | 37,64 s |
| ext-edit_distance-09 | fehlgeschlagen | 0 / 1 | 37,38 s |
| ext-edit_distance-10 | fehlgeschlagen | 0 / 1 | 37,40 s |
| ext-calendar_explicit-01 | bestanden | 1 / 1 | 5,56 s |
| ext-calendar_explicit-02 | bestanden | 1 / 1 | 9,05 s |
| ext-calendar_explicit-03 | bestanden | 1 / 1 | 6,83 s |
| ext-calendar_explicit-04 | bestanden | 1 / 1 | 16,38 s |
| ext-calendar_explicit-05 | bestanden | 1 / 1 | 9,05 s |
| ext-calendar_explicit-06 | fehlgeschlagen | 0 / 1 | 11,94 s |
| ext-calendar_explicit-07 | bestanden | 1 / 1 | 12,32 s |
| ext-calendar_explicit-08 | bestanden | 1 / 1 | 15,79 s |
| ext-calendar_explicit-09 | bestanden | 1 / 1 | 32,27 s |
| ext-calendar_explicit-10 | bestanden | 1 / 1 | 11,04 s |
| ext-rolling_checksum-01 | bestanden | 1 / 1 | 11,93 s |
| ext-rolling_checksum-02 | bestanden | 1 / 1 | 6,06 s |
| ext-rolling_checksum-03 | bestanden | 1 / 1 | 18,66 s |
| ext-rolling_checksum-04 | bestanden | 1 / 1 | 10,50 s |
| ext-rolling_checksum-05 | fehlgeschlagen | 0 / 1 | 14,05 s |
| ext-rolling_checksum-06 | bestanden | 1 / 1 | 9,25 s |
| ext-rolling_checksum-07 | bestanden | 1 / 1 | 11,45 s |
| ext-rolling_checksum-08 | bestanden | 1 / 1 | 11,15 s |
| ext-rolling_checksum-09 | bestanden | 1 / 1 | 12,67 s |
| ext-rolling_checksum-10 | fehlgeschlagen | 0 / 1 | 10,22 s |
| ext-grid_path_count-01 | fehlgeschlagen | 0 / 1 | 17,67 s |
| ext-grid_path_count-02 | bestanden | 1 / 1 | 6,66 s |
| ext-grid_path_count-03 | fehlgeschlagen | 0 / 1 | 5,90 s |
| ext-grid_path_count-04 | bestanden | 1 / 1 | 18,11 s |
| ext-grid_path_count-05 | bestanden | 1 / 1 | 24,64 s |
| ext-grid_path_count-06 | bestanden | 1 / 1 | 10,45 s |
| ext-grid_path_count-07 | bestanden | 1 / 1 | 4,61 s |
| ext-grid_path_count-08 | bestanden | 1 / 1 | 8,19 s |
| ext-grid_path_count-09 | bestanden | 1 / 1 | 7,38 s |
| ext-grid_path_count-10 | bestanden | 1 / 1 | 7,23 s |
| ext-sample_variance-01 | fehlgeschlagen | 0 / 1 | 6,00 s |
| ext-sample_variance-02 | bestanden | 1 / 1 | 5,18 s |
| ext-sample_variance-03 | fehlgeschlagen | 0 / 1 | 12,18 s |
| ext-sample_variance-04 | bestanden | 1 / 1 | 11,95 s |
| ext-sample_variance-05 | fehlgeschlagen | 0 / 1 | 3,34 s |
| ext-sample_variance-06 | bestanden | 1 / 1 | 20,00 s |
| ext-sample_variance-07 | bestanden | 1 / 1 | 2,86 s |
| ext-sample_variance-08 | fehlgeschlagen | 0 / 1 | 36,60 s |
| ext-sample_variance-09 | fehlgeschlagen | 0 / 1 | 11,14 s |
| ext-sample_variance-10 | bestanden | 1 / 1 | 12,61 s |
| ext-round_robin-01 | bestanden | 1 / 1 | 4,43 s |
| ext-round_robin-02 | bestanden | 1 / 1 | 7,76 s |
| ext-round_robin-03 | fehlgeschlagen | 0 / 1 | 4,34 s |
| ext-round_robin-04 | bestanden | 1 / 1 | 11,15 s |
| ext-round_robin-05 | bestanden | 1 / 1 | 5,32 s |
| ext-round_robin-06 | bestanden | 1 / 1 | 5,52 s |
| ext-round_robin-07 | fehlgeschlagen | 0 / 1 | 4,42 s |
| ext-round_robin-08 | bestanden | 1 / 1 | 11,50 s |
| ext-round_robin-09 | bestanden | 1 / 1 | 3,98 s |
| ext-round_robin-10 | bestanden | 1 / 1 | 7,32 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Kolibri-1
# Engine : vLLM
# Run-ID : run-20261008-125923-5b5304
# GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen 9 7945HX with Radeon Graphics
# RAM : 60 GB
bench@llm-benchmark:~$ vllm serve \
--model /model \
--served-model-name primitive-ai/Kolibri-1-NVFP4 \
--max-model-len 32768 \
--max-num-seqs 10 \
--gpu-memory-utilization 0.94 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-prefix-caching
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | primitive-ai/Kolibri-1-NVFP4 |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 32768 |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | primitive-ai/Kolibri-1-NVFP4 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 32768 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 10 |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.94 |
| KV-Cache-Dtype?Datentyp des KV-Cache (auto, fp8). fp8 halbiert etwa den Cache-Speicher -> mehr und laengere parallele Anfragen bei minimalem Qualitaetsverlust. | fp8 |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | kolibri1 |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | kolibri1 |
| Prefix-Caching?Speichert bereits berechnete Prompt-Anfaenge und verwendet sie wieder. Beschleunigt Anfragen mit gemeinsamem Praefix (z.B. gleicher System-Prompt) deutlich. | aktiv |
| execution_type | local |
Anzeige
Modell-Vergleich
Kolibri-1 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
CPUnach Prozessor
MBnach Mainboard
DRVnach Treiber
unbekannt 1.044,4 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.