Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beigesteuert vonMario AlkaAleph Alpha

Kolibri-1

Performancebenchmark · gemessen am 08.10.2026 17:52

Benchmark-IDrun-20261008-165122-a01d89
Kolibri Prefill-Decode 1024-256 - Summenraten C1 C5 C10 V1MoE78.1BRuntime: serverphasetimingQuantisierung: NVFP4
ℹ
Öffentliche Anmerkung: Summenrate fuer C10 = C mal gewichtete serverseitige Phasenrate je Anfrage. Kein End-to-End-Batchdurchsatz. Individuelle vLLM-Phasenzeiten sind nicht vorhanden; dies ist eine normierte Summenrate, nicht die nachtraeglich rekonstruierte Summe einzelner Threadraten. Originale Anfrageraten und Batches bleiben im Messprotokoll. Modell einheitlich Kolibri-1; Quantisierung im separaten Feld.
Generation1.044,38tok/s
Prefill38.865,90tok/s
Time to First Token388,00ms
Gesamtdauer8,51s
Concurrency10parallel
Einordnung im Feld
87von 182 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 10× parallel

Dieser Lauf ist besser als 52 % aller vergleichbaren Systeme.
Generation 1.044,4 tok/s
+8 % vs Ø 963,8
Prefill 38.865,9 tok/s
+405 % vs Ø 7.692,5
Time to First Token 388 ms
-98 % vs Ø 19.783
Verteilung im Feld19 – 2.144 tok/s
Ø 964 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

gemma-4-E2B-it3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-184456-d87c73
2.143,6 tok/s
Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-0aed86
1.937,7 tok/s
Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-8db0fa
1.911,6 tok/s
Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260727-181606-e0eafd
1.897,0 tok/s
gpt-oss-20b3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-034052-26063b
1.835,7 tok/s
Nemotron-3-Nano-4B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260728-194136-a77046
1.830,3 tok/s
gpt-oss-20b3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-032121-c6e7e0
1.819,5 tok/s
gpt-oss-20b3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-032121-2b99aa
1.802,0 tok/s
Ornith-1.0-35B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260731-071556-e9a354
1.799,4 tok/s
gpt-oss-20b3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-032120-1cc62d
1.742,1 tok/s
Nemotron-Cascade-2-30B-A3B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-105340-3fa079
1.655,2 tok/s
Nemotron-3-Nano-30B-A3B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-105341-be087a
1.654,6 tok/s
Nemotron-3-Nano-Omni-30B-A3B-Reasoning3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-105340-2fab14
1.651,0 tok/s
Nemotron-Cascade-2-30B-A3B3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260729-105340-b8a790
1.650,7 tok/s
Kolibri-1 dieser LaufNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-a01d89
1.044,4 tok/s

Wie schlägt sich dieser Benchmark mit anderen GPUs?

Dasselbe Modell auf anderer Hardware · 10× parallel · Generation (tok/s)

Konfiguration

benchmark-konfiguration — run-20261008-165122-a01d89
# LLM-Benchmark Konfiguration # Modell : Kolibri-1 # Run-ID : run-20261008-165122-a01d89 # GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition # CPU : AMD Ryzen 9 7945HX with Radeon Graphics # RAM : 60 GB bench@llm-benchmark:~$ cat benchmark.conf execution_type local
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Kolibri-1 auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

1.3269956633320,0014.11528.23142.346Prefill (tok/s)Generation (tok/s)AMD Radeon 8060S Graphics - 158,2 tok/s Generation, 1.648 tok/s Prefill, TTFT 3.695 ms (3 Laufe)AMD Radeon 8060S Grap...NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 1.044,4 tok/s Generation, 34.389 tok/s Prefill, TTFT 192 ms (12 Laufe) | DIESER LAUF★ NVIDIA RTX PRO 6000 B...
★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.044,4 tok/s dieser LaufAMD Radeon 8060S Graphics 158,2 tok/s

CPUnach Prozessor

1.3269956633320,0014.11528.23142.346Prefill (tok/s)Generation (tok/s)AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 158,2 tok/s Generation, 1.648 tok/s Prefill, TTFT 3.695 ms (3 Laufe)AMD RYZEN AI MAX+ 395...AMD Ryzen 9 7945HX with Radeon Graphics - 1.044,4 tok/s Generation, 34.389 tok/s Prefill, TTFT 192 ms (12 Laufe) | DIESER LAUF★ AMD Ryzen 9 7945HX wi...
★ AMD Ryzen 9 7945HX with Radeon Graphics 1.044,4 tok/s dieser LaufAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 158,2 tok/s

MBnach Mainboard

1.3269956633320,0014.11528.23142.346Prefill (tok/s)Generation (tok/s)Meigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) - 158,2 tok/s Generation, 1.648 tok/s Prefill, TTFT 3.695 ms (3 Laufe)Meigao Innovation Tec...Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) - 1.044,4 tok/s Generation, 34.389 tok/s Prefill, TTFT 192 ms (12 Laufe) | DIESER LAUF★ Shenzhen Meigao Elect...
★ Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 1.044,4 tok/s dieser LaufMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 158,2 tok/s

ENGnach Engine

1.1771.07597487277007.44814.89522.343Prefill (tok/s)Generation (tok/s)unbekannt - 1.044,4 tok/s Generation, 18.018 tok/s Prefill, TTFT 1.967 ms (6 Laufe)unbekanntvLLM - 902,9 tok/s Generation, 0 tok/s Prefill, TTFT 177 ms (9 Laufe)vLLM
unbekannt 1.044,4 tok/svLLM 902,9 tok/s

DRVnach Treiber

1.1491.0971.04499294016.93717.65818.37919.099Prefill (tok/s)Generation (tok/s)unbekannt - 1.044,4 tok/s Generation, 18.018 tok/s Prefill, TTFT 893 ms (15 Laufe)unbekannt
unbekannt 1.044,4 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (10× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 30 W
⚡ TDP 300 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)300 W geschätzt (TDP)GPU 300 W Volllast
Ø-Kosten / Stunde0,090 EUR
Strom / 1 Mio. Token0,024 EUR
Token / kWh12,53 Mio.
Anschaffung (System)13.120 EUR TeilpreisGPU 13.000 EUR · Netzteil 120 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)14.697 EUR
Output-Token (2 Jahre)65,87 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (30 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation EditionKolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation EditionKolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation EditionKolibri-1AMD Radeon 8060S Graphics
Kosten Strom (24 Mon.)––––
Kosten Anschaffung––––
Kosten Gesamt (TCO)––––
Generierte Token (24 Mon.)––––
Tokenpreis bei API––––
Break-Even-Point (Tage)––––
Ergebnis (Ersparnis / Ausgabe)––––

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.