Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
Beigesteuert vonMario AlkaMistral AI

Codestral-22B-v0.1

Performancebenchmark · gemessen am 22.07.2026 16:20

Benchmark-IDrun-20260722-162021-24c74a
Dense22BRuntime: vLLM
Generation80,00tok/s
Prefill1.200,00tok/s
Time to First Token150,00ms
Gesamtdauer60,00s
Concurrency8parallel
Einordnung im Feld
Diese GPUAlle GPUs
1von 1 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 8× parallel

Dieser Lauf ist besser als 100 % aller vergleichbaren Systeme.
Generation 80,0 tok/s
+0 % vs Ø 80,0
Prefill 1.200,0 tok/s
+0 % vs Ø 1.200,0
Time to First Token 150 ms
+0 % vs Ø 150

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Hardware

GPU: NVIDIA GB10
CPU: AMD Ryzen 9 9950X 16-Core Processor
RAM: 128 GB

Setup

Runtime: vLLM
Quantisierung: -
Treiber: NVIDIA 580.159.03 / CUDA 13.0
Modell: Codestral-22B-v0.1

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Codestral-22B-v0.1 auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

8296224152070,002.6575.3147.970Prefill (tok/s)Generation (tok/s)NVIDIA GeForce RTX 5090 - 641,4 tok/s Generation, 5.824 tok/s Prefill, TTFT 7.096 ms (3 Laufe)NVIDIA GeForce RTX 50...NVIDIA RTX PRO 6000 Blackwell Workstation Edition - 629,5 tok/s Generation, 5.700 tok/s Prefill, TTFT 6.905 ms (3 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 559,4 tok/s Generation, 6.460 tok/s Prefill, TTFT 8.205 ms (9 Laufe)NVIDIA RTX PRO 6000 B...NVIDIA GeForce RTX 3090 Ti - 325,2 tok/s Generation, 2.975 tok/s Prefill, TTFT 8.460 ms (9 Laufe)NVIDIA GeForce RTX 30...AMD Radeon AI PRO R9700 - 201,5 tok/s Generation, 2.324 tok/s Prefill, TTFT 14.356 ms (15 Laufe)AMD Radeon AI PRO R97...AMD Radeon PRO W7900 Dual Slot - 147,5 tok/s Generation, 1.589 tok/s Prefill, TTFT 10.455 ms (18 Laufe)AMD Radeon PRO W7900 ...NVIDIA GeForce RTX 5070 Ti - 62,9 tok/s Generation, 994 tok/s Prefill, TTFT 64.942 ms (3 Laufe)NVIDIA GeForce RTX 50...Intel Arc Pro B70 - 23,6 tok/s Generation, 300 tok/s Prefill, TTFT 7.630 ms (2 Laufe)Intel Arc Pro B70NVIDIA Tesla P100 PCIe 16GB - 22,2 tok/s Generation, 224 tok/s Prefill, TTFT 35.995 ms (2 Laufe)NVIDIA Tesla P100 PCI...NVIDIA GB10 (DGX Spark) - 80,0 tok/s Generation, 1.200 tok/s Prefill, TTFT 150 ms (1 Lauf) | DIESER LAUF★ NVIDIA GB10 (DGX Spar...
NVIDIA GeForce RTX 5090 641,4 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 629,5 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 559,4 tok/sNVIDIA GeForce RTX 3090 Ti 325,2 tok/sAMD Radeon AI PRO R9700 201,5 tok/sAMD Radeon PRO W7900 Dual Slot 147,5 tok/s★ NVIDIA GB10 (DGX Spark) 80,0 tok/s dieser LaufNVIDIA GeForce RTX 5070 Ti 62,9 tok/sIntel Arc Pro B70 23,6 tok/sNVIDIA Tesla P100 PCIe 16GB 22,2 tok/s

CPUnach Prozessor

8296224152070,002.6545.3097.963Prefill (tok/s)Generation (tok/s)AMD Ryzen 7 5800X3D 8-Core Processor - 641,4 tok/s Generation, 5.824 tok/s Prefill, TTFT 7.096 ms (3 Laufe)AMD Ryzen 7 5800X3D 8...AMD Ryzen Threadripper PRO 9965WX 24-Cores - 559,4 tok/s Generation, 6.460 tok/s Prefill, TTFT 8.205 ms (9 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 9 8945HX with Radeon Graphics - 325,2 tok/s Generation, 2.907 tok/s Prefill, TTFT 14.580 ms (3 Laufe)AMD Ryzen 9 8945HX wi...AMD Ryzen 5 5600X 6-Core Processor - 277,9 tok/s Generation, 3.010 tok/s Prefill, TTFT 5.401 ms (6 Laufe)AMD Ryzen 5 5600X 6-C...AMD Ryzen Threadripper PRO 7955WX 16-Cores - 201,5 tok/s Generation, 2.324 tok/s Prefill, TTFT 14.356 ms (15 Laufe)AMD Ryzen Threadrippe...AMD Ryzen Threadripper PRO 5975WX 32-Cores - 147,5 tok/s Generation, 1.504 tok/s Prefill, TTFT 18.239 ms (21 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 9 7945HX with Radeon Graphics - 23,6 tok/s Generation, 262 tok/s Prefill, TTFT 21.813 ms (4 Laufe)AMD Ryzen 9 7945HX wi...AMD Ryzen 9 9950X 16-Core Processor - 629,5 tok/s Generation, 4.575 tok/s Prefill, TTFT 5.216 ms (4 Laufe) | DIESER LAUF★ AMD Ryzen 9 9950X 16-...
AMD Ryzen 7 5800X3D 8-Core Processor 641,4 tok/s★ AMD Ryzen 9 9950X 16-Core Processor 629,5 tok/s dieser LaufAMD Ryzen Threadripper PRO 9965WX 24-Cores 559,4 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 325,2 tok/sAMD Ryzen 5 5600X 6-Core Processor 277,9 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 201,5 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 147,5 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 23,6 tok/s

MBnach Mainboard

8296224152070,002.3944.7877.181Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING - 641,4 tok/s Generation, 5.824 tok/s Prefill, TTFT 7.096 ms (3 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI - 629,5 tok/s Generation, 5.700 tok/s Prefill, TTFT 6.905 ms (3 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 559,4 tok/s Generation, 3.875 tok/s Prefill, TTFT 12.050 ms (24 Laufe)ASUSTeK COMPUTER INC....Meigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) - 325,2 tok/s Generation, 2.907 tok/s Prefill, TTFT 14.580 ms (3 Laufe)Meigao Innovation Tec...ASUSTeK COMPUTER INC. PRIME A520M-K - 277,9 tok/s Generation, 3.010 tok/s Prefill, TTFT 5.401 ms (6 Laufe)ASUSTeK COMPUTER INC....ASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI - 147,5 tok/s Generation, 1.504 tok/s Prefill, TTFT 18.239 ms (21 Laufe)ASUSTeK COMPUTER INC....unbekannt - 80,0 tok/s Generation, 1.200 tok/s Prefill, TTFT 150 ms (1 Lauf)unbekanntShenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) - 23,6 tok/s Generation, 300 tok/s Prefill, TTFT 7.630 ms (2 Laufe)Shenzhen Meigao Elect...Shenzhen Meigao Electronic Equipment Co.,Ltd F1FXM (DeskMini Series) - 22,2 tok/s Generation, 224 tok/s Prefill, TTFT 35.995 ms (2 Laufe)Shenzhen Meigao Elect...
ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 641,4 tok/sASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 629,5 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 559,4 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 325,2 tok/sASUSTeK COMPUTER INC. PRIME A520M-K 277,9 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 147,5 tok/sunbekannt 80,0 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 23,6 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd F1FXM (DeskMini Series) 22,2 tok/s

ENGnach Engine

79160942824664,51.7532.2882.8223.357Prefill (tok/s)Generation (tok/s)llama.cpp - 641,4 tok/s Generation, 3.012 tok/s Prefill, TTFT 15.202 ms (55 Laufe)llama.cppunbekannt - 214,1 tok/s Generation, 2.099 tok/s Prefill, TTFT 3.660 ms (7 Laufe)unbekanntvLLM - 277,9 tok/s Generation, 2.613 tok/s Prefill, TTFT 5.336 ms (3 Laufe) | DIESER LAUF★ vLLM
llama.cpp 641,4 tok/s★ vLLM 277,9 tok/s dieser Laufunbekannt 214,1 tok/s

DRVnach Treiber

8296224152070,001.2652.5303.794Prefill (tok/s)Generation (tok/s)unbekannt - 641,4 tok/s Generation, 3.104 tok/s Prefill, TTFT 14.462 ms (59 Laufe)unbekanntAMD 7.0.0-27-generic - 33,5 tok/s Generation, 1.090 tok/s Prefill, TTFT 3.025 ms (3 Laufe)AMD 7.0.0-27-genericIntel 26.18.38308.4 - 23,6 tok/s Generation, 300 tok/s Prefill, TTFT 7.630 ms (2 Laufe)Intel 26.18.38308.4NVIDIA 580.159.03 / CUDA 13.0 - 80,0 tok/s Generation, 1.200 tok/s Prefill, TTFT 150 ms (1 Lauf) | DIESER LAUF★ NVIDIA 580.159.03 / C...
unbekannt 641,4 tok/s★ NVIDIA 580.159.03 / CUDA 13.0 80,0 tok/s dieser LaufAMD 7.0.0-27-generic 33,5 tok/sIntel 26.18.38308.4 23,6 tok/s
💰 Economics

Wirtschaftlichkeit dieses Laufs

Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (8× parallel). Methodik →

⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis EUR/kWh
⚙️ System-Auslastung 100 %
🖥️ Anschaffung EUR
🔌 Idle 15 W
⚡ TDP 140 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)140 W geschätzt (TDP)GPU 140 W Volllast
Ø-Kosten / Stunde0,042 EUR
Strom / 1 Mio. Token0,15 EUR
Token / kWh2,06 Mio.
Anschaffung (System)4.769 EUR TeilpreisGPU 4.000 EUR · CPU 649 EUR · Netzteil 120 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)5.505 EUR
Output-Token (2 Jahre)5,05 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–

Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (15 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.

Kosten über 2 Jahre – nur Strom

Kosten über 2 Jahre – inkl. Anschaffung (TCO)

Geschwindigkeit vs. Token pro Euro

Euro pro 1 Mio. Token

Vergleich zur API – Wirtschaftlichkeit je Benchmark

Codestral-22B-v0.1NVIDIA GB10 (DGX Spark)
Kosten Strom (24 Mon.)–
Kosten Anschaffung–
Kosten Gesamt (TCO)–
Generierte Token (24 Mon.)–
Tokenpreis bei API–
Break-Even-Point (Tage)–
Ergebnis (Ersparnis / Ausgabe)–
NVIDIA GB10 (DGX Spark) · dieser Lauf 80 tok/s

Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.