Beigesteuert vonMarcel SommerMistral AI Codestral-22B-v0.1
Performancebenchmark · gemessen am 03.08.2026 07:39
Benchmark-ID
run-20260804-052132-4f8be1Timebench 3 - Kombi (Prefill + Generation)Dense22BRuntime: llamacpp
Generation214,10tok/s
Prefill4.632,82tok/s
Time to First Token8.461,50ms
Gesamtdauer72,91s
Concurrency10parallel
Einordnung im Feld
55von 76 Systemen
Performancebenchmark · Leitmetrik: Generation-Speed (tok/s) · 10× parallel
Dieser Lauf ist besser als 28 % aller vergleichbaren Systeme.
Generation
214,1 tok/s
-57 % vs Ø 500,2
Prefill
4.632,8 tok/s
-2 % vs Ø 4.713,0
Time to First Token
8.462 ms
-86 % vs Ø 59.260
Verteilung im Feld0 – 1.493 tok/s
Wie schlägt sich dieser Benchmark mit anderen Modellen?
gemma-4-E2B-itNVIDIA GeForce RTX 3090 Ti · run-20260727-142111-067e7e
1.492,8 tok/s
gpt-oss-20bNVIDIA GeForce RTX 3090 Ti · run-20260728-034052-1af27e
1.113,5 tok/s
Nemotron-3-Nano-4BNVIDIA GeForce RTX 3090 Ti · run-20260727-145956-3936c2
992,1 tok/s
Laguna-XS-2.1NVIDIA GeForce RTX 3090 Ti · run-20260728-140956-a95d0c
986,1 tok/s
gemma-4-E4B-itNVIDIA GeForce RTX 3090 Ti · run-20260727-142111-f6547e
983,7 tok/s
Laguna-XS-2.1NVIDIA GeForce RTX 3090 Ti · run-20260728-140956-bd6646
981,7 tok/s
Laguna-XS-2.1NVIDIA GeForce RTX 3090 Ti · run-20260728-140956-69c075
979,7 tok/s
North-Mini-Code-1.0NVIDIA GeForce RTX 3090 Ti · run-20260728-195915-0c9fd6
939,5 tok/s
Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 3090 Ti · run-20260729-060803-f260ab
930,6 tok/s
Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 3090 Ti · run-20260729-060804-8652f4
928,5 tok/s
Qwen3-Omni-30B-A3B-ThinkingNVIDIA GeForce RTX 3090 Ti · run-20260729-060805-cbb6a2
927,4 tok/s
Gemma-4-26B-A4B-itNVIDIA GeForce RTX 3090 Ti · run-20260729-032132-0df294
926,2 tok/s
Ornith-1.0-35BNVIDIA GeForce RTX 3090 Ti · run-20260730-181639-202935
920,2 tok/s
Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 3090 Ti · run-20260729-060803-9dc48b
905,1 tok/s
Codestral-22B-v0.1 dieser LaufNVIDIA GeForce RTX 3090 Ti · run-20260804-052132-4f8be1
214,1 tok/s
Wie schlägt sich dieser Benchmark mit anderen GPUs?
Dasselbe Modell auf anderer Hardware · 10× parallel · Generation (tok/s)
NVIDIA GeForce RTX 5090run-20260729-105333-27947e
641,4 tok/s
NVIDIA RTX PRO 6000 Blackwell Workstation Editionrun-20260728-195916-f73eeb
629,5 tok/s
3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-105337-73d894
559,4 tok/s
3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-105336-236265
547,9 tok/s
3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editionrun-20260729-105336-92fedc
455,3 tok/s
NVIDIA GeForce RTX 3090 Tirun-20260729-032129-8ee596
325,2 tok/s
NVIDIA GeForce RTX 3090 Tirun-20260804-052132-43f414
277,9 tok/s
NVIDIA GeForce RTX 3090 Ti dieser Laufrun-20260804-052132-4f8be1
214,1 tok/s
3× AMD Radeon AI PRO R9700run-20260805-053401-96af1c
201,5 tok/s
3× AMD Radeon AI PRO R9700run-20260805-053401-f53462
198,8 tok/s
2× NVIDIA RTX A6000run-20260827-111922-019413
187,0 tok/s
2× NVIDIA RTX A6000run-20260827-122500-f75c90
182,9 tok/s
3× AMD Radeon AI PRO R9700run-20260805-053401-d583c3
181,9 tok/s
2× NVIDIA RTX A6000run-20260829-145219-801cd3
181,9 tok/s
Hardware
GPU: NVIDIA GeForce RTX 3090 Ti · 24 GB VRAM
CPU: AMD Ryzen 5 5600X 6-Core Processor
RAM: 30 GB
Mainboard: ASUSTeK COMPUTER INC. PRIME A520M-K
Setup
Runtime: llamacpp
Quantisierung: -
Modell: Codestral-22B-v0.1
Anzeige
Modell-Vergleich
Codestral-22B-v0.1 auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
NVIDIA GeForce RTX 5090 641,4 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 629,5 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 559,4 tok/s★ NVIDIA GeForce RTX 3090 Ti 325,2 tok/s dieser LaufAMD Radeon AI PRO R9700 201,5 tok/sNVIDIA RTX A6000 187,0 tok/sAMD Radeon PRO W7900 Dual Slot 147,5 tok/sAMD Radeon PRO W7800 48GB 127,7 tok/sNVIDIA GB10 (DGX Spark) 80,0 tok/sNVIDIA GeForce RTX 5070 Ti 62,9 tok/sIntel Arc Pro B70 23,6 tok/sNVIDIA Tesla P100 PCIe 16GB 22,2 tok/s
CPUnach Prozessor
AMD Ryzen 7 5800X3D 8-Core Processor 641,4 tok/sAMD Ryzen 9 9950X 16-Core Processor 629,5 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 559,4 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 325,2 tok/s★ AMD Ryzen 5 5600X 6-Core Processor 277,9 tok/s dieser LaufAMD Ryzen Threadripper PRO 7955WX 16-Cores 201,5 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 147,5 tok/sAMD Ryzen 9 7945HX with Radeon Graphics 23,6 tok/s
MBnach Mainboard
ASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 641,4 tok/sASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 629,5 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 559,4 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 325,2 tok/s★ ASUSTeK COMPUTER INC. PRIME A520M-K 277,9 tok/s dieser LaufASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 147,5 tok/sunbekannt 80,0 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 23,6 tok/sShenzhen Meigao Electronic Equipment Co.,Ltd F1FXM (DeskMini Series) 22,2 tok/s
DRVnach Treiber
unbekannt 641,4 tok/sNVIDIA 580.159.03 / CUDA 13.0 80,0 tok/sAMD 7.0.0-27-generic 33,5 tok/sIntel 26.18.38308.4 23,6 tok/s
💰 Economics
Wirtschaftlichkeit dieses Laufs
Betriebskosten, TCO und Vergleich mit den nächstbesten Läufen desselben Modells bei identischer Concurrency (10× parallel). Methodik →
⚙️ KonfigurationAlle Kennzahlen und Diagramme unten folgen diesen Einstellungen – bezogen auf 24 Monate Laufzeit.In URL übernehmenZurücksetzen
⚡ Strompreis
EUR/kWh
⚙️ System-Auslastung
100 %
🖥️ Anschaffung
EUR
🔌 Idle
25 W
⚡ TDP
450 W
☁️ Externes LLM (API)
Strompreis0,30 EUR/kWh
Ø-Leistung (inkl. Idle)450 W geschätzt (TDP)GPU 450 W Volllast
Ø-Kosten / Stunde0,14 EUR
Strom / 1 Mio. Token0,18 EUR
Token / kWh1,71 Mio.
Anschaffung (System)1.270 EUR TeilpreisGPU 999 EUR · CPU 121 EUR · Netzteil 150 EUR
Stromkosten (2 Jahre)–
TCO (2 Jahre)3.635 EUR
Output-Token (2 Jahre)13,50 Mrd.
☁️ Externes LLM (API) – Vergleich
Externe LLM-Kosten (2 Jahre)–
Ersparnis vs. extern (2 Jahre)–
Alle Werte oben und die Diagramme unten berücksichtigen die eingestellte System-Auslastung: bei X % generiert das System nur X % der Zeit, die restliche Zeit läuft es im Idle (25 W). Kosten pro Stunde sinken dadurch (mehr Idle), Kosten je Token steigen.
Kosten über 2 Jahre – nur Strom
Kosten über 2 Jahre – inkl. Anschaffung (TCO)
Geschwindigkeit vs. Token pro Euro
Euro pro 1 Mio. Token
Vergleich zur API – Wirtschaftlichkeit je Benchmark
| Codestral-22B-v0.1NVIDIA GeForce RTX 3090 Ti | Codestral-22B-v0.1NVIDIA GeForce RTX 5090 | Codestral-22B-v0.1NVIDIA RTX PRO 6000 Blackwell Workstation Edition | Codestral-22B-v0.13x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition | |
|---|---|---|---|---|
| Kosten Strom (24 Mon.) | – | – | – | – |
| Kosten Anschaffung | – | – | – | – |
| Kosten Gesamt (TCO) | – | – | – | – |
| Generierte Token (24 Mon.) | – | – | – | – |
| Tokenpreis bei API | – | – | – | – |
| Break-Even-Point (Tage) | – | – | – | – |
| Ergebnis (Ersparnis / Ausgabe) | – | – | – | – |
NVIDIA GeForce RTX 3090 Ti · dieser Lauf 214 tok/sNVIDIA GeForce RTX 5090 641 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 629 tok/s3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 559 tok/s
Vergleich mit bis zu 3 nächstbesten Läufen dieses Modells bei gleicher Concurrency (mind. einer auf anderer Hardware). Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt), Anschaffung = komplettes System (GPU + CPU + Board + RAM + Netzteil), Preise = hinterlegte Marktpreise.