Unabhaengige LLM Benchmarks

💰

LLM Economics

Vergleiche Hardware, Modelle und Inferenz-Setups nach Betriebskosten, Tokenleistung und Gesamtbetriebskosten.

💸 Betriebskosten🖥️ TCO⚡ Token / Euro🔋 Token / kWh

🎮 GPU-Vergleich 🧠 Modelle ⚖️ Vergleich 📚 Methodik

Einstellungen werden im Browser gespeichert und in der URL geteilt. Leistungsaufnahme mangels Messwert geschätzt aus GPU-TDP + CPU (Idle + 15 %) + Board. Methodik →

GPU-Wirtschaftlichkeit

29 GPU-Konfigurationen

Aggregiert je Konfiguration (inkl. GPU-Anzahl) – Economics je Lauf berechnet, dann AVG/MIN/MAX. Zahl hinter der GPU = Läufe · Modelle.

GPU-Konfigurationen grafisch

Balken je Konfiguration – umschaltbar zwischen Kosten je 1 Mio. Token, Token pro Euro und Durchsatz sowie Bestwerte (bestes Modell) und AVG. Unter der GPU steht das Modell, das den Wert erreicht. Günstiger/schneller = längerer Balken.

Liste der Grafikkarten

#	GPU-Konfiguration	Gen tok/s i	Kosten/h	€ / 1 Mio. Tok i	Tok/€	Tok/kWh	TCO i
1	NVIDIA DGX SPARK (GB10)i128 GB VRAM · 4.000 EUR · 140 W GPU-TDP	903,3 tok/s gemma-4-E2B-it	0,042 EUR	0,013 EUR	77,43 Mio.	23,23 Mio.	736 EUR
2	AMD Radeon RX 7900 XTXi24 GB VRAM · 1.049 EUR · 355 W GPU-TDP	495,5 tok/s Qwen3-0.6B	0,11 EUR	0,061 EUR	16,29 Mio.	4,89 Mio.	1.918 EUR
3	NVIDIA GeForce RTX 3090i24 GB VRAM · 850 EUR · 350 W GPU-TDP	1.132,7 tok/s Qwen3.8-Flash-Next	0,11 EUR	0,027 EUR	37,55 Mio.	11,26 Mio.	1.903 EUR
4	AMD Radeon 8060S Graphicsi3.000 EUR · 120 W GPU-TDP	326,9 tok/s Nemotron-Cascade-2-30B-A3B	0,036 EUR	0,031 EUR	32,69 Mio.	9,81 Mio.	631 EUR
5	NVIDIA RTX A6000i48 GB VRAM · 3.000 EUR · 300 W GPU-TDP	1.171,8 tok/s Qwen3.8-Flash-Next	0,11 EUR	0,021 EUR	46,87 Mio.	14,06 Mio.	1.577 EUR
6	NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editioni96 GB VRAM · 13.000 EUR · 300 W GPU-TDP	1.564,6 tok/s Qwen3.8-Flash-Next	0,091 EUR	0,016 EUR	62,58 Mio.	18,78 Mio.	1.577 EUR
7	AMD Radeon AI PRO R9700i32 GB VRAM · 1.400 EUR · 300 W GPU-TDP	561,4 tok/s Qwen3-0.6B	0,090 EUR	0,045 EUR	22,46 Mio.	6,74 Mio.	1.577 EUR
8	NVIDIA GeForce RTX 4090i24 GB VRAM · 2.000 EUR · 450 W GPU-TDP	503,3 tok/s Qwen3-0.6B	0,14 EUR	0,075 EUR	13,42 Mio.	4,03 Mio.	2.365 EUR
9	2× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editioni192 GB VRAM · 26.000 EUR · 600 W GPU-TDP	424,2 tok/s Qwen3.8-Flash-Next	0,20 EUR	0,13 EUR	7,46 Mio.	2,24 Mio.	3.587 EUR
10	3× NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Editioni288 GB VRAM · 39.000 EUR · 900 W GPU-TDP	2.143,6 tok/s gemma-4-E2B-it	0,29 EUR	0,038 EUR	26,18 Mio.	7,85 Mio.	5.033 EUR
11	AMD Radeon PRO W7800 48GBi48 GB VRAM · 2.808 EUR · 260 W GPU-TDP	702,9 tok/s gemma-4-E2B-it	0,081 EUR	0,032 EUR	31,24 Mio.	9,37 Mio.	1.419 EUR
12	NVIDIA Tesla V100 PCIe 32GBi32 GB VRAM · 600 EUR · 250 W GPU-TDP	361,8 tok/s gemma-4-E2B-it	0,076 EUR	0,058 EUR	17,37 Mio.	5,21 Mio.	1.314 EUR
13	2× NVIDIA RTX A6000i96 GB VRAM · 6.000 EUR · 600 W GPU-TDP	1.568,0 tok/s gemma-4-E2B-it	0,20 EUR	0,036 EUR	28,04 Mio.	8,41 Mio.	3.154 EUR
14	AMD Radeon PRO W7900 Dual Sloti48 GB VRAM · 3.911 EUR · 295 W GPU-TDP	343,9 tok/s gpt-oss-20b	0,091 EUR	0,074 EUR	13,53 Mio.	4,06 Mio.	1.603 EUR
15	2× AMD Radeon PRO W7800 48GBi96 GB VRAM · 5.616 EUR · 520 W GPU-TDP	323,1 tok/s Meta-Llama-3.1-8B-Instruct	0,16 EUR	0,14 EUR	7,32 Mio.	2,19 Mio.	2.786 EUR
16	NVIDIA Tesla P100 PCIe 16GBi16 GB VRAM · 70 EUR · 250 W GPU-TDP	111,1 tok/s gpt-oss-20b	0,075 EUR	0,19 EUR	5,33 Mio.	1,60 Mio.	1.314 EUR
17	2× AMD Radeon PRO W7900 Dual Sloti96 GB VRAM · 7.822 EUR · 590 W GPU-TDP	344,1 tok/s gpt-oss-20b	0,18 EUR	0,15 EUR	6,88 Mio.	2,06 Mio.	3.154 EUR
18	NVIDIA GeForce RTX 5070 Tii16 GB VRAM · 994 EUR · 300 W GPU-TDP	1.744,0 tok/s gemma-4-E2B-it	0,093 EUR	0,015 EUR	67,51 Mio.	20,25 Mio.	1.577 EUR
19	2× NVIDIA GeForce RTX 2060i12 GB VRAM · 220 EUR · 320 W GPU-TDP	259,9 tok/s Qwen2.5-3B-Instruct	0,10 EUR	0,12 EUR	8,69 Mio.	2,61 Mio.	1.682 EUR
20	4× AMD Radeon AI PRO R9700i128 GB VRAM · 5.600 EUR · 1.200 W GPU-TDP	290,3 tok/s NVIDIA-Nemotron-3.5-Lightning-30B-A3B	0,38 EUR	0,36 EUR	2,74 Mio.	822,17 Tsd.	6.680 EUR
21	2× AMD Radeon RX 7900 XTXi48 GB VRAM · 2.098 EUR · 710 W GPU-TDP	717,6 tok/s Llama-3.2-1B-Instruct	0,22 EUR	0,084 EUR	11,96 Mio.	3,59 Mio.	3.784 EUR
22	Intel Arc Pro B70i32 GB VRAM · 1.258 EUR · 230 W GPU-TDP	826,2 tok/s gemma-4-E2B-it	0,069 EUR	0,023 EUR	43,11 Mio.	12,93 Mio.	1.209 EUR
23	NVIDIA GeForce RTX 3090 Tii24 GB VRAM · 999 EUR · 450 W GPU-TDP	2.263,7 tok/s NVIDIA-Nemotron-3.5-Lightning-30B-A3B	0,14 EUR	0,017 EUR	60,37 Mio.	18,11 Mio.	2.365 EUR
24	3× AMD Radeon AI PRO R9700i96 GB VRAM · 4.200 EUR · 900 W GPU-TDP	667,0 tok/s NVIDIA-Nemotron-3-Nano-4B	0,29 EUR	0,12 EUR	8,24 Mio.	2,47 Mio.	5.104 EUR
25	NVIDIA GeForce RTX 5090i32 GB VRAM · 3.300 EUR · 575 W GPU-TDP	2.491,2 tok/s gemma-4-E2B-it	0,19 EUR	0,021 EUR	48,10 Mio.	14,43 Mio.	3.267 EUR
26	NVIDIA RTX PRO 6000 Blackwell Workstation Editioni96 GB VRAM · 13.000 EUR · 600 W GPU-TDP	2.414,4 tok/s gemma-4-E2B-it	0,19 EUR	0,021 EUR	47,30 Mio.	14,19 Mio.	3.217 EUR
27	NVIDIA RTX SPARK (N1X)ikein Preis · –	200,5 tok/s gpt-oss-20b	–	–	–	–	–
28	AMD Oberon (PlayStation 5)ikein Preis · –	302,6 tok/s Qwen3-0.6B	–	–	–	–	–
29	AMD Liverpool (PlayStation 4)ikein Preis · –	43,2 tok/s Llama-3.2-1B-Instruct	–	–	–	–	–

MIN = niedrigste Kosten (höchste Leistung / niedrigste Aufnahme), MAX = höchste Kosten. Jede Kostenkennzahl ist an einen realen Lauf gebunden (erst je Lauf gerechnet, dann aggregiert). Preise = GPU-Anschaffung (Einzelpreis × Anzahl).

GPUnach Grafikkarte

NVIDIA GeForce RTX 5090 2.491,2 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 2.414,4 tok/sNVIDIA GeForce RTX 3090 Ti 2.263,7 tok/sNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 2.143,6 tok/sNVIDIA GeForce RTX 5070 Ti 1.744,0 tok/sNVIDIA RTX A6000 1.568,0 tok/sNVIDIA GeForce RTX 3090 1.132,7 tok/sNVIDIA DGX SPARK (GB10) 903,3 tok/sIntel Arc Pro B70 826,2 tok/sAMD Radeon RX 7900 XTX 717,6 tok/s

Geschwindigkeit vs. Token pro Euro

Geschwindigkeit vs. Token pro Euro – Blasengröße = VRAM. Oben rechts = schnell und wirtschaftlich.

Auf 2 Jahre gerechnet

Hochrechnung je GPU-Konfiguration für den eingestellten Zeitraum: Kosten (Anschaffung + Strom je Kostenmodus) und generierte Output-Token (AVG je Lauf). X-Achse = Gesamtkosten über den Zeitraum. Zeitraum/Auslastung/Kostenmodus oben anpassbar.

Kosten vs. generierte Token (2 Jahre)

Kosten über 2 Jahre

Generierte Token über 2 Jahre

Kosten & Token wachsen linear mit der Laufzeit. Leistung = GPU-TDP + CPU (Idle + 15 %) + Board (geschätzt). Charts zeigen die Top 12 wirtschaftlichsten Konfigurationen.