🎮
Grafikkarte
NVIDIA GeForce RTX 3090 Ti
NVIDIA24 GB VRAM
Beste Generation
796,8 tok/s
gpt-oss-20b
∅ Generation
401,5 tok/s
Schnitt aus 6 Läufen
Bester Prefill
11.892 tok/s
Prompt-Verarbeitung
Bester TTFT
245 ms
Time to First Token
Beste Harness-Quote
–%
noch kein Harness
🏆
gpt-oss-20b läuft am schnellsten auf dieser GPU · 796,8 tok/s
Bester Prefill: 11.892 tok/s · 2 Modelle getestet
Bester Prefill: 11.892 tok/s · 2 Modelle getestet
Top-Modelle
Bester gemessener Durchsatz je Modell auf NVIDIA GeForce RTX 3090 Ti – umschaltbar nach Generation, Prefill oder Kombiwert.
Performanceprofil
Durchsatz auf NVIDIA GeForce RTX 3090 Ti
Jede Blase steht für ein Modell, eine Engine bzw. eine CPU – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.
MODnach Modell
gpt-oss-20b 796,8 tok/sMinistral-3-14B-Reasoning-2512 524,4 tok/s
ENGnach Engine
vLLM 796,8 tok/s
CPUnach Prozessor
AMD Ryzen 9 8945HX with Radeon Graphics 796,8 tok/s
Durchsatz & Latenz
Im Leaderboard →Performancebenchmark
6 veroeffentlichte Performance-Läufe auf NVIDIA GeForce RTX 3090 Ti.
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 796,82 tok/s TG Prefill 11.892 · TTFT 1.781 ms | 10× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocket | Details → | |
| 2 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 524,37 tok/s TG Prefill 7.751 · TTFT 4.130 ms | 10× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocketAWQ | Details → | |
| 3 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 483,69 tok/s TG Prefill 9.270 · TTFT 1.070 ms | 5× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocket | Details → | |
| 4 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 338,30 tok/s TG Prefill 5.943 · TTFT 2.299 ms | 5× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocketAWQ | Details → | |
| 5 | gpt-oss-20bOpenAI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 176,18 tok/s TG Prefill 8.074 · TTFT 245 ms | 1× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocket | Details → | |
| 6 | Ministral-3-14B-Reasoning-2512Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 89,62 tok/s TG Prefill 2.949 · TTFT 726 ms | 1× | NVIDIA GeForce RTX 3090 Ti32x AMD Ryzen 9 8945HX with Radeon Graphics · 92 GB RAM | vLLMwebsocketAWQ | Details → |
Agent- & Chat-Bewertung
Im Leaderboard →Harnessbenchmark
0 veroeffentlichte Harness-Läufe auf NVIDIA GeForce RTX 3090 Ti.
Noch keine Harnessbenchmarks auf dieser Hardware.