⚡
Performance-Benchmark
Wie schnell ist das Modell?
Roher Durchsatz auf echter Hardware – wie viele Token ein Modell pro Sekunde erzeugt, wie schnell es den Prompt verarbeitet und wie kurz die Zeit bis zum ersten Token ausfällt. Je höher, desto besser.
⚡ Generation (tok/s)🔄 Prefill⏱️ TTFT👥 Concurrency
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Llama-3.2-1B-Instruct1BMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 43,17 tok/s TG Prefill 281 · TTFT 8.805 ms | 1× | AMD Liverpool (PlayStation 4)AMD Jaguar 8-Core (PlayStation 4) · 5 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 2 | Llama-3.2-1B-Instruct1BMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 3,91 tok/s TG Prefill 193 · TTFT 12.786 ms | 1× | AMD Liverpool (PlayStation 4)AMD Jaguar 8-Core (PlayStation 4) · 5 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 3 | Qwen3-0.6B0.6BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 3,80 tok/s TG Prefill 23 · TTFT 106.805 ms | 1× | AMD Liverpool (PlayStation 4)AMD Jaguar 8-Core (PlayStation 4) · 5 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 4 | Qwen3-4B4BQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 1,25 tok/s TG Prefill 4 · TTFT 474.264 ms | 1× | AMD Liverpool (PlayStation 4)AMD Jaguar 8-Core (PlayStation 4) · 5 GB RAM | llama.cppgodclawQ4_K_M | Details → |