Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Qwen (Alibaba)

Qwen2.5-0.5B-Instruct

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation19,6 tok/s
Min 0,0Ø 7,3Max 70,9
Ueber dem Durchschnitt · 78 Systeme im Feld
Prefill171 tok/s
Min 4Ø 70Max 273
Ueber dem Durchschnitt · 78 Systeme im Feld
Time to First Token29.146 ms
Min 569Ø 162.646Max 506.953
Ueber dem Durchschnitt · 78 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

21,620,619,618,717,7122127133138Prefill (tok/s)Generation (tok/s)CPU-only - 19,6 tok/s Generation, 130 tok/s Prefill, TTFT 103.850 ms (3 Laufe)CPU-only
CPU-only 19,6 tok/s

CPUnach Prozessor

21,620,619,618,717,7122127133138Prefill (tok/s)Generation (tok/s)4 x Cortex-A78C + 4 x Cortex-A55 - 19,6 tok/s Generation, 130 tok/s Prefill, TTFT 103.850 ms (3 Laufe)4 x Cortex-A78C + 4 x...
4 x Cortex-A78C + 4 x Cortex-A55 19,6 tok/s

ENGnach Engine

21,620,619,618,717,7122127133138Prefill (tok/s)Generation (tok/s)llama.cpp - 19,6 tok/s Generation, 130 tok/s Prefill, TTFT 103.850 ms (3 Laufe)llama.cpp
llama.cpp 19,6 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen2.5-0.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
19,64 tok/s TG
Prefill 135 · TTFT 103.828 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
2Qwen2.5-0.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
19,33 tok/s TG
Prefill 171 · TTFT 178.576 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
3Qwen2.5-0.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
11,74 tok/s TG
Prefill 85 · TTFT 29.146 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.