Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Qwen (Alibaba)

Qwen2.5-1.5B-Instruct

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation9,1 tok/s
Min 0,0Ø 7,3Max 70,9
Ueber dem Durchschnitt · 78 Systeme im Feld
Prefill91 tok/s
Min 4Ø 70Max 273
Ueber dem Durchschnitt · 78 Systeme im Feld
Time to First Token52.732 ms
Min 569Ø 162.646Max 506.953
Ueber dem Durchschnitt · 78 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)CPU-only - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)CPU-only
CPU-only 9,1 tok/s

CPUnach Prozessor

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)4 x Cortex-A78C + 4 x Cortex-A55 - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)4 x Cortex-A78C + 4 x...
4 x Cortex-A78C + 4 x Cortex-A55 9,1 tok/s

ENGnach Engine

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)llama.cpp - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)llama.cpp
llama.cpp 9,1 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
9,14 tok/s TG
Prefill 67 · TTFT 194.902 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
2Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,93 tok/s TG
Prefill 47 · TTFT 52.732 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
3Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,11 tok/s TG
Prefill 91 · TTFT 301.409 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.