Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Qwen (Alibaba)

Qwen2.5-1.5B-Instruct

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

Generation9,1 tok/s
Min 0,0Ø 235,6Max 2.491,2
Unter dem Durchschnitt · 4705 Systeme im Feld
Prefill91 tok/s
Min 4Ø 4.785Max 112.346
Unter dem Durchschnitt · 4696 Systeme im Feld
Time to First Token52.732 ms
Min 20Ø 32.984Max 535.235
Unter dem Durchschnitt · 4703 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)CPU-only - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)CPU-only
CPU-only 9,1 tok/s

CPUnach Prozessor

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)4 x Cortex-A78C + 4 x Cortex-A55 - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)4 x Cortex-A78C + 4 x...
4 x Cortex-A78C + 4 x Cortex-A55 9,1 tok/s

ENGnach Engine

10,19,69,18,78,264676972Prefill (tok/s)Generation (tok/s)llama.cpp - 9,1 tok/s Generation, 68 tok/s Prefill, TTFT 183.014 ms (3 Laufe)llama.cpp
llama.cpp 9,1 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
9,14 tok/s TG
Prefill 67 · TTFT 194.902 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
2Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,93 tok/s TG
Prefill 47 · TTFT 52.732 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
3Qwen2.5-1.5B-InstructQwen (Alibaba) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
4,11 tok/s TG
Prefill 91 · TTFT 301.409 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_M
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.