Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
HuggingFaceTB

SmolLM2-1.7B-Instruct1.7B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense1.7B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

AMD Radeon RX 7900 XTXAlle GPUs
Generation531,7 tok/s
Min 0,1Ø 159,1Max 717,6
Ueber dem Durchschnitt · 361 Systeme im Feld
Prefill44.141 tok/s
Min 39Ø 5.819Max 52.503
Ueber dem Durchschnitt · 361 Systeme im Feld
Time to First Token223 ms
Min 156Ø 18.353Max 354.928
Ueber dem Durchschnitt · 361 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

6915183451730,0012.53225.06537.597Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)AMD Radeon RX 7900 XTXCPU-only - 3,1 tok/s Generation, 41 tok/s Prefill, TTFT 181.689 ms (2 Laufe)CPU-only
AMD Radeon RX 7900 XTX 531,7 tok/sCPU-only 3,1 tok/s

CPUnach Prozessor

6915183451730,0012.53225.06537.597Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)AMD Ryzen Threadrippe...4 x Cortex-A78C + 4 x Cortex-A55 - 3,1 tok/s Generation, 41 tok/s Prefill, TTFT 181.689 ms (2 Laufe)4 x Cortex-A78C + 4 x...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 531,7 tok/s4 x Cortex-A78C + 4 x Cortex-A55 3,1 tok/s

ENGnach Engine

6915183451730,0012.53225.06537.597Prefill (tok/s)Generation (tok/s)vLLM - 531,7 tok/s Generation, 30.326 tok/s Prefill, TTFT 600 ms (3 Laufe)vLLMllama.cpp - 3,1 tok/s Generation, 41 tok/s Prefill, TTFT 181.689 ms (2 Laufe)llama.cpp
vLLM 531,7 tok/sllama.cpp 3,1 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
531,74 tok/s TG
Prefill 44.141 · TTFT 1.002 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
2SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
338,72 tok/s TG
Prefill 33.135 · TTFT 574 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
3SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
72,05 tok/s TG
Prefill 13.702 · TTFT 223 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
4SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
3,10 tok/s TG
Prefill 45 · TTFT 281.637 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
5SmolLM2-1.7B-Instruct1.7BHuggingFaceTB PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
2,89 tok/s TG
Prefill 38 · TTFT 81.741 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.