Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
microsoft

Phi-3.5-mini-instruct3.8B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense3.8B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

AMD Radeon RX 7900 XTXAlle GPUs
Generation302,0 tok/s
Min 0,0Ø 245,9Max 2.491,2
Ueber dem Durchschnitt · 4828 Systeme im Feld
Prefill19.406 tok/s
Min 4Ø 4.871Max 112.346
Ueber dem Durchschnitt · 4812 Systeme im Feld
Time to First Token380 ms
Min 20Ø 32.261Max 535.235
Ueber dem Durchschnitt · 4825 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

3323173022872728.0128.3538.6949.035Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 302,0 tok/s Generation, 8.523 tok/s Prefill, TTFT 9.068 ms (6 Laufe)AMD Radeon RX 7900 XTX
AMD Radeon RX 7900 XTX 302,0 tok/s

CPUnach Prozessor

3383132872622376635.90311.14416.384Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 3955WX 16-Cores - 302,0 tok/s Generation, 13.699 tok/s Prefill, TTFT 1.150 ms (3 Laufe)AMD Ryzen Threadrippe...Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 272,9 tok/s Generation, 3.348 tok/s Prefill, TTFT 16.986 ms (3 Laufe)Intel(R) Xeon(R) CPU ...
AMD Ryzen Threadripper PRO 3955WX 16-Cores 302,0 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 272,9 tok/s

ENGnach Engine

3383132872622376635.90311.14416.384Prefill (tok/s)Generation (tok/s)vLLM - 302,0 tok/s Generation, 13.699 tok/s Prefill, TTFT 1.150 ms (3 Laufe)vLLMllama.cpp - 272,9 tok/s Generation, 3.348 tok/s Prefill, TTFT 16.986 ms (3 Laufe)llama.cpp
vLLM 302,0 tok/sllama.cpp 272,9 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
301,98 tok/s TG
Prefill 19.406 · TTFT 1.945 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
2Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
272,93 tok/s TG
Prefill 691 · TTFT 38.379 ms
10×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
3Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
189,39 tok/s TG
Prefill 14.992 · TTFT 1.125 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
4Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
172,34 tok/s TG
Prefill 5.226 · TTFT 11.908 ms
5×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
5Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
99,48 tok/s TG
Prefill 4.127 · TTFT 671 ms
1×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
6Phi-3.5-mini-instruct3.8Bmicrosoft PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
39,32 tok/s TG
Prefill 6.700 · TTFT 380 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.