Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
🌐
DEEN
Meta

Meta-Llama-3.1-8B-Instruct

Benchmarkprofil und veroeffentlichte Ergebnisse.

Dense8B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veroeffentlichten Systeme.

Generation83,4 tok/s
Min 0,0Ø 100,2Max 1.443,9
Unter dem Durchschnitt · 346 Systeme im Feld
Prefill2.658 tok/s
Min 6Ø 3.397Max 37.116
Unter dem Durchschnitt · 345 Systeme im Feld
Time to First Token1.773 ms
Min 91Ø 21.178Max 299.591
Ueber dem Durchschnitt · 347 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

10880,853,826,90,008031.6072.410Prefill (tok/s)Generation (tok/s)AMD Radeon 8060S Graphics - 83,4 tok/s Generation, 1.949 tok/s Prefill, TTFT 6.369 ms (3 Laufe)AMD Radeon 8060S Grap...CPU-only - 3,6 tok/s Generation, 36 tok/s Prefill, TTFT 59.044 ms (1 Lauf)CPU-only
AMD Radeon 8060S Graphics 83,4 tok/sCPU-only 3,6 tok/s

CPUnach Prozessor

10880,853,826,90,008031.6072.410Prefill (tok/s)Generation (tok/s)AMD RYZEN AI MAX+ 395 w/ Radeon 8060S - 83,4 tok/s Generation, 1.949 tok/s Prefill, TTFT 6.369 ms (3 Laufe)AMD RYZEN AI MAX+ 395...Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz - 3,6 tok/s Generation, 36 tok/s Prefill, TTFT 59.044 ms (1 Lauf)Intel(R) Xeon(R) CPU ...
AMD RYZEN AI MAX+ 395 w/ Radeon 8060S 83,4 tok/sIntel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz 3,6 tok/s

ENGnach Engine

91,787,583,479,275,01.3821.4411.5001.559Prefill (tok/s)Generation (tok/s)llama.cpp - 83,4 tok/s Generation, 1.471 tok/s Prefill, TTFT 19.538 ms (4 Laufe)llama.cpp
llama.cpp 83,4 tok/s
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Meta-Llama-3.1-8B-InstructMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
83,37 tok/s TG
Prefill 2.658 · TTFT 10.905 ms
10×AMD Radeon 8060S Graphics32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S · 31 GB RAMllama.cppgodclawQ4_K_MDetails →
2Meta-Llama-3.1-8B-InstructMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
76,24 tok/s TG
Prefill 1.951 · TTFT 6.429 ms
5×AMD Radeon 8060S Graphics32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S · 31 GB RAMllama.cppgodclawQ4_K_MDetails →
3Meta-Llama-3.1-8B-InstructMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
40,39 tok/s TG
Prefill 1.237 · TTFT 1.773 ms
1×AMD Radeon 8060S Graphics32x AMD RYZEN AI MAX+ 395 w/ Radeon 8060S · 31 GB RAMllama.cppgodclawQ4_K_MDetails →
4Meta-Llama-3.1-8B-InstructMeta PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
3,55 tok/s TG
Prefill 36 · TTFT 59.044 ms
1×Keine GPU (CPU-only)51x Intel(R) Xeon(R) CPU E5-4620 v2 @ 2.60GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →