Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - LLM Benchmarks (CPU)

Beste Generation

2,3 tok/s

Qwen2.5-72B-Instruct-Q4_K_M.gguf

∅ Generation

2,3 tok/s

Schnitt aus 1 Läufen

Bester Prefill

81 tok/s

Prompt-Verarbeitung

Bester TTFT

569 ms

Time to First Token

Beste Harness-Quote

–%

noch kein Harness

🏆

Qwen2.5-72B-Instruct-Q4_K_M.gguf läuft am schnellsten auf dieser CPU · 2,3 tok/s
Bester Prefill: 81 tok/s · 1 Modelle getestet

Bester gemessener Durchsatz je Modell auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz – umschaltbar nach Generation, Prefill oder Kombiwert.

2,3 tok/s

Performanceprofil

Durchsatz auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz

Jede Blase steht für ein Modell, eine Engine bzw. eine GPU – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.

Qwen2.5-72B-Instruct-Q4_K_M.gguf 2,3 tok/s

llama.cpp 2,3 tok/s

CPU-only 2,3 tok/s

Durchsatz & Latenz

1 veroeffentlichte Performance-Läufe auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz.

Messwert:

	#	Modell / Hersteller	Messwerte	Parallel	GPU / CPU / RAM	Runtime
	1	Qwen2.5-72B-Instruct-Q4_K_M.ggufQwen (Alibaba) PerformancebenchmarkPerformancetest Small 1.0	2,28 tok/s TG Prefill 81 · TTFT 569 ms	1×	Keine GPU (CPU-only)4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAM	llama.cppgodclawQ4_K_M	Details →

Agent- & Chat-Bewertung

0 veroeffentlichte Harness-Läufe auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz.

Noch keine Harnessbenchmarks auf dieser Hardware.