Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - LLM Benchmarks (CPU)

Best generation

2,3 tok/s

Qwen2.5-72B-Instruct-Q4_K_M.gguf

∅ Generation

2,3 tok/s

Schnitt aus 1 Läufen

Best prefill

81 tok/s

Prompt processing

Best TTFT

569 ms

Time to First Token

Best harness rate

–%

noch kein Harness

🏆

Qwen2.5-72B-Instruct-Q4_K_M.gguf läuft am schnellsten auf dieser CPU · 2,3 tok/s
Bester Prefill: 81 tok/s · 1 Modelle getestet

Bester gemessener Durchsatz je Modell auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz – umschaltbar nach Generation, Prefill oder Kombiwert.

2,3 tok/s

Performance profile

Durchsatz auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz

Jede Blase steht für ein Modell, eine Engine bzw. eine GPU – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.

Qwen2.5-72B-Instruct-Q4_K_M.gguf 2,3 tok/s

llama.cpp 2,3 tok/s

CPU-only 2,3 tok/s

Throughput & latency

1 veroeffentlichte Performance-Läufe auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz.

Metric:

	#	Model / Maker	Metrics	Parallel	GPU / CPU / RAM	Runtime
	1	Qwen2.5-72B-Instruct-Q4_K_M.ggufQwen (Alibaba) Performance benchmarkPerformancetest Small 1.0	2,28 tok/s TG Prefill 81 · TTFT 569 ms	1×	Keine GPU (CPU-only)4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAM	llama.cppgodclawQ4_K_M	Details →

Agent & chat rating

0 veroeffentlichte Harness-Läufe auf Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz.

Noch keine Harnessbenchmarks auf dieser Hardware.