Engines

Engine overview

How the models are run and tested – split into model servers (inference engines) and harness runtimes.

⚙️ Inference

Model servers (5)

Engines that serve the model – average throughput per server.

llama.cpp

233,5 tok/s Ø

3679 Läufe · 88 Modelle · Max 2.491,2

vLLM

266,5 tok/s Ø

847 Läufe · 66 Modelle · Max 2.263,7

strata

364,7 tok/s Ø

20 Läufe · 1 Modelle · Max 1.564,6

colibri

0,0 tok/s Ø

3 Läufe · 1 Modelle · Max 0,0

llm

19,5 tok/s Ø

1 Läufe · 1 Modelle · Max 19,5

🚀 Harness

Harness runtimes (9)

Test runtimes for agent/chat benchmarks – average success rate.

GodClaw

56 % Ø

16 Läufe · 5 Modelle · Max 87%

OpenClaw CLI

53 % Ø

14 Läufe · 4 Modelle · Max 91%

vllm

73 % Ø

9 Läufe · 4 Modelle · Max 100%

deterministic310

65 % Ø

4 Läufe · 1 Modelle · Max 93%

python

79 % Ø

2 Läufe · 1 Modelle · Max 100%

pytorch

81 % Ø

2 Läufe · 2 Modelle · Max 100%

deterministic210

75 % Ø

2 Läufe · 1 Modelle · Max 99%

officeagentic100

100 % Ø

1 Läufe · 1 Modelle · Max 100%

BuzzwordTrain

100 % Ø

1 Läufe · 1 Modelle · Max 100%

🖥️ Operating systems

Operating systems (3)

These OS platforms the benchmarks were measured on – click for a landing page per operating system.

🖥️Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)1 Boards · 27 Modelle · 104 Läufe 🖥️Ubuntu 24.04.2 LTS (Kernel 6.17.0-40-generic)1 Boards · 2 Modelle · 2 Läufe 🖥️Ubuntu 24.04.3 LTS (Kernel 7.0.0-28-generic)1 Boards · 1 Modelle · 1 Läufe