Engines

Engine-Übersicht

Womit die Modelle betrieben und getestet werden – aufgeteilt nach Modellserver (Inferenz-Engines) und Harness-Runtimes.

⚙️ Inferenz

Modellserver (5)

Engines, die das Modell ausliefern – Durchschnitts-Durchsatz je Server.

llama.cpp

233,5 tok/s Ø

3679 Läufe · 88 Modelle · Max 2.491,2

vLLM

266,5 tok/s Ø

847 Läufe · 66 Modelle · Max 2.263,7

strata

364,7 tok/s Ø

20 Läufe · 1 Modelle · Max 1.564,6

colibri

0,0 tok/s Ø

3 Läufe · 1 Modelle · Max 0,0

llm

19,5 tok/s Ø

1 Läufe · 1 Modelle · Max 19,5

🚀 Harness

Harness-Runtimes (9)

Test-Runtimes für Agenten-/Chat-Benchmarks – durchschnittliche Erfolgsquote.

GodClaw

56 % Ø

16 Läufe · 5 Modelle · Max 87%

OpenClaw CLI

53 % Ø

14 Läufe · 4 Modelle · Max 91%

vllm

73 % Ø

9 Läufe · 4 Modelle · Max 100%

deterministic310

65 % Ø

4 Läufe · 1 Modelle · Max 93%

python

79 % Ø

2 Läufe · 1 Modelle · Max 100%

pytorch

81 % Ø

2 Läufe · 2 Modelle · Max 100%

deterministic210

75 % Ø

2 Läufe · 1 Modelle · Max 99%

officeagentic100

100 % Ø

1 Läufe · 1 Modelle · Max 100%

BuzzwordTrain

100 % Ø

1 Läufe · 1 Modelle · Max 100%

🖥️ Betriebssysteme

Betriebssysteme (3)

Auf diesen OS-Plattformen wurden die Benchmarks gemessen – anklicken für eine Landingpage je Betriebssystem.

🖥️Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)1 Boards · 27 Modelle · 104 Läufe 🖥️Ubuntu 24.04.2 LTS (Kernel 6.17.0-40-generic)1 Boards · 2 Modelle · 2 Läufe 🖥️Ubuntu 24.04.3 LTS (Kernel 7.0.0-28-generic)1 Boards · 1 Modelle · 1 Läufe