Modellserver / Inferenz-Engine

colibri

Alle Performance-Benchmarks, die mit diesem Modellserver gemessen wurden – Durchsatz, Prefill und Latenz.

2Benchmarks

1Modelle

Beste Generation

0,0 tok/s

glm-5.2-colibri

∅ Generation

0,0 tok/s

Schnitt aus 2 Läufen

Bester Prefill

211 tok/s

Prompt-Verarbeitung

Bester TTFT

10.088 ms

Time to First Token

Bester Durchsatz je Modell – umschaltbar nach Generation, Prefill oder Kombiwert.

0,0 tok/s

Bester Durchsatz je Grafikkarte mit diesem Modellserver.

NVIDIA RTX PRO 6000 Blackwell Workstation Edition

0,0 tok/s

Performanceprofil

Durchsatz mit colibri

Jede Blase steht für eine CPU, GPU bzw. ein Modell – Position: Prompt-Verarbeitung (X) × Ausgabe (Y), Blasengröße: Anzahl Messläufe.

AMD Ryzen 9 9950X 16-Core Processor 0,0 tok/s

NVIDIA RTX PRO 6000 Blackwell Workstation Edition 0,0 tok/s

glm-5.2-colibri 0,0 tok/s

Alle Messungen

Jeder veroeffentlichte Lauf mit colibri.

Messwert:

	#	Modell / Hersteller	Messwerte	Parallel	GPU / CPU / RAM	Runtime
	1	glm-5.2-colibri744BZ.ai (Zhipu) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)	0,03 tok/s TG Prefill 7 · TTFT 354.674 ms	10×	NVIDIA RTX PRO 6000 Blackwell Workstation EditionAMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM	colibricolibriINT4	Details →
	2	glm-5.2-colibri744BZ.ai (Zhipu) PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)	0,03 tok/s TG Prefill 211 · TTFT 10.088 ms	1×	NVIDIA RTX PRO 6000 Blackwell Workstation EditionAMD Ryzen 9 9950X 16-Core Processor · 92 GB RAM	colibricolibriINT4	Details →