⚠

Konfigurations-Hinweis: Es sind 3 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 3 GPUs koennte der Durchsatz deutlich hoeher liegen.

Generation154,26tok/s

Prefill10.264,39tok/s

Time to First Token3.945,50ms

Gesamtdauer141,30s

Concurrency10parallel

Einordnung im Feld

45von 305 Systemen

Performancebenchmark · Leitmetrik: Generation-Speed (tok/s)

Dieser Lauf ist besser als 86 % aller vergleichbaren Systeme.

Generation 154,3 tok/s

+77 % vs Ø 87,0

Prefill 10.264,4 tok/s

+219 % vs Ø 3.212,9

Time to First Token 3.946 ms

-82 % vs Ø 22.143

Verteilung im Feld0 – 1.295 tok/s

Ø 87 Median Dieser Lauf

Wie schlägt sich dieser Benchmark?

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260723-045447-edeed3

1.295,3 tok/s

Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 5090 · run-20260723-045450-366dae

966,2 tok/s

Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-e8df4d

909,3 tok/s

Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-14f178

873,7 tok/s

gpt-oss-20bNVIDIA GeForce RTX 5090 · run-20260723-045447-5656a1

784,5 tok/s

Qwen3-Coder-30B-A3B-InstructNVIDIA GeForce RTX 5090 · run-20260723-045450-4162ec

688,6 tok/s

Qwen3-30B-A3B-Instruct-2507NVIDIA GeForce RTX 5090 · run-20260723-045448-81246f

655,8 tok/s

Qwen3-30B-A3B-Thinking-2507NVIDIA GeForce RTX 5090 · run-20260723-045450-1d48c8

633,4 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260723-023425-4d6891

340,5 tok/s

gpt-oss-20b3× AMD Radeon AI PRO R9700 · run-20260723-023425-189e09

331,7 tok/s

North-Mini-Code-1.03× AMD Radeon AI PRO R9700 · run-20260723-023427-9af096

279,0 tok/s

NVIDIA-Nemotron-3-Nano-30B-A3B3× AMD Radeon AI PRO R9700 · run-20260723-031252-92db54

274,0 tok/s

Nemotron-Cascade-2-30B-A3B3× AMD Radeon AI PRO R9700 · run-20260723-031252-286996

270,4 tok/s

Nemotron-3-Nano-Omni-30B-A3B-Reasoning3× AMD Radeon AI PRO R9700 · run-20260723-031253-e2aa7d

268,7 tok/s

Laguna-XS-2.1-INT4 dieser Lauf3× AMD Radeon AI PRO R9700 · run-20260723-114454-6ff5cb

154,3 tok/s

Hardware

GPU: 3x AMD Radeon AI PRO R9700 · 32 GB VRAM
CPU: 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores
RAM: 184 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE

Setup

Runtime: llama.cpp
Quantisierung: -
Betriebssystem: Ubuntu 26.04 LTS (Kernel 7.0.0-27-generic)
Treiber: AMD 7.0.0-27-generic
Modell: Laguna-XS-2.1-INT4

Konfiguration

benchmark-konfiguration — run-20260723-114454-6ff5cb

# LLM-Benchmark Konfiguration # Modell : Laguna-XS-2.1-INT4 # Engine : llama.cpp # Run-ID : run-20260723-114454-6ff5cb # GPU : 3x AMD Radeon AI PRO R9700 # CPU : 32x AMD Ryzen Threadripper PRO 7955WX 16-Cores # RAM : 184 GB bench@llm-benchmark:~$ /src/build/bin/llama-server \ -m /root/.cache/huggingface/hub/models--unsloth--DeepSeek-V4-Flash-GGUF/snapshots/e3aa0d6a5fa4f820d9e132ac1fd1d01e1b2b49e0/UD-Q4_K_XL/DeepSeek-V4-Flash-UD-Q4_K_XL-00001-of-00005.gguf \ -ngl 999 \ -cmoe \ -c 26624 \ --parallel 12 \ -a DeepSeek-V4-Flash-284B-A13B \ -sm layer \ --host 0.0.0.0 \ --port 8000

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	llamacpp
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	DeepSeek-V4-Flash-284B-A13B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	26624
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.	/root/.cache/huggingface/hub/models--unsloth--DeepSeek-V4-Flash-GGUF/snapshots/e3aa0d6a5fa4f820d9e132ac1fd1d01e1b2b49e0/UD-Q4_K_XL/DeepSeek-V4-Flash-UD-Q4_K_XL-00001-of-00005.gguf
GPU-Layer?Anzahl der auf die GPU ausgelagerten Modell-Layer. Hoeher = mehr VRAM und schneller; der Rest laeuft auf der CPU. 999 = alles auf GPU.	999
cmoe	aktiv
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	26624
Parallel?Anzahl paralleler Slots/Sequenzen, die der Server gleichzeitig bedient. Der Kontext wird auf die Slots aufgeteilt.	12
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	DeepSeek-V4-Flash-284B-A13B
Split-Mode?Verteilung ueber mehrere GPUs: none (nur eine GPU), layer (Layer aufteilen) oder row (Tensoren zeilenweise).	layer

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

Laguna-XS-2.1-INT4 auf verschiedener Hardware

Alle veroeffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

★ AMD Radeon AI PRO R9700 154,3 tok/s dieser Lauf

CPUnach Prozessor

★ AMD Ryzen Threadripper PRO 7955WX 16-Cores 154,3 tok/s dieser Lauf

MBnach Mainboard

★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 154,3 tok/s dieser Lauf

ENGnach Engine

★ llama.cpp 154,3 tok/s dieser LaufvLLM 26,9 tok/s

DRVnach Treiber

★ AMD 7.0.0-27-generic 154,3 tok/s dieser Lauf