Aufgabe	Status	Punkte	Dauer
Arbeitsstruktur anlegen	bestanden	5 / 50	7.222,00 s
Startdatei schreiben	bestanden	6 / 60	41,00 s
Datei zuruecklesen	fehlgeschlagen	0 / 50	1.452,00 s
CSV mit Testdaten	bestanden	13 / 80	28,00 s
Struktur pruefen	bestanden	6 / 60	20,00 s
Recherche RAG	bestanden	96 / 150	24,00 s
Recherche Hersteller	bestanden	72 / 120	20,00 s
Recherche sichern	bestanden	25 / 100	25,00 s
Webseite auswerten	bestanden	14 / 140	96,00 s
Seite im Browser oeffnen	bestanden	25 / 180	86,00 s
Modellvergleich	bestanden	78 / 200	51,00 s
Quellenliste	bestanden	17 / 90	27,00 s
Wissenskategorien sichten	bestanden	52 / 100	16,00 s
Wissenseintrag anlegen	bestanden	114 / 220	40,00 s
Wissenseintrag pruefen	bestanden	53 / 120	25,00 s
Wissenseintrag ergaenzen	bestanden	80 / 200	40,00 s
Versionen zaehlen	bestanden	81 / 140	21,00 s
Wissen durchsuchen	bestanden	29 / 130	39,00 s
Firma erfassen	bestanden	123 / 180	21,00 s
Person verknuepfen	bestanden	117 / 220	39,00 s
Fakt hinterlegen	bestanden	16 / 160	103,00 s
Entitaet suchen	bestanden	17 / 140	44,00 s
Aufgabenliste anlegen	bestanden	89 / 130	14,00 s
Aufgaben ergaenzen	bestanden	114 / 170	22,00 s
Boards sichten	bestanden	47 / 120	27,00 s
Board-Aufgabe anlegen	bestanden	19 / 190	158,00 s
CSV nach JSON	bestanden	86 / 180	35,00 s
JSON validieren	bestanden	81 / 140	21,00 s
Defektes JSON reparieren	bestanden	120 / 220	38,00 s
Pruefsummen	bestanden	53 / 160	37,00 s
Volltextsuche	bestanden	66 / 150	28,00 s
Archiv packen	bestanden	106 / 170	25,00 s
Bestandsaufnahme	bestanden	12 / 120	41,00 s
Titelbild erzeugen	bestanden	154 / 250	51,00 s
Bild pruefen	bestanden	83 / 130	18,00 s
Merken	bestanden	75 / 150	25,00 s
Erinnern	bestanden	42 / 120	29,00 s
Fachfrage delegieren	bestanden	23 / 230	166,00 s
Gesamtbericht	bestanden	58 / 240	76,00 s
Abschluss	fehlgeschlagen	0 / 200	40,00 s

Konfiguration

benchmark-konfiguration — run-20260722-161612-b91648

# LLM-Benchmark Konfiguration # Modell : Qwen3.6-27B # Engine : vLLM # Run-ID : run-20260722-161612-b91648 # GPU : NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition # CPU : AMD Ryzen 9 9950X 16-Core Processor # RAM : 92 GB bench@llm-benchmark:~$ python \ -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen3.6-27B \ --served-model-name Qwen/Qwen3.6-27B \ --host 0.0.0.0 \ --port 8000 \ --gpu-memory-utilization 0.90 \ --max-model-len 65536 \ --generation-config vllm \ --language-model-only \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder

Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.	vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.	Qwen/Qwen3.6-27B
Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann.	65536
Python-Modul?Startet vLLM als Python-Modul (python -m vllm.entrypoints.openai.api_server). Der folgende Wert ist der Modulname.	vllm.entrypoints.openai.api_server
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.	Qwen/Qwen3.6-27B
Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen.	Qwen/Qwen3.6-27B
GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'.	0.90
Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells.	65536
Generation-Config?Quelle der Default-Sampling-Parameter (auto/vllm oder Pfad). Steuert die vom Modell vorgegebenen Defaults fuer temperature/top_p usw.	vllm
Nur-Sprachmodell?Laedt bei multimodalen Modellen nur den Sprachteil. Spart VRAM, deaktiviert aber Bild-/Audio-Eingabe.	aktiv
Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken).	qwen3
Auto-Tool-Choice?Erlaubt dem Modell, Tools (Function-Calling) selbststaendig auszuwaehlen. MUSS aktiv sein, damit 'tools' im Request akzeptiert werden - sonst lehnt vLLM sie mit HTTP 400 ab.	aktiv
Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen.	qwen3_coder

Alle Benchmarks dieses Modells Zum Leaderboard

Modell-Vergleich

Qwen3.6-27B auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

NVIDIA RTX PRO 6000 Blackwell Workstation Edition 546,9 tok/sNVIDIA GeForce RTX 5090 532,5 tok/s★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 464,1 tok/s dieser LaufNVIDIA RTX A6000 431,7 tok/sNVIDIA GeForce RTX 3090 Ti 264,2 tok/sAMD Radeon AI PRO R9700 165,4 tok/sAMD Radeon RX 7900 XTX 110,0 tok/sAMD Radeon PRO W7800 48GB 106,8 tok/sNVIDIA GeForce RTX 5070 Ti 57,2 tok/sAMD Radeon 8060S Graphics 36,1 tok/s

CPUnach Prozessor

★ AMD Ryzen 9 9950X 16-Core Processor 546,9 tok/s dieser LaufAMD Ryzen 7 5800X3D 8-Core Processor 532,5 tok/sAMD Ryzen Threadripper PRO 9965WX 24-Cores 464,1 tok/sAMD Ryzen Threadripper PRO 7955WX 16-Cores 431,7 tok/sAMD Ryzen 9 8945HX with Radeon Graphics 264,2 tok/sAMD Ryzen Threadripper PRO 3955WX 16-Cores 110,0 tok/sAMD Ryzen Threadripper PRO 5975WX 32-Cores 106,8 tok/sAMD Ryzen 3 3100 4-Core Processor 99,7 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 95,6 tok/sAMD RYZEN AI MAX+ 395 w/ Radeon 8060S 36,1 tok/s

MBnach Mainboard

★ ASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 546,9 tok/s dieser LaufASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 532,5 tok/sASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 464,1 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd DRFXL (MotherBoard Series) 264,2 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 110,0 tok/sASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 99,7 tok/sDell Inc. PowerEdge R820 95,6 tok/sMeigao Innovation Technology (Shen Zhen) Co., Ltd SHWSA (MS-S1 MAX) 36,1 tok/sunbekannt 28,8 tok/s

ENGnach Engine

llama.cpp 546,9 tok/s★ vLLM 431,7 tok/s dieser Laufunbekannt 28,8 tok/s

DRVnach Treiber

unbekannt 546,9 tok/sNVIDIA 580.159.03 / CUDA 13.0 28,8 tok/s

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.