Beigesteuert vonMario AlkaQwen (Alibaba) Qwen3.8-Flash-Next
Harnessbenchmark · gemessen am 08.10.2026 07:15
Benchmark-ID
run-20261023-180238-6829a9Kolibri-Qwen Diverse Deterministic 210 V1.0MoE180BRuntime: deterministic210Quantisierung: NVFP4
ℹ
Öffentliche Anmerkung: Variante: Uncensored (mazinb).
⚠
Konfigurations-Hinweis: Es sind 2 Grafikkarten installiert, aber nur 1 wurde fuer diesen Lauf genutzt. Mit allen 2 GPUs koennte der Durchsatz deutlich hoeher liegen.
Punkte145,00von 210,00
Punktequote69,05%
Aufgaben bestanden145von 210
Gesamtdauer145,36s
Einordnung im Feld
26von 56 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 55 % aller vergleichbaren Systeme.
Punktequote
69 %
+6 % vs Ø 64,9
Aufgaben bestanden
145
+68 % vs Ø 86,5
Gesamtdauer
145,4 s
-91 % vs Ø 1.562,5
Verteilung im Feld10 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Qwen3.8-Flash-Next gleiches Modell2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180243-30647c
100 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Jev-1.13.0Cloud/API: TypeSafe AI (Hardware unbekannt) · run-20260929-091917-060aae
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.8-Flash-Next gleiches Modell2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180239-3519b5
98 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Qwen3.8-Flash-Next gleiches Modell2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180239-2b7b40
96 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Qwen3.8-Flash-Next dieser Lauf2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180238-6829a9
69 %
Hardware
GPU: 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · 96 GB VRAM
CPU: AMD Ryzen Threadripper PRO 9965WX 24-Cores
RAM: 125 GB
Mainboard: ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE
Setup
Runtime: deterministic210
Quantisierung: NVFP4
Modell: Qwen3.8-Flash-Next
Aufgaben (210)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| arithmetic-01 | bestanden | 1 / 1 | 0,47 s |
| arithmetic-02 | fehlgeschlagen | 0 / 1 | 0,47 s |
| arithmetic-03 | bestanden | 1 / 1 | 0,49 s |
| arithmetic-04 | fehlgeschlagen | 0 / 1 | 0,48 s |
| arithmetic-05 | bestanden | 1 / 1 | 0,41 s |
| arithmetic-06 | bestanden | 1 / 1 | 0,53 s |
| arithmetic-07 | fehlgeschlagen | 0 / 1 | 0,52 s |
| arithmetic-08 | bestanden | 1 / 1 | 0,52 s |
| arithmetic-09 | fehlgeschlagen | 0 / 1 | 0,44 s |
| arithmetic-10 | fehlgeschlagen | 0 / 1 | 0,44 s |
| arithmetic-11 | bestanden | 1 / 1 | 0,78 s |
| arithmetic-12 | fehlgeschlagen | 0 / 1 | 0,78 s |
| arithmetic-13 | bestanden | 1 / 1 | 0,84 s |
| arithmetic-14 | fehlgeschlagen | 0 / 1 | 0,69 s |
| arithmetic-15 | fehlgeschlagen | 0 / 1 | 0,78 s |
| ordering_logic-01 | bestanden | 1 / 1 | 0,66 s |
| ordering_logic-02 | bestanden | 1 / 1 | 1,06 s |
| ordering_logic-03 | bestanden | 1 / 1 | 1,06 s |
| ordering_logic-04 | bestanden | 1 / 1 | 1,02 s |
| ordering_logic-05 | bestanden | 1 / 1 | 0,62 s |
| ordering_logic-06 | fehlgeschlagen | 0 / 1 | 0,58 s |
| ordering_logic-07 | bestanden | 1 / 1 | 0,77 s |
| ordering_logic-08 | bestanden | 1 / 1 | 1,12 s |
| ordering_logic-09 | bestanden | 1 / 1 | 1,12 s |
| ordering_logic-10 | fehlgeschlagen | 0 / 1 | 0,71 s |
| ordering_logic-11 | bestanden | 1 / 1 | 1,02 s |
| ordering_logic-12 | fehlgeschlagen | 0 / 1 | 0,68 s |
| ordering_logic-13 | bestanden | 1 / 1 | 0,61 s |
| ordering_logic-14 | bestanden | 1 / 1 | 1,06 s |
| ordering_logic-15 | bestanden | 1 / 1 | 1,08 s |
| extraction-01 | fehlgeschlagen | 0 / 1 | 0,94 s |
| extraction-02 | bestanden | 1 / 1 | 0,96 s |
| extraction-03 | bestanden | 1 / 1 | 0,91 s |
| extraction-04 | fehlgeschlagen | 0 / 1 | 0,95 s |
| extraction-05 | fehlgeschlagen | 0 / 1 | 0,92 s |
| extraction-06 | fehlgeschlagen | 0 / 1 | 1,36 s |
| extraction-07 | fehlgeschlagen | 0 / 1 | 0,97 s |
| extraction-08 | fehlgeschlagen | 0 / 1 | 0,86 s |
| extraction-09 | fehlgeschlagen | 0 / 1 | 0,98 s |
| extraction-10 | fehlgeschlagen | 0 / 1 | 1,20 s |
| extraction-11 | bestanden | 1 / 1 | 1,05 s |
| extraction-12 | bestanden | 1 / 1 | 1,04 s |
| extraction-13 | bestanden | 1 / 1 | 1,03 s |
| extraction-14 | bestanden | 1 / 1 | 0,89 s |
| extraction-15 | bestanden | 1 / 1 | 0,91 s |
| code_comprehension-01 | bestanden | 1 / 1 | 0,36 s |
| code_comprehension-02 | bestanden | 1 / 1 | 0,42 s |
| code_comprehension-03 | bestanden | 1 / 1 | 0,58 s |
| code_comprehension-04 | bestanden | 1 / 1 | 0,57 s |
| code_comprehension-05 | fehlgeschlagen | 0 / 1 | 0,48 s |
| code_comprehension-06 | bestanden | 1 / 1 | 0,48 s |
| code_comprehension-07 | bestanden | 1 / 1 | 0,66 s |
| code_comprehension-08 | bestanden | 1 / 1 | 0,56 s |
| code_comprehension-09 | bestanden | 1 / 1 | 0,75 s |
| code_comprehension-10 | fehlgeschlagen | 0 / 1 | 0,55 s |
| code_comprehension-11 | bestanden | 1 / 1 | 0,41 s |
| code_comprehension-12 | fehlgeschlagen | 0 / 1 | 0,80 s |
| code_comprehension-13 | bestanden | 1 / 1 | 0,63 s |
| code_comprehension-14 | bestanden | 1 / 1 | 0,79 s |
| code_comprehension-15 | fehlgeschlagen | 0 / 1 | 0,58 s |
| grounded_qa-01 | bestanden | 1 / 1 | 0,49 s |
| grounded_qa-02 | bestanden | 1 / 1 | 0,50 s |
| grounded_qa-03 | bestanden | 1 / 1 | 0,45 s |
| grounded_qa-04 | bestanden | 1 / 1 | 0,49 s |
| grounded_qa-05 | bestanden | 1 / 1 | 0,40 s |
| grounded_qa-06 | bestanden | 1 / 1 | 0,35 s |
| grounded_qa-07 | bestanden | 1 / 1 | 0,37 s |
| grounded_qa-08 | bestanden | 1 / 1 | 0,39 s |
| grounded_qa-09 | bestanden | 1 / 1 | 0,33 s |
| grounded_qa-10 | bestanden | 1 / 1 | 0,37 s |
| grounded_qa-11 | bestanden | 1 / 1 | 0,36 s |
| grounded_qa-12 | bestanden | 1 / 1 | 0,38 s |
| grounded_qa-13 | bestanden | 1 / 1 | 0,43 s |
| grounded_qa-14 | bestanden | 1 / 1 | 0,45 s |
| grounded_qa-15 | bestanden | 1 / 1 | 0,38 s |
| classification-01 | bestanden | 1 / 1 | 0,63 s |
| classification-02 | bestanden | 1 / 1 | 0,66 s |
| classification-03 | bestanden | 1 / 1 | 0,65 s |
| classification-04 | fehlgeschlagen | 0 / 1 | 0,59 s |
| classification-05 | bestanden | 1 / 1 | 0,62 s |
| classification-06 | bestanden | 1 / 1 | 0,54 s |
| classification-07 | bestanden | 1 / 1 | 0,72 s |
| classification-08 | bestanden | 1 / 1 | 0,73 s |
| classification-09 | bestanden | 1 / 1 | 0,70 s |
| classification-10 | bestanden | 1 / 1 | 1,07 s |
| classification-11 | fehlgeschlagen | 0 / 1 | 0,54 s |
| classification-12 | bestanden | 1 / 1 | 0,58 s |
| classification-13 | bestanden | 1 / 1 | 0,51 s |
| classification-14 | bestanden | 1 / 1 | 0,61 s |
| classification-15 | bestanden | 1 / 1 | 0,61 s |
| path_planning-01 | fehlgeschlagen | 0 / 1 | 0,77 s |
| path_planning-02 | fehlgeschlagen | 0 / 1 | 0,72 s |
| path_planning-03 | bestanden | 1 / 1 | 0,72 s |
| path_planning-04 | fehlgeschlagen | 0 / 1 | 0,69 s |
| path_planning-05 | bestanden | 1 / 1 | 0,69 s |
| path_planning-06 | bestanden | 1 / 1 | 1,26 s |
| path_planning-07 | bestanden | 1 / 1 | 0,86 s |
| path_planning-08 | bestanden | 1 / 1 | 0,82 s |
| path_planning-09 | fehlgeschlagen | 0 / 1 | 0,99 s |
| path_planning-10 | fehlgeschlagen | 0 / 1 | 1,13 s |
| path_planning-11 | bestanden | 1 / 1 | 0,95 s |
| path_planning-12 | bestanden | 1 / 1 | 0,79 s |
| path_planning-13 | fehlgeschlagen | 0 / 1 | 0,74 s |
| path_planning-14 | fehlgeschlagen | 0 / 1 | 0,83 s |
| path_planning-15 | fehlgeschlagen | 0 / 1 | 0,69 s |
| relational_query-01 | bestanden | 1 / 1 | 0,54 s |
| relational_query-02 | bestanden | 1 / 1 | 0,45 s |
| relational_query-03 | bestanden | 1 / 1 | 0,44 s |
| relational_query-04 | bestanden | 1 / 1 | 0,45 s |
| relational_query-05 | bestanden | 1 / 1 | 0,45 s |
| relational_query-06 | bestanden | 1 / 1 | 0,50 s |
| relational_query-07 | bestanden | 1 / 1 | 0,52 s |
| relational_query-08 | bestanden | 1 / 1 | 0,52 s |
| relational_query-09 | bestanden | 1 / 1 | 0,50 s |
| relational_query-10 | bestanden | 1 / 1 | 0,46 s |
| relational_query-11 | bestanden | 1 / 1 | 0,57 s |
| relational_query-12 | bestanden | 1 / 1 | 0,54 s |
| relational_query-13 | bestanden | 1 / 1 | 0,52 s |
| relational_query-14 | bestanden | 1 / 1 | 0,48 s |
| relational_query-15 | bestanden | 1 / 1 | 0,44 s |
| date_time-01 | bestanden | 1 / 1 | 0,64 s |
| date_time-02 | bestanden | 1 / 1 | 0,84 s |
| date_time-03 | fehlgeschlagen | 0 / 1 | 0,73 s |
| date_time-04 | bestanden | 1 / 1 | 0,63 s |
| date_time-05 | bestanden | 1 / 1 | 0,83 s |
| date_time-06 | fehlgeschlagen | 0 / 1 | 0,71 s |
| date_time-07 | bestanden | 1 / 1 | 0,63 s |
| date_time-08 | fehlgeschlagen | 0 / 1 | 0,69 s |
| date_time-09 | fehlgeschlagen | 0 / 1 | 0,60 s |
| date_time-10 | bestanden | 1 / 1 | 0,54 s |
| date_time-11 | fehlgeschlagen | 0 / 1 | 1,24 s |
| date_time-12 | fehlgeschlagen | 0 / 1 | 1,14 s |
| date_time-13 | bestanden | 1 / 1 | 1,08 s |
| date_time-14 | fehlgeschlagen | 0 / 1 | 1,05 s |
| date_time-15 | fehlgeschlagen | 0 / 1 | 1,03 s |
| units-01 | bestanden | 1 / 1 | 0,57 s |
| units-02 | bestanden | 1 / 1 | 0,58 s |
| units-03 | bestanden | 1 / 1 | 0,51 s |
| units-04 | fehlgeschlagen | 0 / 1 | 0,58 s |
| units-05 | bestanden | 1 / 1 | 0,52 s |
| units-06 | bestanden | 1 / 1 | 0,54 s |
| units-07 | bestanden | 1 / 1 | 0,64 s |
| units-08 | bestanden | 1 / 1 | 0,46 s |
| units-09 | bestanden | 1 / 1 | 0,44 s |
| units-10 | bestanden | 1 / 1 | 0,49 s |
| units-11 | bestanden | 1 / 1 | 0,41 s |
| units-12 | bestanden | 1 / 1 | 0,60 s |
| units-13 | bestanden | 1 / 1 | 0,50 s |
| units-14 | bestanden | 1 / 1 | 0,57 s |
| units-15 | bestanden | 1 / 1 | 0,55 s |
| string_processing-01 | bestanden | 1 / 1 | 0,46 s |
| string_processing-02 | bestanden | 1 / 1 | 0,71 s |
| string_processing-03 | bestanden | 1 / 1 | 0,72 s |
| string_processing-04 | fehlgeschlagen | 0 / 1 | 0,59 s |
| string_processing-05 | bestanden | 1 / 1 | 0,61 s |
| string_processing-06 | bestanden | 1 / 1 | 0,53 s |
| string_processing-07 | fehlgeschlagen | 0 / 1 | 0,62 s |
| string_processing-08 | bestanden | 1 / 1 | 0,77 s |
| string_processing-09 | bestanden | 1 / 1 | 0,70 s |
| string_processing-10 | fehlgeschlagen | 0 / 1 | 0,59 s |
| string_processing-11 | bestanden | 1 / 1 | 0,60 s |
| string_processing-12 | bestanden | 1 / 1 | 0,73 s |
| string_processing-13 | bestanden | 1 / 1 | 0,59 s |
| string_processing-14 | bestanden | 1 / 1 | 0,61 s |
| string_processing-15 | bestanden | 1 / 1 | 0,68 s |
| sets-01 | fehlgeschlagen | 0 / 1 | 1,14 s |
| sets-02 | fehlgeschlagen | 0 / 1 | 0,88 s |
| sets-03 | fehlgeschlagen | 0 / 1 | 1,57 s |
| sets-04 | fehlgeschlagen | 0 / 1 | 0,80 s |
| sets-05 | fehlgeschlagen | 0 / 1 | 0,57 s |
| sets-06 | fehlgeschlagen | 0 / 1 | 1,68 s |
| sets-07 | fehlgeschlagen | 0 / 1 | 0,86 s |
| sets-08 | fehlgeschlagen | 0 / 1 | 0,95 s |
| sets-09 | fehlgeschlagen | 0 / 1 | 1,49 s |
| sets-10 | fehlgeschlagen | 0 / 1 | 0,66 s |
| sets-11 | fehlgeschlagen | 0 / 1 | 0,74 s |
| sets-12 | fehlgeschlagen | 0 / 1 | 1,97 s |
| sets-13 | fehlgeschlagen | 0 / 1 | 1,09 s |
| sets-14 | fehlgeschlagen | 0 / 1 | 1,01 s |
| sets-15 | fehlgeschlagen | 0 / 1 | 1,71 s |
| constraint_selection-01 | bestanden | 1 / 1 | 0,48 s |
| constraint_selection-02 | fehlgeschlagen | 0 / 1 | 0,31 s |
| constraint_selection-03 | bestanden | 1 / 1 | 0,77 s |
| constraint_selection-04 | bestanden | 1 / 1 | 0,52 s |
| constraint_selection-05 | bestanden | 1 / 1 | 0,78 s |
| constraint_selection-06 | bestanden | 1 / 1 | 0,64 s |
| constraint_selection-07 | bestanden | 1 / 1 | 0,90 s |
| constraint_selection-08 | bestanden | 1 / 1 | 0,86 s |
| constraint_selection-09 | bestanden | 1 / 1 | 0,54 s |
| constraint_selection-10 | bestanden | 1 / 1 | 0,75 s |
| constraint_selection-11 | bestanden | 1 / 1 | 0,37 s |
| constraint_selection-12 | bestanden | 1 / 1 | 0,61 s |
| constraint_selection-13 | bestanden | 1 / 1 | 0,60 s |
| constraint_selection-14 | bestanden | 1 / 1 | 0,90 s |
| constraint_selection-15 | fehlgeschlagen | 0 / 1 | 0,53 s |
| probability-01 | bestanden | 1 / 1 | 0,50 s |
| probability-02 | bestanden | 1 / 1 | 0,58 s |
| probability-03 | bestanden | 1 / 1 | 0,54 s |
| probability-04 | bestanden | 1 / 1 | 0,68 s |
| probability-05 | bestanden | 1 / 1 | 0,51 s |
| probability-06 | bestanden | 1 / 1 | 0,54 s |
| probability-07 | fehlgeschlagen | 0 / 1 | 0,60 s |
| probability-08 | bestanden | 1 / 1 | 0,45 s |
| probability-09 | bestanden | 1 / 1 | 0,43 s |
| probability-10 | fehlgeschlagen | 0 / 1 | 0,54 s |
| probability-11 | bestanden | 1 / 1 | 0,46 s |
| probability-12 | bestanden | 1 / 1 | 0,43 s |
| probability-13 | fehlgeschlagen | 0 / 1 | 0,42 s |
| probability-14 | bestanden | 1 / 1 | 0,44 s |
| probability-15 | bestanden | 1 / 1 | 0,45 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Qwen3.8-Flash-Next
# Engine : vLLM
# Run-ID : run-20261023-180238-6829a9
# GPU : 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition
# CPU : AMD Ryzen Threadripper PRO 9965WX 24-Cores
# RAM : 125 GB
bench@llm-benchmark:~$ /usr/bin/python3 /usr/local/bin/vllm serve mazinb/Qwen3.8-Flash-Next-Uncensored-NVFP4 \
--served-model-name Qwen3.8-Flash-Next-Uncensored \
--host 0.0.0.0 \
--port 8000 \
--trust-remote-code \
--distributed-executor-backend mp \
--gpu-memory-utilization 0.90 \
--max-model-len 131072 \
--max-num-seqs 10 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser qwen3
| Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind. | vllm |
| Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen. | Qwen3.8-Flash-Next-Uncensored |
| Kontextlaenge?Maximale Anzahl Tokens (Eingabe + erzeugte Ausgabe zusammen), die das Modell pro Anfrage verarbeiten kann. | 131072 |
| Alias?Anzeigename des Modells nach aussen (served model name), unabhaengig vom Dateinamen. | Qwen3.8-Flash-Next-Uncensored |
| Trust-Remote-Code?Erlaubt vLLM, mit dem Modell mitgelieferten Python-Code auszufuehren. Noetig fuer Architekturen, die vLLM nicht von Haus aus kennt. Nur bei vertrauenswuerdigen Modellen aktivieren. | aktiv |
| Executor-Backend?Verfahren fuer Multi-GPU/Multi-Node: mp = Prozesse auf einer Maschine, ray = ueber Ray (auch ueber mehrere Knoten). | mp |
| GPU-Speicher?Anteil des GPU-Speichers (0 bis 1), den vLLM belegen darf. 0.92 = 92 %. Hoeher = mehr Platz fuer den KV-Cache (mehr/laengere parallele Anfragen), aber groesseres Risiko fuer 'Out of Memory'. | 0.90 |
| Kontext?Groesse des Kontextfensters in Token. 0 = der beim Training verwendete Kontext des Modells. | 131072 |
| Max-Sequenzen?Maximale Anzahl gleichzeitig bearbeiteter Anfragen (Batch-Groesse). Hoeher = mehr Durchsatz, braucht aber mehr KV-Cache-Speicher. | 10 |
| Auto-Tool-Choice?Erlaubt dem Modell, Tools (Function-Calling) selbststaendig auszuwaehlen. MUSS aktiv sein, damit 'tools' im Request akzeptiert werden - sonst lehnt vLLM sie mit HTTP 400 ab. | aktiv |
| Tool-Parser?Bestimmt, wie vLLM Tool-Aufrufe aus der Modellantwort ausliest (z.B. hermes, mistral, llama3_json). Muss zum Modell passen. | qwen3_coder |
| Reasoning-Parser?Trennt den Denk-/Reasoning-Teil der Antwort vom eigentlichen Inhalt (z.B. bei Modellen mit <think>-Bloecken). | qwen3 |
| execution_type | local |
Anzeige
Modell-Vergleich
Qwen3.8-Flash-Next auf verschiedener Hardware
Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.
GPUnach Grafikkarte
★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 1.564,6 tok/s dieser LaufNVIDIA RTX A6000 1.171,8 tok/sNVIDIA GeForce RTX 3090 1.132,7 tok/sNVIDIA RTX PRO 6000 Blackwell Workstation Edition 584,1 tok/sNVIDIA GB10 (DGX Spark) 492,8 tok/sNVIDIA Tesla V100 PCIe 32GB 196,2 tok/sAMD Radeon RX 7900 XTX 18,7 tok/s
CPUnach Prozessor
AMD Ryzen 9 7945HX with Radeon Graphics 1.564,6 tok/sAMD Ryzen Threadripper PRO 3945WX 12-Cores 1.171,8 tok/sAMD Ryzen 5 5600X 6-Core Processor 1.132,7 tok/sAMD Ryzen 9 9950X 16-Core Processor 584,1 tok/sNVIDIA Grace 492,8 tok/s★ AMD Ryzen Threadripper PRO 9965WX 24-Cores 424,2 tok/s dieser LaufAMD Ryzen 3 PRO 3200GE w/ Radeon Vega Graphics 196,2 tok/sAMD EPYC 7203P 8-Core Processor 79,2 tok/sIntel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 63,2 tok/sAMD Ryzen Threadripper PRO 3955WX 16-Cores 18,7 tok/s
MBnach Mainboard
Shenzhen Meigao Electronic Equipment Co.,Ltd DRFXI (MotherBoard Series) 1.564,6 tok/sunbekannt 1.171,8 tok/sASUSTeK COMPUTER INC. ROG STRIX B550-A GAMING 1.132,7 tok/sASUSTeK COMPUTER INC. ProArt X870E-CREATOR WIFI 584,1 tok/sASUSTeK COMPUTER INC. GX10 492,8 tok/s★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 424,2 tok/s dieser LaufASUSTeK COMPUTER INC. ROG STRIX X570-F GAMING 196,2 tok/sASRockRack ROMED8-2T/BCM 79,2 tok/sDell Inc. PowerEdge R820 63,2 tok/sASUSTeK COMPUTER INC. Pro WS WRX80E-SAGE SE WIFI 35,4 tok/s
ENGnach Engine
DRVnach Treiber
unbekannt 1.564,6 tok/sNVIDIA 590.48.01 / CUDA 13.1 492,8 tok/s
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.