Created bymario-alka.dePowered bynoob2claw.detricoma.de
Beigesteuert vonMario AlkaQwen (Alibaba)

Qwen3.8-27B-Uncensored

Harnessbenchmark · gemessen am 29.09.2026 13:37

Benchmark-IDrun-20260929-114458-077bc1
Decision-Benchmark High V 1.0Dense27BRuntime: vllmQuantisierung: NVFP4
ℹ
Öffentliche Anmerkung: Decision-Benchmark High V 1.0. Qwen3.8-27B-Uncensored, ohne Thinking, Prompt-Version format-v2. Separater Validierungslauf nach Beobachtung von vier Formatfehlern im vorherigen Lauf; kein unabhaengiger Holdout-Test. Identische 200 eingefrorene Aufgaben und strenge Bewertung, keine Antwortextraktion, keine Wiederholungen. Neuer System-Formatvertrag, Optionen als Textzeilen, erlaubte Antworten am Promptende wiederholt. 110/200 richtig (55 Prozent), 200/200 formatgueltig, keine API-Fehler. orcarouter/Qwen3.8-27B-Uncensored-NVFP4 (4-Bit NVFP4 mit FP8-Anteilen), eine RTX PRO 6000 Blackwell Max-Q 96GB (GPU1), vLLM 0.1.dev20073+g8e685d198, MTP2. enable_thinking=false, temperature=0, top_p=1, top_k=-1, min_p=0, presence_penalty=0, repetition_penalty=1, seed=20260929, max_tokens=32768, concurrency=1, Timeout=600s. Warmer Dienst nach vorherigem Lauf, kein Neustart/Cache-Reset, kein neuer Preflight. HTTP-End-to-End: Summe 28.734189 s; Mittel 143.671 ms; Median 146.251 ms; P95 157.818 ms. Quelle: run-20260929-133715.
Punkte110,00von 200,00
Punktequote55,00%
Aufgaben bestanden110von 200
Gesamtdauer28,73s
Einordnung im Feld
23von 32 Systemen

Harnessbenchmark · Leitmetrik: Punktequote (%)

Dieser Lauf ist besser als 29 % aller vergleichbaren Systeme.
Punktequote 55 %
-25 % vs Ø 73,3
Aufgaben bestanden 110
-12 % vs Ø 124,4
Gesamtdauer 28,7 s
-97 % vs Ø 1.133,5
Verteilung im Feld37 – 100 %
Ø 73 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Qwen3.8-Flash-Next2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180243-30647c
100 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-165122-c5dea7
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored gleiches Modell2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-3f1672
99 %
Qwen3.8-Flash-Next2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180239-3519b5
98 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Qwen3.8-Flash-Next2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261023-180239-2b7b40
96 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-43651d
93 %
Kolibri-1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20261008-125923-5b5304
91 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
minimax-m2.5-awq3× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Qwen3.8-27B-Uncensored dieser Lauf2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-114458-077bc1
55 %

Aufgaben (200)

AufgabeStatusPunkteDauer
001 - Beschaffung_Optimierungfehlgeschlagen0 / 10,18 s
002 - permission_deny_overridebestanden1 / 10,17 s
003 - Rechnung_Rundungbestanden1 / 10,13 s
004 - Rechnung_Rundungbestanden1 / 10,14 s
005 - graph_reachability_blocksfehlgeschlagen0 / 10,13 s
006 - Beschaffung_Optimierungbestanden1 / 10,16 s
007 - time_interval_conflictsbestanden1 / 10,15 s
008 - time_interval_conflictsbestanden1 / 10,16 s
009 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
010 - permission_deny_overridebestanden1 / 10,16 s
011 - Abstimmung_Quorumbestanden1 / 10,15 s
012 - permission_deny_overridefehlgeschlagen0 / 10,15 s
013 - permission_deny_overridefehlgeschlagen0 / 10,15 s
014 - budget_dependency_selectionbestanden1 / 10,14 s
015 - graph_reachability_blocksbestanden1 / 10,15 s
016 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
017 - budget_dependency_selectionbestanden1 / 10,13 s
018 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
019 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
020 - permission_deny_overridebestanden1 / 10,15 s
021 - Abstimmung_Quorumbestanden1 / 10,15 s
022 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
023 - permission_deny_overridebestanden1 / 10,15 s
024 - version_event_reconstructionbestanden1 / 10,15 s
025 - Lager_Haltbarkeitbestanden1 / 10,15 s
026 - time_interval_conflictsbestanden1 / 10,15 s
027 - permission_deny_overridefehlgeschlagen0 / 10,15 s
028 - Abstimmung_Quorumbestanden1 / 10,15 s
029 - Beschaffung_Optimierungbestanden1 / 10,15 s
030 - version_event_reconstructionfehlgeschlagen0 / 10,16 s
031 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
032 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
033 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
034 - time_interval_conflictsbestanden1 / 10,15 s
035 - time_interval_conflictsbestanden1 / 10,15 s
036 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
037 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
038 - time_interval_conflictsbestanden1 / 10,15 s
039 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
040 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
041 - time_interval_conflictsbestanden1 / 10,15 s
042 - Lager_Haltbarkeitfehlgeschlagen0 / 10,14 s
043 - Rechnung_Rundungbestanden1 / 10,14 s
044 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
045 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
046 - time_interval_conflictsfehlgeschlagen0 / 10,17 s
047 - version_event_reconstructionbestanden1 / 10,15 s
048 - Lager_Haltbarkeitfehlgeschlagen0 / 10,14 s
049 - Lager_Haltbarkeitfehlgeschlagen0 / 10,14 s
050 - Beschaffung_Optimierungbestanden1 / 10,15 s
051 - Rechnung_Rundungbestanden1 / 10,14 s
052 - Lager_Haltbarkeitfehlgeschlagen0 / 10,14 s
053 - Buchungen_Korrekturenfehlgeschlagen0 / 10,14 s
054 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
055 - Buchungen_Korrekturenbestanden1 / 10,13 s
056 - Abstimmung_Quorumbestanden1 / 10,16 s
057 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
058 - Buchungen_Korrekturenbestanden1 / 10,13 s
059 - Lager_Haltbarkeitbestanden1 / 10,13 s
060 - Rechnung_Rundungbestanden1 / 10,13 s
061 - Abstimmung_Quorumbestanden1 / 10,15 s
062 - Buchungen_Korrekturenbestanden1 / 10,14 s
063 - version_event_reconstructionfehlgeschlagen0 / 10,16 s
064 - Abstimmung_Quorumbestanden1 / 10,15 s
065 - permission_deny_overridefehlgeschlagen0 / 10,16 s
066 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
067 - Abstimmung_Quorumbestanden1 / 10,15 s
068 - Buchungen_Korrekturenbestanden1 / 10,13 s
069 - Abstimmung_Quorumbestanden1 / 10,15 s
070 - permission_deny_overridebestanden1 / 10,15 s
071 - permission_deny_overridefehlgeschlagen0 / 10,15 s
072 - permission_deny_overridebestanden1 / 10,15 s
073 - Rechnung_Rundungbestanden1 / 10,14 s
074 - version_event_reconstructionbestanden1 / 10,16 s
075 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
076 - graph_reachability_blocksbestanden1 / 10,15 s
077 - graph_reachability_blocksbestanden1 / 10,13 s
078 - time_interval_conflictsbestanden1 / 10,15 s
079 - time_interval_conflictsbestanden1 / 10,15 s
080 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
081 - budget_dependency_selectionfehlgeschlagen0 / 10,14 s
082 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
083 - Beschaffung_Optimierungbestanden1 / 10,15 s
084 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
085 - permission_deny_overridebestanden1 / 10,15 s
086 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
087 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
088 - Beschaffung_Optimierungfehlgeschlagen0 / 10,14 s
089 - Rechnung_Rundungfehlgeschlagen0 / 10,13 s
090 - Abstimmung_Quorumbestanden1 / 10,15 s
091 - Rechnung_Rundungfehlgeschlagen0 / 10,14 s
092 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
093 - Buchungen_Korrekturenfehlgeschlagen0 / 10,14 s
094 - Buchungen_Korrekturenbestanden1 / 10,13 s
095 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
096 - Buchungen_Korrekturenbestanden1 / 10,13 s
097 - graph_reachability_blocksfehlgeschlagen0 / 10,16 s
098 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
099 - budget_dependency_selectionbestanden1 / 10,13 s
100 - Abstimmung_Quorumbestanden1 / 10,15 s
101 - permission_deny_overridebestanden1 / 10,15 s
102 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
103 - Lager_Haltbarkeitbestanden1 / 10,14 s
104 - Lager_Haltbarkeitbestanden1 / 10,14 s
105 - time_interval_conflictsbestanden1 / 10,15 s
106 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
107 - version_event_reconstructionbestanden1 / 10,15 s
108 - Abstimmung_Quorumbestanden1 / 10,15 s
109 - permission_deny_overridebestanden1 / 10,15 s
110 - Abstimmung_Quorumbestanden1 / 10,15 s
111 - Abstimmung_Quorumbestanden1 / 10,16 s
112 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
113 - permission_deny_overridebestanden1 / 10,15 s
114 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
115 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
116 - budget_dependency_selectionfehlgeschlagen0 / 10,14 s
117 - Rechnung_Rundungbestanden1 / 10,14 s
118 - Buchungen_Korrekturenfehlgeschlagen0 / 10,14 s
119 - Rechnung_Rundungbestanden1 / 10,13 s
120 - graph_reachability_blocksbestanden1 / 10,13 s
121 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
122 - graph_reachability_blocksbestanden1 / 10,14 s
123 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
124 - permission_deny_overridebestanden1 / 10,17 s
125 - Lager_Haltbarkeitbestanden1 / 10,14 s
126 - budget_dependency_selectionbestanden1 / 10,13 s
127 - Lager_Haltbarkeitbestanden1 / 10,13 s
128 - Rechnung_Rundungbestanden1 / 10,13 s
129 - budget_dependency_selectionbestanden1 / 10,13 s
130 - time_interval_conflictsbestanden1 / 10,15 s
131 - Abstimmung_Quorumfehlgeschlagen0 / 10,16 s
132 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
133 - budget_dependency_selectionbestanden1 / 10,13 s
134 - Buchungen_Korrekturenfehlgeschlagen0 / 10,13 s
135 - time_interval_conflictsbestanden1 / 10,15 s
136 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
137 - Beschaffung_Optimierungbestanden1 / 10,15 s
138 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
139 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
140 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
141 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
142 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
143 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
144 - Buchungen_Korrekturenfehlgeschlagen0 / 10,14 s
145 - version_event_reconstructionfehlgeschlagen0 / 10,16 s
146 - Buchungen_Korrekturenbestanden1 / 10,14 s
147 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
148 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
149 - budget_dependency_selectionbestanden1 / 10,13 s
150 - Rechnung_Rundungfehlgeschlagen0 / 10,14 s
151 - permission_deny_overridebestanden1 / 10,16 s
152 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
153 - Rechnung_Rundungbestanden1 / 10,15 s
154 - Beschaffung_Optimierungbestanden1 / 10,15 s
155 - version_event_reconstructionfehlgeschlagen0 / 10,15 s
156 - Abstimmung_Quorumbestanden1 / 10,15 s
157 - Abstimmung_Quorumbestanden1 / 10,15 s
158 - Lager_Haltbarkeitbestanden1 / 10,14 s
159 - budget_dependency_selectionbestanden1 / 10,16 s
160 - budget_dependency_selectionbestanden1 / 10,13 s
161 - time_interval_conflictsfehlgeschlagen0 / 10,15 s
162 - graph_reachability_blocksbestanden1 / 10,15 s
163 - graph_reachability_blocksbestanden1 / 10,15 s
164 - Abstimmung_Quorumbestanden1 / 10,15 s
165 - budget_dependency_selectionbestanden1 / 10,13 s
166 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
167 - Buchungen_Korrekturenbestanden1 / 10,14 s
168 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
169 - Beschaffung_Optimierungbestanden1 / 10,15 s
170 - budget_dependency_selectionbestanden1 / 10,13 s
171 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
172 - Rechnung_Rundungfehlgeschlagen0 / 10,14 s
173 - Abstimmung_Quorumbestanden1 / 10,15 s
174 - Beschaffung_Optimierungfehlgeschlagen0 / 10,16 s
175 - Beschaffung_Optimierungbestanden1 / 10,15 s
176 - version_event_reconstructionbestanden1 / 10,15 s
177 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
178 - Lager_Haltbarkeitbestanden1 / 10,13 s
179 - permission_deny_overridebestanden1 / 10,15 s
180 - permission_deny_overridefehlgeschlagen0 / 10,15 s
181 - version_event_reconstructionbestanden1 / 10,15 s
182 - graph_reachability_blocksbestanden1 / 10,15 s
183 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
184 - time_interval_conflictsbestanden1 / 10,15 s
185 - Abstimmung_Quorumbestanden1 / 10,16 s
186 - Rechnung_Rundungfehlgeschlagen0 / 10,14 s
187 - Beschaffung_Optimierungbestanden1 / 10,14 s
188 - Buchungen_Korrekturenfehlgeschlagen0 / 10,14 s
189 - graph_reachability_blocksfehlgeschlagen0 / 10,15 s
190 - Abstimmung_Quorumbestanden1 / 10,15 s
191 - budget_dependency_selectionfehlgeschlagen0 / 10,13 s
192 - permission_deny_overridebestanden1 / 10,15 s
193 - graph_reachability_blocksbestanden1 / 10,14 s
194 - budget_dependency_selectionbestanden1 / 10,14 s
195 - Lager_Haltbarkeitfehlgeschlagen0 / 10,13 s
196 - graph_reachability_blocksfehlgeschlagen0 / 10,14 s
197 - graph_reachability_blocksbestanden1 / 10,13 s
198 - Lager_Haltbarkeitbestanden1 / 10,13 s
199 - Beschaffung_Optimierungfehlgeschlagen0 / 10,15 s
200 - version_event_reconstructionfehlgeschlagen0 / 10,16 s

Konfiguration

benchmark-konfiguration — run-20260929-114458-077bc1
# LLM-Benchmark Konfiguration # Modell : Qwen3.8-27B-Uncensored # Engine : vLLM # Run-ID : run-20260929-114458-077bc1 # GPU : 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition # CPU : AMD Ryzen Threadripper PRO 9965WX 24-Cores # RAM : 125 GB bench@llm-benchmark:~$ vllm serve \ --model Qwen3.8-27B-Uncensored \ temperature 0 \ top_p 1 \ top_k -1 \ min_p 0 \ presence_penalty 0 \ repetition_penalty 1 \ seed 20260929 \ max_tokens 32768 \ model Qwen3.8-27B-Uncensored \ endpoint http://10.220.4.10:8001/v1/chat/completions \ prompt_profile '{"version":"format-v2","system":"Du bist eine Entscheidungsschnittstelle. Loese die Aufgabe anhand des gegebenen Kontexts. Deine gesamte Ausgabe muss exakt einer der erlaubten Antworten entsprechen. Gib nur diese Antwort aus, ohne Erklaerung, Begruendung, JSON, Anfuehrungszeichen, Markdown, Codeblock, Satzzeichen oder weitere Zeilen. Kopiere weder die Frage noch die Antwortliste. Bei Auswahlfragen gib ausschliesslich den Optionsschluessel aus, niemals den zugehoerigen Antworttext.","suffix":"Erlaubte Antworten: {allowed}.\nGib jetzt exakt eine dieser Antworten und sonst nichts aus."}' \ prompt_profile_sha256 b79d34563ce3bbedad1749d14400c4cfdae7e6ac85e1602d278aab58eedbcd23 \ validation_run \ gpu_used 1 \ cuda_visible_devices 1 \ execution_type local
Engine?Die Inferenz-Software, die das Modell ausliefert (z.B. vLLM oder llama.cpp). Sie bestimmt Geschwindigkeit, unterstuetzte Modellformate und welche Parameter ueberhaupt verfuegbar sind.vllm
Modellalias?Der Name, unter dem das Modell ueber die API angesprochen wird. Genau dieser Wert muss im Request-Feld 'model' stehen.Qwen3.8-27B-Uncensored
temperature0
top_p1
top_k-1
min_p0
presence_penalty0
repetition_penalty1
Seed?Zufalls-Seed fuer reproduzierbare Ausgaben. -1 = zufaellig.20260929
max_tokens32768
enable_thinkinginaktiv
Modellpfad?Pfad zur GGUF-Modelldatei, die geladen und ausgeliefert wird.Qwen3.8-27B-Uncensored
endpointhttp://10.220.4.10:8001/v1/chat/completions
prompt_profile{"version":"format-v2","system":"Du bist eine Entscheidungsschnittstelle. Loese die Aufgabe anhand des gegebenen Kontexts. Deine gesamte Ausgabe muss exakt einer der erlaubten Antworten entsprechen. Gib nur diese Antwort aus, ohne Erklaerung, Begruendung, JSON, Anfuehrungszeichen, Markdown, Codeblock, Satzzeichen oder weitere Zeilen. Kopiere weder die Frage noch die Antwortliste. Bei Auswahlfragen gib ausschliesslich den Optionsschluessel aus, niemals den zugehoerigen Antworttext.","suffix":"Erlaubte Antworten: {allowed}.\nGib jetzt exakt eine dieser Antworten und sonst nichts aus."}
prompt_profile_sha256b79d34563ce3bbedad1749d14400c4cfdae7e6ac85e1602d278aab58eedbcd23
validation_runaktiv
preflight_request_excludedinaktiv
gpu_used1
cuda_visible_devices1
execution_typelocal

Alle Benchmarks dieses Modells Zum Leaderboard

Anzeige
Modell-Vergleich

Qwen3.8-27B-Uncensored auf verschiedener Hardware

Alle veröffentlichten Performance-Läufe dieses Modells – jede Blase eine Variante: Position = Prefill (X) × Generation (Y), Blasengröße = Anzahl Läufe. Näher oben rechts = schneller. ★ Gold markiert = dieser Benchmark.

GPUnach Grafikkarte

11611110510094,85.2335.4555.6785.901Prefill (tok/s)Generation (tok/s)NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition - 105,3 tok/s Generation, 5.567 tok/s Prefill, TTFT 1.326 ms (3 Laufe) | DIESER LAUF★ NVIDIA RTX PRO 6000 B...
★ NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition 105,3 tok/s dieser Lauf

CPUnach Prozessor

11611110510094,85.2335.4555.6785.901Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 9965WX 24-Cores - 105,3 tok/s Generation, 5.567 tok/s Prefill, TTFT 1.326 ms (3 Laufe) | DIESER LAUF★ AMD Ryzen Threadrippe...
★ AMD Ryzen Threadripper PRO 9965WX 24-Cores 105,3 tok/s dieser Lauf

MBnach Mainboard

11611110510094,85.2335.4555.6785.901Prefill (tok/s)Generation (tok/s)ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE - 105,3 tok/s Generation, 5.567 tok/s Prefill, TTFT 1.326 ms (3 Laufe) | DIESER LAUF★ ASUSTeK COMPUTER INC....
★ ASUSTeK COMPUTER INC. Pro WS WRX90E-SAGE SE 105,3 tok/s dieser Lauf

ENGnach Engine

11611110510094,85.2335.4555.6785.901Prefill (tok/s)Generation (tok/s)vLLM - 105,3 tok/s Generation, 5.567 tok/s Prefill, TTFT 1.326 ms (3 Laufe) | DIESER LAUF★ vLLM
★ vLLM 105,3 tok/s dieser Lauf

DRVnach Treiber

11611110510094,85.2335.4555.6785.901Prefill (tok/s)Generation (tok/s)unbekannt - 105,3 tok/s Generation, 5.567 tok/s Prefill, TTFT 1.326 ms (3 Laufe)unbekannt
unbekannt 105,3 tok/s
Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.