Beigesteuert vonMario AlkaTypeSafe AI Jev-1.13.0
Harnessbenchmark · gemessen am 29.09.2026 11:10
Benchmark-ID
run-20260929-091917-060aaeDecision-Benchmark V 1.0Runtime: python
ℹ
Öffentliche Anmerkung: 200 identische synthetische Entscheidungsfragen; 100 Noul,100 Choice. 1 Punkt pro exakter Antwort; Noul>=0.5. Concurrency1, keine Retries. Gesamte HTTP-Antwortzeit inkl. erster Anfrage, kein TTFT. Richtig 200/200. Mittel 258.832 ms; Median 251.529 ms; P95 299.350 ms. Kein allgemeiner Intelligenztest. TypeSafe Cloud API jev-1.13.0; HTTPS/Internet inklusive; Inferenzhardware unbekannt.
Punkte200,00von 200,00
Punktequote100,00%
Aufgaben bestanden200von 200
Gesamtdauer51,77s
Einordnung im Feld
1von 44 Systemen
Harnessbenchmark · Leitmetrik: Punktequote (%)
Dieser Lauf ist besser als 91 % aller vergleichbaren Systeme.
Punktequote
100 %
+62 % vs Ø 61,6
Aufgaben bestanden
200
+225 % vs Ø 61,6
Gesamtdauer
51,8 s
-97 % vs Ø 1.728,2
Verteilung im Feld10 – 100 %
Wie schlägt sich dieser Benchmark mit anderen Modellen?
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Jev-1.13.0 dieser LaufCloud/API: TypeSafe AI (Hardware unbekannt) · run-20260929-091917-060aae
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD Radeon 8060S Graphics · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-12a767
82 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-9b7325
80 %
Nemotron-Cascade-2-30B-A3BNVIDIA GeForce RTX 3090 · run-20260929-091748-b70591
80 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Hardware
Cloud/API: TypeSafe AI (Hardware unbekannt)
Setup
Runtime: python
Quantisierung: -
Modell: Jev-1.13.0
Aufgaben (200)
| Aufgabe | Status | Punkte | Dauer |
|---|---|---|---|
| 001 - Supportkategorie | bestanden | 1 / 1 | 0,26 s |
| 002 - Dienststatus | bestanden | 1 / 1 | 0,23 s |
| 003 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 004 - Spracherkennung | bestanden | 1 / 1 | 0,25 s |
| 005 - Supportkategorie | bestanden | 1 / 1 | 0,23 s |
| 006 - Dienststatus | bestanden | 1 / 1 | 0,23 s |
| 007 - Zahlenvergleich | bestanden | 1 / 1 | 0,25 s |
| 008 - Zeitstatus | bestanden | 1 / 1 | 0,25 s |
| 009 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 010 - Prioritaetsregel | bestanden | 1 / 1 | 0,23 s |
| 011 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 012 - Spracherkennung | bestanden | 1 / 1 | 0,24 s |
| 013 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 014 - Zeitstatus | bestanden | 1 / 1 | 0,25 s |
| 015 - Dienststatus | bestanden | 1 / 1 | 0,25 s |
| 016 - Zahlungsstatus | bestanden | 1 / 1 | 0,24 s |
| 017 - GroessteZahl | bestanden | 1 / 1 | 0,29 s |
| 018 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 019 - Zahlenvergleich | bestanden | 1 / 1 | 0,31 s |
| 020 - Dateiexistenz | bestanden | 1 / 1 | 0,32 s |
| 021 - Zeitstatus | bestanden | 1 / 1 | 0,23 s |
| 022 - Zahlungsstatus | bestanden | 1 / 1 | 0,24 s |
| 023 - Zeitstatus | bestanden | 1 / 1 | 0,26 s |
| 024 - Prioritaetsregel | bestanden | 1 / 1 | 0,23 s |
| 025 - Regelanwendung | bestanden | 1 / 1 | 0,22 s |
| 026 - Spracherkennung | bestanden | 1 / 1 | 0,24 s |
| 027 - Prioritaetsregel | bestanden | 1 / 1 | 0,80 s |
| 028 - Dateiexistenz | bestanden | 1 / 1 | 0,26 s |
| 029 - GroessteZahl | bestanden | 1 / 1 | 0,23 s |
| 030 - GroessteZahl | bestanden | 1 / 1 | 0,27 s |
| 031 - Regelanwendung | bestanden | 1 / 1 | 0,24 s |
| 032 - GroessteZahl | bestanden | 1 / 1 | 0,25 s |
| 033 - GroessteZahl | bestanden | 1 / 1 | 0,26 s |
| 034 - Prioritaetsregel | bestanden | 1 / 1 | 0,28 s |
| 035 - Prioritaetsregel | bestanden | 1 / 1 | 0,22 s |
| 036 - Zahlungsstatus | bestanden | 1 / 1 | 0,26 s |
| 037 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 038 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 039 - Zahlungsstatus | bestanden | 1 / 1 | 0,22 s |
| 040 - Dateiexistenz | bestanden | 1 / 1 | 0,21 s |
| 041 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 042 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 043 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 044 - Supportkategorie | bestanden | 1 / 1 | 0,24 s |
| 045 - Zahlenvergleich | bestanden | 1 / 1 | 0,26 s |
| 046 - Zahlungsstatus | bestanden | 1 / 1 | 0,28 s |
| 047 - Prioritaetsregel | bestanden | 1 / 1 | 0,25 s |
| 048 - Zahlenvergleich | bestanden | 1 / 1 | 0,22 s |
| 049 - Supportkategorie | bestanden | 1 / 1 | 0,25 s |
| 050 - Supportkategorie | bestanden | 1 / 1 | 0,29 s |
| 051 - Zeitstatus | bestanden | 1 / 1 | 0,22 s |
| 052 - Prioritaetsregel | bestanden | 1 / 1 | 0,26 s |
| 053 - Dateiexistenz | bestanden | 1 / 1 | 0,23 s |
| 054 - Zahlenvergleich | bestanden | 1 / 1 | 0,31 s |
| 055 - Zahlenvergleich | bestanden | 1 / 1 | 0,27 s |
| 056 - Dienststatus | bestanden | 1 / 1 | 0,43 s |
| 057 - Dienststatus | bestanden | 1 / 1 | 0,25 s |
| 058 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 059 - Zahlungsstatus | bestanden | 1 / 1 | 0,26 s |
| 060 - Zahlenvergleich | bestanden | 1 / 1 | 0,22 s |
| 061 - Zahlungsstatus | bestanden | 1 / 1 | 0,23 s |
| 062 - Dateiexistenz | bestanden | 1 / 1 | 0,29 s |
| 063 - Prioritaetsregel | bestanden | 1 / 1 | 0,25 s |
| 064 - GroessteZahl | bestanden | 1 / 1 | 0,33 s |
| 065 - Supportkategorie | bestanden | 1 / 1 | 0,26 s |
| 066 - Dienststatus | bestanden | 1 / 1 | 0,25 s |
| 067 - Spracherkennung | bestanden | 1 / 1 | 0,24 s |
| 068 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 069 - Supportkategorie | bestanden | 1 / 1 | 0,23 s |
| 070 - Dienststatus | bestanden | 1 / 1 | 0,27 s |
| 071 - Dateiexistenz | bestanden | 1 / 1 | 0,24 s |
| 072 - GroessteZahl | bestanden | 1 / 1 | 0,24 s |
| 073 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 074 - Regelanwendung | bestanden | 1 / 1 | 0,28 s |
| 075 - Prioritaetsregel | bestanden | 1 / 1 | 0,22 s |
| 076 - Zeitstatus | bestanden | 1 / 1 | 0,24 s |
| 077 - Spracherkennung | bestanden | 1 / 1 | 0,22 s |
| 078 - Zahlungsstatus | bestanden | 1 / 1 | 0,23 s |
| 079 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 080 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 081 - Prioritaetsregel | bestanden | 1 / 1 | 0,24 s |
| 082 - Dienststatus | bestanden | 1 / 1 | 0,27 s |
| 083 - Zahlenvergleich | bestanden | 1 / 1 | 0,23 s |
| 084 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 085 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 086 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 087 - Spracherkennung | bestanden | 1 / 1 | 0,27 s |
| 088 - Zeitstatus | bestanden | 1 / 1 | 0,27 s |
| 089 - Regelanwendung | bestanden | 1 / 1 | 0,25 s |
| 090 - Zeitstatus | bestanden | 1 / 1 | 0,25 s |
| 091 - Spracherkennung | bestanden | 1 / 1 | 0,32 s |
| 092 - Supportkategorie | bestanden | 1 / 1 | 0,27 s |
| 093 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 094 - Zeitstatus | bestanden | 1 / 1 | 0,23 s |
| 095 - Zeitstatus | bestanden | 1 / 1 | 0,23 s |
| 096 - Dienststatus | bestanden | 1 / 1 | 0,31 s |
| 097 - Zahlungsstatus | bestanden | 1 / 1 | 0,27 s |
| 098 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 099 - GroessteZahl | bestanden | 1 / 1 | 0,25 s |
| 100 - Dateiexistenz | bestanden | 1 / 1 | 0,27 s |
| 101 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 102 - Prioritaetsregel | bestanden | 1 / 1 | 0,27 s |
| 103 - Zeitstatus | bestanden | 1 / 1 | 0,26 s |
| 104 - Zahlungsstatus | bestanden | 1 / 1 | 0,26 s |
| 105 - GroessteZahl | bestanden | 1 / 1 | 0,27 s |
| 106 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 107 - Dateiexistenz | bestanden | 1 / 1 | 0,26 s |
| 108 - Zahlenvergleich | bestanden | 1 / 1 | 0,44 s |
| 109 - Prioritaetsregel | bestanden | 1 / 1 | 0,23 s |
| 110 - Regelanwendung | bestanden | 1 / 1 | 0,27 s |
| 111 - Prioritaetsregel | bestanden | 1 / 1 | 0,28 s |
| 112 - Zahlenvergleich | bestanden | 1 / 1 | 0,24 s |
| 113 - GroessteZahl | bestanden | 1 / 1 | 0,24 s |
| 114 - Zahlenvergleich | bestanden | 1 / 1 | 0,24 s |
| 115 - Zeitstatus | bestanden | 1 / 1 | 0,23 s |
| 116 - Spracherkennung | bestanden | 1 / 1 | 0,25 s |
| 117 - Zahlenvergleich | bestanden | 1 / 1 | 0,25 s |
| 118 - Dateiexistenz | bestanden | 1 / 1 | 0,24 s |
| 119 - Zeitstatus | bestanden | 1 / 1 | 0,24 s |
| 120 - Prioritaetsregel | bestanden | 1 / 1 | 0,26 s |
| 121 - Zeitstatus | bestanden | 1 / 1 | 0,26 s |
| 122 - Prioritaetsregel | bestanden | 1 / 1 | 0,23 s |
| 123 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 124 - GroessteZahl | bestanden | 1 / 1 | 0,23 s |
| 125 - Spracherkennung | bestanden | 1 / 1 | 0,23 s |
| 126 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 127 - Supportkategorie | bestanden | 1 / 1 | 0,24 s |
| 128 - Supportkategorie | bestanden | 1 / 1 | 0,28 s |
| 129 - Supportkategorie | bestanden | 1 / 1 | 0,27 s |
| 130 - Regelanwendung | bestanden | 1 / 1 | 0,30 s |
| 131 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 132 - GroessteZahl | bestanden | 1 / 1 | 0,25 s |
| 133 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 134 - Regelanwendung | bestanden | 1 / 1 | 0,30 s |
| 135 - Zeitstatus | bestanden | 1 / 1 | 0,27 s |
| 136 - Dateiexistenz | bestanden | 1 / 1 | 0,23 s |
| 137 - Zahlenvergleich | bestanden | 1 / 1 | 0,28 s |
| 138 - Spracherkennung | bestanden | 1 / 1 | 0,23 s |
| 139 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 140 - Spracherkennung | bestanden | 1 / 1 | 0,30 s |
| 141 - Supportkategorie | bestanden | 1 / 1 | 0,23 s |
| 142 - Zahlenvergleich | bestanden | 1 / 1 | 0,27 s |
| 143 - Spracherkennung | bestanden | 1 / 1 | 0,24 s |
| 144 - Dienststatus | bestanden | 1 / 1 | 0,26 s |
| 145 - Zahlenvergleich | bestanden | 1 / 1 | 0,25 s |
| 146 - Supportkategorie | bestanden | 1 / 1 | 0,27 s |
| 147 - Regelanwendung | bestanden | 1 / 1 | 0,23 s |
| 148 - Zahlenvergleich | bestanden | 1 / 1 | 0,24 s |
| 149 - Dienststatus | bestanden | 1 / 1 | 0,22 s |
| 150 - GroessteZahl | bestanden | 1 / 1 | 0,28 s |
| 151 - Zeitstatus | bestanden | 1 / 1 | 0,30 s |
| 152 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 153 - Supportkategorie | bestanden | 1 / 1 | 0,25 s |
| 154 - Zahlenvergleich | bestanden | 1 / 1 | 0,24 s |
| 155 - Zeitstatus | bestanden | 1 / 1 | 0,23 s |
| 156 - Dateiexistenz | bestanden | 1 / 1 | 0,26 s |
| 157 - Supportkategorie | bestanden | 1 / 1 | 0,27 s |
| 158 - Prioritaetsregel | bestanden | 1 / 1 | 0,27 s |
| 159 - Zahlenvergleich | bestanden | 1 / 1 | 0,26 s |
| 160 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 161 - Zahlungsstatus | bestanden | 1 / 1 | 0,24 s |
| 162 - Zahlungsstatus | bestanden | 1 / 1 | 0,29 s |
| 163 - Prioritaetsregel | bestanden | 1 / 1 | 0,24 s |
| 164 - Dienststatus | bestanden | 1 / 1 | 0,30 s |
| 165 - Supportkategorie | bestanden | 1 / 1 | 0,30 s |
| 166 - Spracherkennung | bestanden | 1 / 1 | 0,28 s |
| 167 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 168 - GroessteZahl | bestanden | 1 / 1 | 0,46 s |
| 169 - Zahlungsstatus | bestanden | 1 / 1 | 0,26 s |
| 170 - Spracherkennung | bestanden | 1 / 1 | 0,23 s |
| 171 - GroessteZahl | bestanden | 1 / 1 | 0,22 s |
| 172 - Regelanwendung | bestanden | 1 / 1 | 0,24 s |
| 173 - GroessteZahl | bestanden | 1 / 1 | 0,28 s |
| 174 - GroessteZahl | bestanden | 1 / 1 | 0,23 s |
| 175 - Prioritaetsregel | bestanden | 1 / 1 | 0,26 s |
| 176 - Dateiexistenz | bestanden | 1 / 1 | 0,27 s |
| 177 - Supportkategorie | bestanden | 1 / 1 | 0,30 s |
| 178 - Dateiexistenz | bestanden | 1 / 1 | 0,22 s |
| 179 - Prioritaetsregel | bestanden | 1 / 1 | 0,23 s |
| 180 - Zeitstatus | bestanden | 1 / 1 | 0,29 s |
| 181 - Zahlenvergleich | bestanden | 1 / 1 | 0,27 s |
| 182 - Zahlungsstatus | bestanden | 1 / 1 | 0,22 s |
| 183 - Zeitstatus | bestanden | 1 / 1 | 0,26 s |
| 184 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 185 - Zeitstatus | bestanden | 1 / 1 | 0,29 s |
| 186 - Supportkategorie | bestanden | 1 / 1 | 0,27 s |
| 187 - Zahlungsstatus | bestanden | 1 / 1 | 0,25 s |
| 188 - GroessteZahl | bestanden | 1 / 1 | 0,27 s |
| 189 - Spracherkennung | bestanden | 1 / 1 | 0,26 s |
| 190 - Dienststatus | bestanden | 1 / 1 | 0,24 s |
| 191 - Zahlenvergleich | bestanden | 1 / 1 | 0,27 s |
| 192 - Regelanwendung | bestanden | 1 / 1 | 0,30 s |
| 193 - Dateiexistenz | bestanden | 1 / 1 | 0,25 s |
| 194 - GroessteZahl | bestanden | 1 / 1 | 0,25 s |
| 195 - Prioritaetsregel | bestanden | 1 / 1 | 0,24 s |
| 196 - Dienststatus | bestanden | 1 / 1 | 0,24 s |
| 197 - GroessteZahl | bestanden | 1 / 1 | 0,28 s |
| 198 - Supportkategorie | bestanden | 1 / 1 | 0,22 s |
| 199 - Dienststatus | bestanden | 1 / 1 | 0,25 s |
| 200 - Supportkategorie | bestanden | 1 / 1 | 0,25 s |
Konfiguration
# LLM-Benchmark Konfiguration
# Modell : Jev-1.13.0
# Engine : api
# Run-ID : run-20260929-091917-060aae
# GPU : Cloud/API: TypeSafe AI (Hardware unbekannt)
bench@llm-benchmark:~$ cat benchmark.conf
dataset_sha256 f9238d9b9f675e9a8e449aff0fd67b7180b415d4cba9c68245b1d32f03f68b67
concurrency 1
retries 0
model_version jev-1.13.0
mean_response_ms 258.83155447023
median_response_ms 251.52897648513
p95_response_ms 299.35030906927
execution_type cloud
cloud_provider TypeSafe AI
| dataset_sha256 | f9238d9b9f675e9a8e449aff0fd67b7180b415d4cba9c68245b1d32f03f68b67 |
| concurrency | 1 |
| retries | 0 |
| first_request_included | 1 |
| model_version | jev-1.13.0 |
| mean_response_ms | 258.83155447023 |
| median_response_ms | 251.52897648513 |
| p95_response_ms | 299.35030906927 |
| execution_type | cloud |
| cloud_provider | TypeSafe AI |
Beigesteuert von
Mario Alka Administrator
@marioalka
Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.
Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.