Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
Beigesteuert vonMario AlkaTypeSafe AI

Jev-1.13.0

Harnessbenchmark · gemessen am 29.09.2026 12:07

Benchmark-IDrun-20260929-100818-c6df4f
Decision-Benchmark High V 1.0Runtime: python
ℹ
Öffentliche Anmerkung: 200 neue komplexe synthetische Entscheidungsfragen, 10 Familien: Rechnung, Lager, Quorum, Beschaffung, Buchungen, Zeitintervalle, Ereignisse, Budget, Rechte, Graphen. 100 Noul (50/50),100 Choice (4 Optionen). Ein Punkt pro exakter Entscheidung. Unabhaengig gepruefte Sollwerte; Datensatz vor Modelltests eingefroren. Keine Tools, direkte Entscheidung ohne Thinking-Modus; keine allgemeine Reasoning-Bewertung. Concurrency1, keine Retries; gesamte HTTP-Antwortzeit inkl. erster Anfrage. 114/200 richtig. Mittel 256.171 ms; Median 247.415 ms; P95 324.991 ms. API-Fehler 0; Formatfehler 0 (zaehlen als falsch). TypeSafe Cloud jev-1.13.0, native typed API, Noul-Schwelle0.5; unbekannte Inferenzhardware; Internet/HTTPS enthalten.
Punkte114,00von 200,00
Punktequote57,00%
Aufgaben bestanden114von 200
Gesamtdauer51,23s
Einordnung im Feld
28von 44 Systemen

Harnessbenchmark · Leitmetrik: Punktequote (%)

Dieser Lauf ist besser als 37 % aller vergleichbaren Systeme.
Punktequote 57 %
-7 % vs Ø 61,6
Aufgaben bestanden 114
+85 % vs Ø 61,6
Gesamtdauer 51,2 s
-97 % vs Ø 1.728,2
Verteilung im Feld10 – 100 %
Ø 62 Median Dieser Lauf

Wie schlägt sich dieser Benchmark mit anderen Modellen?

Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-153935-691df9
100 %
Jev-1.13.0 gleiches ModellCloud/API: TypeSafe AI (Hardware unbekannt) · run-20260929-091917-060aae
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-cbe456
100 %
Qwen3.8-27B-Uncensored2× 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-e13da0
100 %
Open-Jev-27B-v1.1NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091747-5d8477
100 %
Qwen3.6-35B-A3B-AWQNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-112249-dba0f2
97 %
Gemma-4-26B-A4B-itNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-05d866
91 %
Devstral-Small-2-24B-Instruct-2512AMD Radeon 8060S Graphics · run-20260722-161611-5f2f86
87 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-12a767
82 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-f6cfe1
81 %
Gemma-4-26B-A4B-itAMD Radeon 8060S Graphics · run-20260722-161611-9b7325
80 %
Nemotron-Cascade-2-30B-A3BNVIDIA GeForce RTX 3090 · run-20260929-091748-b70591
80 %
Nemotron-Cascade-2-30B-A3BNVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260929-091748-15ef7f
80 %
MiniMax-M2.53× 3x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition · run-20260722-161611-54019f
79 %
Jev-1.13.0 dieser LaufCloud/API: TypeSafe AI (Hardware unbekannt) · run-20260929-100818-c6df4f
57 %

Hardware

Cloud/API: TypeSafe AI (Hardware unbekannt)

Setup

Runtime: python
Quantisierung: -
Modell: Jev-1.13.0

Aufgaben (200)

AufgabeStatusPunkteDauer
001 - Beschaffung_Optimierungfehlgeschlagen0 / 10,33 s
002 - permission_deny_overridebestanden1 / 10,25 s
003 - Rechnung_Rundungbestanden1 / 10,26 s
004 - Rechnung_Rundungbestanden1 / 10,28 s
005 - graph_reachability_blocksbestanden1 / 10,25 s
006 - Beschaffung_Optimierungbestanden1 / 10,25 s
007 - time_interval_conflictsbestanden1 / 10,27 s
008 - time_interval_conflictsfehlgeschlagen0 / 10,60 s
009 - Rechnung_Rundungfehlgeschlagen0 / 10,22 s
010 - permission_deny_overridebestanden1 / 10,28 s
011 - Abstimmung_Quorumbestanden1 / 10,28 s
012 - permission_deny_overridefehlgeschlagen0 / 10,26 s
013 - permission_deny_overridebestanden1 / 10,23 s
014 - budget_dependency_selectionfehlgeschlagen0 / 10,23 s
015 - graph_reachability_blocksbestanden1 / 10,23 s
016 - Buchungen_Korrekturenfehlgeschlagen0 / 10,23 s
017 - budget_dependency_selectionbestanden1 / 10,25 s
018 - Lager_Haltbarkeitfehlgeschlagen0 / 10,27 s
019 - version_event_reconstructionfehlgeschlagen0 / 10,23 s
020 - permission_deny_overridebestanden1 / 10,25 s
021 - Abstimmung_Quorumbestanden1 / 10,26 s
022 - Rechnung_Rundungfehlgeschlagen0 / 10,23 s
023 - permission_deny_overridebestanden1 / 10,23 s
024 - version_event_reconstructionbestanden1 / 10,25 s
025 - Lager_Haltbarkeitfehlgeschlagen0 / 10,25 s
026 - time_interval_conflictsbestanden1 / 10,22 s
027 - permission_deny_overridebestanden1 / 10,23 s
028 - Abstimmung_Quorumbestanden1 / 10,24 s
029 - Beschaffung_Optimierungbestanden1 / 10,25 s
030 - version_event_reconstructionfehlgeschlagen0 / 10,23 s
031 - Lager_Haltbarkeitfehlgeschlagen0 / 10,22 s
032 - Beschaffung_Optimierungbestanden1 / 10,22 s
033 - budget_dependency_selectionbestanden1 / 10,27 s
034 - time_interval_conflictsbestanden1 / 10,24 s
035 - time_interval_conflictsfehlgeschlagen0 / 10,24 s
036 - Rechnung_Rundungfehlgeschlagen0 / 10,23 s
037 - budget_dependency_selectionbestanden1 / 10,24 s
038 - time_interval_conflictsbestanden1 / 10,58 s
039 - Buchungen_Korrekturenbestanden1 / 10,22 s
040 - version_event_reconstructionfehlgeschlagen0 / 10,27 s
041 - time_interval_conflictsfehlgeschlagen0 / 10,37 s
042 - Lager_Haltbarkeitbestanden1 / 10,23 s
043 - Rechnung_Rundungbestanden1 / 10,29 s
044 - Rechnung_Rundungbestanden1 / 10,25 s
045 - Rechnung_Rundungfehlgeschlagen0 / 10,28 s
046 - time_interval_conflictsfehlgeschlagen0 / 10,42 s
047 - version_event_reconstructionfehlgeschlagen0 / 10,25 s
048 - Lager_Haltbarkeitfehlgeschlagen0 / 10,25 s
049 - Lager_Haltbarkeitbestanden1 / 10,26 s
050 - Beschaffung_Optimierungbestanden1 / 10,25 s
051 - Rechnung_Rundungbestanden1 / 10,28 s
052 - Lager_Haltbarkeitfehlgeschlagen0 / 10,24 s
053 - Buchungen_Korrekturenbestanden1 / 10,24 s
054 - budget_dependency_selectionfehlgeschlagen0 / 10,23 s
055 - Buchungen_Korrekturenfehlgeschlagen0 / 10,22 s
056 - Abstimmung_Quorumbestanden1 / 10,27 s
057 - Buchungen_Korrekturenfehlgeschlagen0 / 10,26 s
058 - Buchungen_Korrekturenfehlgeschlagen0 / 10,25 s
059 - Lager_Haltbarkeitbestanden1 / 10,22 s
060 - Rechnung_Rundungfehlgeschlagen0 / 10,23 s
061 - Abstimmung_Quorumbestanden1 / 10,30 s
062 - Buchungen_Korrekturenfehlgeschlagen0 / 10,23 s
063 - version_event_reconstructionfehlgeschlagen0 / 10,24 s
064 - Abstimmung_Quorumbestanden1 / 10,23 s
065 - permission_deny_overridebestanden1 / 10,22 s
066 - time_interval_conflictsbestanden1 / 10,26 s
067 - Abstimmung_Quorumbestanden1 / 10,22 s
068 - Buchungen_Korrekturenfehlgeschlagen0 / 10,42 s
069 - Abstimmung_Quorumbestanden1 / 10,26 s
070 - permission_deny_overridebestanden1 / 10,23 s
071 - permission_deny_overridefehlgeschlagen0 / 10,23 s
072 - permission_deny_overridebestanden1 / 10,25 s
073 - Rechnung_Rundungbestanden1 / 10,27 s
074 - version_event_reconstructionbestanden1 / 10,23 s
075 - Buchungen_Korrekturenfehlgeschlagen0 / 10,24 s
076 - graph_reachability_blocksbestanden1 / 10,24 s
077 - graph_reachability_blocksbestanden1 / 10,33 s
078 - time_interval_conflictsbestanden1 / 10,27 s
079 - time_interval_conflictsfehlgeschlagen0 / 10,23 s
080 - graph_reachability_blocksfehlgeschlagen0 / 10,34 s
081 - budget_dependency_selectionfehlgeschlagen0 / 10,22 s
082 - version_event_reconstructionbestanden1 / 10,27 s
083 - Beschaffung_Optimierungbestanden1 / 10,23 s
084 - Beschaffung_Optimierungbestanden1 / 10,24 s
085 - permission_deny_overridefehlgeschlagen0 / 10,26 s
086 - Lager_Haltbarkeitbestanden1 / 10,28 s
087 - budget_dependency_selectionfehlgeschlagen0 / 10,26 s
088 - Beschaffung_Optimierungbestanden1 / 10,23 s
089 - Rechnung_Rundungbestanden1 / 10,27 s
090 - Abstimmung_Quorumbestanden1 / 10,28 s
091 - Rechnung_Rundungbestanden1 / 10,26 s
092 - graph_reachability_blocksbestanden1 / 10,22 s
093 - Buchungen_Korrekturenfehlgeschlagen0 / 10,30 s
094 - Buchungen_Korrekturenfehlgeschlagen0 / 10,28 s
095 - version_event_reconstructionfehlgeschlagen0 / 10,24 s
096 - Buchungen_Korrekturenbestanden1 / 10,24 s
097 - graph_reachability_blocksfehlgeschlagen0 / 10,24 s
098 - Buchungen_Korrekturenfehlgeschlagen0 / 10,22 s
099 - budget_dependency_selectionbestanden1 / 10,25 s
100 - Abstimmung_Quorumbestanden1 / 10,23 s
101 - permission_deny_overridebestanden1 / 10,24 s
102 - Beschaffung_Optimierungfehlgeschlagen0 / 10,24 s
103 - Lager_Haltbarkeitfehlgeschlagen0 / 10,23 s
104 - Lager_Haltbarkeitbestanden1 / 10,25 s
105 - time_interval_conflictsbestanden1 / 10,26 s
106 - graph_reachability_blocksfehlgeschlagen0 / 10,21 s
107 - version_event_reconstructionbestanden1 / 10,25 s
108 - Abstimmung_Quorumbestanden1 / 10,22 s
109 - permission_deny_overridebestanden1 / 10,25 s
110 - Abstimmung_Quorumfehlgeschlagen0 / 10,27 s
111 - Abstimmung_Quorumbestanden1 / 10,24 s
112 - Lager_Haltbarkeitbestanden1 / 10,26 s
113 - permission_deny_overridebestanden1 / 10,27 s
114 - version_event_reconstructionfehlgeschlagen0 / 10,27 s
115 - version_event_reconstructionbestanden1 / 10,27 s
116 - budget_dependency_selectionbestanden1 / 10,23 s
117 - Rechnung_Rundungbestanden1 / 10,23 s
118 - Buchungen_Korrekturenfehlgeschlagen0 / 10,23 s
119 - Rechnung_Rundungbestanden1 / 10,27 s
120 - graph_reachability_blocksfehlgeschlagen0 / 10,22 s
121 - version_event_reconstructionfehlgeschlagen0 / 10,22 s
122 - graph_reachability_blocksfehlgeschlagen0 / 10,28 s
123 - graph_reachability_blocksfehlgeschlagen0 / 10,23 s
124 - permission_deny_overridefehlgeschlagen0 / 10,27 s
125 - Lager_Haltbarkeitfehlgeschlagen0 / 10,23 s
126 - budget_dependency_selectionbestanden1 / 10,27 s
127 - Lager_Haltbarkeitfehlgeschlagen0 / 10,28 s
128 - Rechnung_Rundungbestanden1 / 10,24 s
129 - budget_dependency_selectionbestanden1 / 10,22 s
130 - time_interval_conflictsbestanden1 / 10,29 s
131 - Abstimmung_Quorumfehlgeschlagen0 / 10,23 s
132 - Buchungen_Korrekturenbestanden1 / 10,28 s
133 - budget_dependency_selectionbestanden1 / 10,35 s
134 - Buchungen_Korrekturenbestanden1 / 10,25 s
135 - time_interval_conflictsbestanden1 / 10,35 s
136 - time_interval_conflictsfehlgeschlagen0 / 10,26 s
137 - Beschaffung_Optimierungbestanden1 / 10,27 s
138 - time_interval_conflictsfehlgeschlagen0 / 10,22 s
139 - Beschaffung_Optimierungfehlgeschlagen0 / 10,26 s
140 - time_interval_conflictsfehlgeschlagen0 / 10,27 s
141 - version_event_reconstructionbestanden1 / 10,26 s
142 - graph_reachability_blocksfehlgeschlagen0 / 10,24 s
143 - budget_dependency_selectionfehlgeschlagen0 / 10,24 s
144 - Buchungen_Korrekturenfehlgeschlagen0 / 10,24 s
145 - version_event_reconstructionfehlgeschlagen0 / 10,23 s
146 - Buchungen_Korrekturenfehlgeschlagen0 / 10,26 s
147 - graph_reachability_blocksfehlgeschlagen0 / 10,29 s
148 - time_interval_conflictsfehlgeschlagen0 / 10,27 s
149 - budget_dependency_selectionbestanden1 / 10,26 s
150 - Rechnung_Rundungfehlgeschlagen0 / 10,24 s
151 - permission_deny_overridebestanden1 / 10,27 s
152 - version_event_reconstructionbestanden1 / 10,23 s
153 - Rechnung_Rundungbestanden1 / 10,22 s
154 - Beschaffung_Optimierungbestanden1 / 10,23 s
155 - version_event_reconstructionfehlgeschlagen0 / 10,25 s
156 - Abstimmung_Quorumbestanden1 / 10,25 s
157 - Abstimmung_Quorumbestanden1 / 10,26 s
158 - Lager_Haltbarkeitfehlgeschlagen0 / 10,22 s
159 - budget_dependency_selectionbestanden1 / 10,26 s
160 - budget_dependency_selectionfehlgeschlagen0 / 10,26 s
161 - time_interval_conflictsbestanden1 / 10,25 s
162 - graph_reachability_blocksbestanden1 / 10,25 s
163 - graph_reachability_blocksfehlgeschlagen0 / 10,24 s
164 - Abstimmung_Quorumbestanden1 / 10,29 s
165 - budget_dependency_selectionbestanden1 / 10,23 s
166 - Beschaffung_Optimierungfehlgeschlagen0 / 10,24 s
167 - Buchungen_Korrekturenfehlgeschlagen0 / 10,28 s
168 - Beschaffung_Optimierungfehlgeschlagen0 / 10,22 s
169 - Beschaffung_Optimierungbestanden1 / 10,28 s
170 - budget_dependency_selectionbestanden1 / 10,30 s
171 - Lager_Haltbarkeitbestanden1 / 10,27 s
172 - Rechnung_Rundungfehlgeschlagen0 / 10,23 s
173 - Abstimmung_Quorumbestanden1 / 10,24 s
174 - Beschaffung_Optimierungbestanden1 / 10,23 s
175 - Beschaffung_Optimierungbestanden1 / 10,28 s
176 - version_event_reconstructionbestanden1 / 10,24 s
177 - Beschaffung_Optimierungfehlgeschlagen0 / 10,22 s
178 - Lager_Haltbarkeitfehlgeschlagen0 / 10,25 s
179 - permission_deny_overridebestanden1 / 10,26 s
180 - permission_deny_overridebestanden1 / 10,22 s
181 - version_event_reconstructionfehlgeschlagen0 / 10,30 s
182 - graph_reachability_blocksbestanden1 / 10,23 s
183 - Lager_Haltbarkeitfehlgeschlagen0 / 10,24 s
184 - time_interval_conflictsbestanden1 / 10,30 s
185 - Abstimmung_Quorumbestanden1 / 10,24 s
186 - Rechnung_Rundungfehlgeschlagen0 / 10,33 s
187 - Beschaffung_Optimierungfehlgeschlagen0 / 10,21 s
188 - Buchungen_Korrekturenbestanden1 / 10,27 s
189 - graph_reachability_blocksfehlgeschlagen0 / 10,26 s
190 - Abstimmung_Quorumbestanden1 / 10,22 s
191 - budget_dependency_selectionbestanden1 / 10,28 s
192 - permission_deny_overridebestanden1 / 10,23 s
193 - graph_reachability_blocksbestanden1 / 10,24 s
194 - budget_dependency_selectionbestanden1 / 10,22 s
195 - Lager_Haltbarkeitbestanden1 / 10,24 s
196 - graph_reachability_blocksfehlgeschlagen0 / 10,24 s
197 - graph_reachability_blocksbestanden1 / 10,24 s
198 - Lager_Haltbarkeitfehlgeschlagen0 / 10,25 s
199 - Beschaffung_Optimierungfehlgeschlagen0 / 10,28 s
200 - version_event_reconstructionfehlgeschlagen0 / 10,28 s

Konfiguration

benchmark-konfiguration — run-20260929-100818-c6df4f
# LLM-Benchmark Konfiguration # Modell : Jev-1.13.0 # Engine : api # Run-ID : run-20260929-100818-c6df4f # GPU : Cloud/API: TypeSafe AI (Hardware unbekannt) bench@llm-benchmark:~$ cat benchmark.conf dataset_sha256 d7ffc569be958f5f83d92ceb679b9a4aa4f563bbfad8cf3907ca78a134196066 concurrency 1 retries 0 model_version jev-1.13.0 mean_response_ms 256.17075582617 median_response_ms 247.41527898004 p95_response_ms 324.99050302431 execution_type cloud cloud_provider TypeSafe AI
dataset_sha256d7ffc569be958f5f83d92ceb679b9a4aa4f563bbfad8cf3907ca78a134196066
concurrency1
retries0
first_request_included1
model_versionjev-1.13.0
mean_response_ms256.17075582617
median_response_ms247.41527898004
p95_response_ms324.99050302431
execution_typecloud
cloud_providerTypeSafe AI

Alle Benchmarks dieses Modells Zum Leaderboard

Beigesteuert von

Mario Alka Administrator

@marioalka

Ich bin Unternehmer, Softwareentwickler und KI-Enthusiast. Seit vielen Jahren entwickle ich Unternehmenssoftware und beschäftige mich inzwischen fast täglich mit lokalen LLMs, KI-Agenten und leistungsfähiger KI-Hardware.

Mit LLM-Benchmark.de möchte ich eine Plattform schaffen, auf der Modelle, GPUs und Agenten objektiv und reproduzierbar miteinander verglichen werden.