Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
DeepReinforce

Ornith-1.5-35B-A3B35B

Benchmarkprofil und veröffentlichte Ergebnisse.

MoE35B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

NVIDIA RTX A6000Alle GPUs
Generation626,4 tok/s
Min 5,0Ø 249,4Max 1.568,0
Ueber dem Durchschnitt · 1028 Systeme im Feld
Prefill28.681 tok/s
Min 94Ø 8.413Max 55.260
Ueber dem Durchschnitt · 1028 Systeme im Feld
Time to First Token245 ms
Min 117Ø 5.305Max 124.920
Ueber dem Durchschnitt · 1028 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

77159642124670,61.4044.5697.73410.899Prefill (tok/s)Generation (tok/s)NVIDIA RTX A6000 - 626,4 tok/s Generation, 9.235 tok/s Prefill, TTFT 2.559 ms (18 Laufe)NVIDIA RTX A6000AMD Radeon AI PRO R9700 - 215,5 tok/s Generation, 3.068 tok/s Prefill, TTFT 3.329 ms (3 Laufe)AMD Radeon AI PRO R97...
NVIDIA RTX A6000 626,4 tok/sAMD Radeon AI PRO R9700 215,5 tok/s

CPUnach Prozessor

77159642124670,61.4044.5697.73410.899Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 7955WX 16-Cores - 626,4 tok/s Generation, 9.235 tok/s Prefill, TTFT 2.559 ms (18 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 3 3100 4-Core Processor - 215,5 tok/s Generation, 3.068 tok/s Prefill, TTFT 3.329 ms (3 Laufe)AMD Ryzen 3 3100 4-Co...
AMD Ryzen Threadripper PRO 7955WX 16-Cores 626,4 tok/sAMD Ryzen 3 3100 4-Core Processor 215,5 tok/s

ENGnach Engine

6946546155765366867.81114.93722.062Prefill (tok/s)Generation (tok/s)vLLM - 626,4 tok/s Generation, 18.420 tok/s Prefill, TTFT 609 ms (6 Laufe)vLLMllama.cpp - 603,7 tok/s Generation, 4.328 tok/s Prefill, TTFT 3.492 ms (15 Laufe)llama.cpp
vLLM 626,4 tok/sllama.cpp 603,7 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
GPUs
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
626,41 tok/s TG
Prefill 28.681 · TTFT 928 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
2Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
603,66 tok/s TG
Prefill 5.250 · TTFT 7.504 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
3Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
600,91 tok/s TG
Prefill 5.037 · TTFT 7.660 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
4Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
588,56 tok/s TG
Prefill 25.569 · TTFT 1.053 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
5Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
469,63 tok/s TG
Prefill 5.251 · TTFT 8.721 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
6Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
469,10 tok/s TG
Prefill 5.207 · TTFT 8.770 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
7Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
418,21 tok/s TG
Prefill 21.951 · TTFT 535 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
8Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
391,05 tok/s TG
Prefill 19.044 · TTFT 619 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
9Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
259,04 tok/s TG
Prefill 5.008 · TTFT 1.926 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
10Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
256,43 tok/s TG
Prefill 4.992 · TTFT 1.933 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
11Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
215,46 tok/s TG
Prefill 3.907 · TTFT 5.778 ms
10×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
12Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
210,69 tok/s TG
Prefill 5.070 · TTFT 1.901 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
13Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
209,15 tok/s TG
Prefill 5.053 · TTFT 1.909 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
14Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
166,21 tok/s TG
Prefill 2.966 · TTFT 3.382 ms
5×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
15Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
159,36 tok/s TG
Prefill 3.711 · TTFT 519 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
16Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
159,15 tok/s TG
Prefill 3.734 · TTFT 517 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
17Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
152,55 tok/s TG
Prefill 8.176 · TTFT 245 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
18Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
139,18 tok/s TG
Prefill 7.100 · TTFT 278 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMvLLMgodclawFP8Details →
19Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
125,55 tok/s TG
Prefill 3.700 · TTFT 521 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
20Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
125,54 tok/s TG
Prefill 3.698 · TTFT 522 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
21Ornith-1.5-35B-A3B35BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
78,10 tok/s TG
Prefill 2.330 · TTFT 828 ms
1×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.