Created bymario-alka.dePowered bygodcore.denoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
DeepReinforce

Ornith-1.5-9B9B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense9B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

NVIDIA RTX A6000Alle GPUs
Generation472,2 tok/s
Min 5,0Ø 249,4Max 1.568,0
Ueber dem Durchschnitt · 1028 Systeme im Feld
Prefill4.869 tok/s
Min 94Ø 8.413Max 55.260
Unter dem Durchschnitt · 1028 Systeme im Feld
Time to First Token531 ms
Min 117Ø 5.305Max 124.920
Ueber dem Durchschnitt · 1028 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

57445533521594,73.3153.7864.2584.729Prefill (tok/s)Generation (tok/s)NVIDIA RTX A6000 - 472,2 tok/s Generation, 4.350 tok/s Prefill, TTFT 3.813 ms (12 Laufe)NVIDIA RTX A6000AMD Radeon AI PRO R9700 - 197,0 tok/s Generation, 3.694 tok/s Prefill, TTFT 2.761 ms (3 Laufe)AMD Radeon AI PRO R97...
NVIDIA RTX A6000 472,2 tok/sAMD Radeon AI PRO R9700 197,0 tok/s

CPUnach Prozessor

57445533521594,73.3153.7864.2584.729Prefill (tok/s)Generation (tok/s)AMD Ryzen Threadripper PRO 7955WX 16-Cores - 472,2 tok/s Generation, 4.350 tok/s Prefill, TTFT 3.813 ms (12 Laufe)AMD Ryzen Threadrippe...AMD Ryzen 3 3100 4-Core Processor - 197,0 tok/s Generation, 3.694 tok/s Prefill, TTFT 2.761 ms (3 Laufe)AMD Ryzen 3 3100 4-Co...
AMD Ryzen Threadripper PRO 7955WX 16-Cores 472,2 tok/sAMD Ryzen 3 3100 4-Core Processor 197,0 tok/s

ENGnach Engine

5194964724494253.9664.1344.3034.472Prefill (tok/s)Generation (tok/s)llama.cpp - 472,2 tok/s Generation, 4.219 tok/s Prefill, TTFT 3.603 ms (15 Laufe)llama.cpp
llama.cpp 472,2 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
GPUs
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
472,21 tok/s TG
Prefill 4.673 · TTFT 9.026 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
2Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
447,71 tok/s TG
Prefill 4.687 · TTFT 8.811 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
3Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
426,65 tok/s TG
Prefill 4.869 · TTFT 8.761 ms
10×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
4Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
424,22 tok/s TG
Prefill 4.823 · TTFT 8.833 ms
10×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
5Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
239,64 tok/s TG
Prefill 4.683 · TTFT 2.060 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
6Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
238,93 tok/s TG
Prefill 4.648 · TTFT 2.074 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
7Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
196,95 tok/s TG
Prefill 4.698 · TTFT 4.796 ms
10×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ8_0Details →
8Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
178,76 tok/s TG
Prefill 4.812 · TTFT 2.004 ms
5×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
9Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
178,14 tok/s TG
Prefill 4.756 · TTFT 2.026 ms
5×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
10Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
139,16 tok/s TG
Prefill 3.596 · TTFT 2.796 ms
5×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ8_0Details →
11Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
106,02 tok/s TG
Prefill 3.586 · TTFT 538 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
12Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
105,97 tok/s TG
Prefill 3.502 · TTFT 550 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ4_K_MDetails →
13Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
70,78 tok/s TG
Prefill 3.529 · TTFT 546 ms
1×2x NVIDIA RTX A6000AMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
14Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
70,63 tok/s TG
Prefill 3.632 · TTFT 531 ms
1×2x NVIDIA RTX A6000 iAMD Ryzen Threadripper PRO 7955WX 16-Cores · 184 GB RAMllama.cppgodclawQ8_0Details →
15Ornith-1.5-9B9BDeepReinforce PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
50,42 tok/s TG
Prefill 2.788 · TTFT 691 ms
1×AMD Radeon AI PRO R9700AMD Ryzen 3 3100 4-Core Processor · 31 GB RAMllama.cppopenclaw_cliQ8_0Details →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.