Created bymario-alka.dePowered bynoob2claw.detricoma.de
DEEN
Anmelden Registrieren
Beta
Google

gemma-2-2b-it2B

Benchmarkprofil und veröffentlichte Ergebnisse.

Dense2B
Einordnung im Feld

Bestwerte im Vergleich

Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.

AMD Radeon RX 7900 XTXAlle GPUs
Generation323,8 tok/s
Min 0,0Ø 248,0Max 3.484,3
Ueber dem Durchschnitt · 4908 Systeme im Feld
Prefill27.208 tok/s
Min 4Ø 4.922Max 112.346
Ueber dem Durchschnitt · 4890 Systeme im Feld
Time to First Token218 ms
Min 20Ø 31.784Max 535.235
Ueber dem Durchschnitt · 4905 Systeme im Feld
Performanceprofil

Durchsatz nach Hardware & Engine

Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.

GPUnach Grafikkarte

4193152101050,004.9069.81214.717Prefill (tok/s)Generation (tok/s)AMD Radeon RX 7900 XTX - 323,8 tok/s Generation, 11.875 tok/s Prefill, TTFT 1.279 ms (6 Laufe)AMD Radeon RX 7900 XTXCPU-only - 7,9 tok/s Generation, 40 tok/s Prefill, TTFT 249.190 ms (3 Laufe)CPU-only
AMD Radeon RX 7900 XTX 323,8 tok/sCPU-only 7,9 tok/s

CPUnach Prozessor

4193152101050,007.79715.59423.391Prefill (tok/s)Generation (tok/s)Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz - 323,8 tok/s Generation, 4.880 tok/s Prefill, TTFT 1.976 ms (3 Laufe)Intel(R) Xeon(R) CPU ...AMD Ryzen Threadripper PRO 3955WX 16-Cores - 322,9 tok/s Generation, 18.870 tok/s Prefill, TTFT 583 ms (3 Laufe)AMD Ryzen Threadrippe...4 x Cortex-A78C + 4 x Cortex-A55 - 7,9 tok/s Generation, 40 tok/s Prefill, TTFT 249.190 ms (3 Laufe)4 x Cortex-A78C + 4 x...
Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz 323,8 tok/sAMD Ryzen Threadripper PRO 3955WX 16-Cores 322,9 tok/s4 x Cortex-A78C + 4 x Cortex-A55 7,9 tok/s

ENGnach Engine

35634032330729007.65215.30422.956Prefill (tok/s)Generation (tok/s)llama.cpp - 323,8 tok/s Generation, 2.460 tok/s Prefill, TTFT 125.583 ms (6 Laufe)llama.cppvLLM - 322,9 tok/s Generation, 18.870 tok/s Prefill, TTFT 583 ms (3 Laufe)vLLM
llama.cpp 323,8 tok/svLLM 322,9 tok/s
Durchsatz & Latenz

Performancebenchmark

Messwert:
#Modell / HerstellerMesswerteParallelGPU / CPU / RAMRuntime
1gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
323,81 tok/s TG
Prefill 6.071 · TTFT 3.506 ms
10×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
2gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
322,89 tok/s TG
Prefill 27.208 · TTFT 972 ms
10×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
3gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
212,46 tok/s TG
Prefill 5.449 · TTFT 1.783 ms
5×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
4gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
187,26 tok/s TG
Prefill 21.013 · TTFT 558 ms
5×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
5gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
110,95 tok/s TG
Prefill 3.119 · TTFT 639 ms
1×2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAMllama.cppgodclawQ4_K_MDetails →
6gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
37,77 tok/s TG
Prefill 8.388 · TTFT 218 ms
1×2x AMD Radeon RX 7900 XTXAMD Ryzen Threadripper PRO 3955WX 16-Cores · 63 GB RAMvLLMgodclawDetails →
7gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
7,94 tok/s TG
Prefill 52 · TTFT 404.593 ms
10×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
8gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
7,49 tok/s TG
Prefill 35 · TTFT 283.919 ms
5×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
9gemma-2-2b-it2BGoogle PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation)
3,76 tok/s TG
Prefill 31 · TTFT 59.057 ms
1×Keine GPU (CPU-only) i4 x Cortex-A78C + 4 x Cortex-A55 · 15 GB RAMllama.cppopenclaw_cliQ4_K_MDetails →
Agent- & Chat-Bewertung

Harnessbenchmark

Noch keine Harnessbenchmarks fuer dieses Modell.