Mistral AI
Mistral-Small-24B-Instruct-2501
Benchmarkprofil und veröffentlichte Ergebnisse.
Dense
Einordnung im Feld
Bestwerte im Vergleich
Beste Messwerte dieses Modells gegen Minimum, Durchschnitt und Maximum aller veröffentlichten Systeme.
Generation153,1 tok/s
Min 0,1Ø 159,1Max 717,6
Unter dem Durchschnitt · 361 Systeme im Feld
Prefill4.348 tok/s
Min 39Ø 5.819Max 52.503
Unter dem Durchschnitt · 361 Systeme im Feld
Time to First Token1.390 ms
Min 156Ø 18.353Max 354.928
Ueber dem Durchschnitt · 361 Systeme im Feld
Performanceprofil
Durchsatz nach Hardware & Engine
Jede Blase steht für eine GPU, CPU bzw. Engine – die Position zeigt Prompt-Verarbeitung (X) und Ausgabe-Geschwindigkeit (Y), die Blasengröße die Anzahl der Messläufe.
Durchsatz & Latenz
Performancebenchmark
| # | Modell / Hersteller | Messwerte | Parallel | GPU / CPU / RAM | Runtime | ||
|---|---|---|---|---|---|---|---|
| 1 | Mistral-Small-24B-Instruct-2501Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 153,12 tok/s TG Prefill 4.348 · TTFT 7.017 ms | 10× | 2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 2 | Mistral-Small-24B-Instruct-2501Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 86,87 tok/s TG Prefill 3.428 · TTFT 3.916 ms | 5× | 2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAM | llama.cppgodclawQ4_K_M | Details → | |
| 3 | Mistral-Small-24B-Instruct-2501Mistral AI PerformancebenchmarkTimebench 3 - Kombi (Prefill + Generation) | 38,51 tok/s TG Prefill 1.549 · TTFT 1.390 ms | 1× | 2x AMD Radeon RX 7900 XTX i4x Intel(R) Xeon(R) CPU E5-4657L v2 @ 2.40GHz · 504 GB RAM | llama.cppgodclawQ4_K_M | Details → |
Agent- & Chat-Bewertung
Harnessbenchmark
Noch keine Harnessbenchmarks fuer dieses Modell.