Document max-VRAM IQ3 speed tests

2026-09-08 14:14:46 +02:00
parent 3e3fbbe9bd
commit 30fdbd4b7a
1 changed files with 33 additions and 0 deletions
@@ -108,3 +108,36 @@ Platzierungsvorteil gilt nicht automatisch für die größeren Profile.
 Die vollständigen JSON-Ergebnisse liegen auf Athena unter
 `/data/model-benchmarks/gsq-rco-iq3s-ab-v2-20260908/`.
 ## Nachtest mit maximaler RTX-5080-Belegung am 08.09.2026
 Der vorige Vergleich übernahm absichtlich die produktiven Q4-Tensor-Splits.
 Dadurch nutzte IQ3_S seinen geringeren Platzbedarf nicht aus. In einem weiteren
 reinen Geschwindigkeitstest wurde deshalb pro Profil der größtmögliche unter
 echter Last stabile Anteil auf der RTX 5080 gesucht. TTS blieb auf der RTX 3060
 geladen. Ein Split galt erst dann als stabil, wenn Modellstart, kurzer Test und
 ein Prompt mit rund 70 Prozent des Kontextfensters vollständig durchliefen.
 | Profil | stabiler IQ3_S-Split 5080:3060 | kurzer Prefill vs. Q4 | Decode vs. Q4 | Lang-Prefill vs. Q4 | Lang-Decode vs. Q4 |
 |---|---:|---:|---:|---:|---:|
 | Medium 160K | 96:4 | +1,1 % | -8,2 % | +2,9 % | -2,8 % |
 | Large 192K | 96:4 | +0,8 % | -8,3 % | +1,9 % | -2,1 % |
 | Ultra 262K | 88:12 | -20,1 % | -4,5 % | -12,4 % | +3,2 % |
 Medium lief mit 96:4 stabil. 98:2 ließ sich zwar laden, stürzte jedoch beim
 ersten langen Prompt ab; 99:1 scheiterte bereits beim Laden. Large lief mit
 96:4 stabil, während 97:3 beim Laden des MTP-KV-Caches keinen ausreichenden
 VRAM mehr hatte. Ultra lief mit 88:12 stabil. 92:8 und 90:10 ließen sich laden,
 stürzten aber beim langen Prompt ab; 94:6 scheiterte bereits an den benötigten
 Compute-Puffern. Die scheinbar nicht streng monotone Belegung entsteht durch
 die diskrete Verteilung ganzer Tensoren beziehungsweise Layer und zusätzliche
 KV-, MTP- und Compute-Puffer.
 Alle drei stabilen Grenzläufe fanden erneut sämtliche drei Nadeln. Das stärkere
 Ausreizen der RTX 5080 macht IQ3_S bei Medium und Large im Prefill knapp
 schneller, beseitigt den Decode-Nachteil aber nicht. Bei Ultra steht einem
 kleinen Vorteil von 3,2 Prozent im langen Decode ein deutlicher
 Prompt-Verarbeitungsverlust gegenüber. Auch nach optimaler Platzierung ergibt
 sich daher kein Geschwindigkeitsgrund, die produktiven Q4-Profile zu ersetzen.
 Die optimierten JSON-Ergebnisse liegen im selben Benchmark-Verzeichnis und
 tragen das Suffix `opt96-4` beziehungsweise `opt88-12`.