47 lines
2.6 KiB
Markdown
47 lines
2.6 KiB
Markdown
# Qwen3.8-27B Fast-Profil-Test vom 20. August 2026
|
||
|
||
Hardware: RTX 5080 mit 16 GB VRAM. Modell: `Qwen3.8-27B-IQ4-MIX.gguf`.
|
||
|
||
## Ergebnis
|
||
|
||
Gewinner ist das Profil mit 76.800 Tokens Kontext, MTP2, Haupt-KV-Cache in Q4_0,
|
||
MTP-Draft-KV in F16 und einem nicht auf die GPU ausgelagerten BF16-Vision-Projektor.
|
||
|
||
| Profil | Kontext | Kurztests TG | 30K belegt | 66K belegt | Vision | Stabilität |
|
||
| --- | ---: | --- | ---: | ---: | --- | --- |
|
||
| bisher: Draft-Q4 | 73.728 | 85,6 / 93,6 / 98,3 t/s | nicht gemessen | nicht gemessen | nein | stabil |
|
||
| Draft-F16 | 73.728 | 92,7 / 100,5 / 103,4 t/s | nicht gemessen | nicht gemessen | nein | stabil |
|
||
| Gewinner | 76.800 | 94,3 / 103,3 / 114,7 t/s | 91,5 t/s | 72,0 t/s | ja, CPU-Projektor | stabil |
|
||
| BeeLlama KVarN4/3 | 98.304 | 82,9 / 98,2 / 90,2 t/s | nicht erreicht | nicht erreicht | nein | CUDA-OOM beim großen Prefill |
|
||
| BeeLlama KVarN4/3 | 90.112 | Kurztest nicht wiederholt | nicht erreicht | nicht erreicht | nein | CUDA-OOM beim großen Prefill |
|
||
|
||
Die realistischen drei Kurztests waren deutsche Analyse, Python-Code und strukturiertes JSON
|
||
mit jeweils bis zu 1.200 Ausgabetokens. Große Kontexttests verwendeten ausschließlich
|
||
synthetischen Fülltext.
|
||
|
||
## Wichtige Erkenntnisse
|
||
|
||
- Der F16-Draft-Cache benötigt bei diesem einlagigen MTP weniger VRAM als der quantisierte
|
||
Q4-Draft-Cache. Bei 73.728 Tokens stieg der freie VRAM von ungefähr 64 auf 168 MiB.
|
||
- 81.920 Tokens waren mit MTP nicht startfähig. 76.800 Tokens starteten und bestanden einen
|
||
Prefill mit ungefähr 66.000 synthetischen Tokens.
|
||
- Nahe dem vollen Kontext sinkt die Ausgabe trotz unverändertem Profil unter 80 t/s. Bei
|
||
ungefähr 30.000 belegten Tokens wurden noch 91,5 t/s erreicht, bei etwa 66.000 Tokens
|
||
72,0 t/s. Das ist der zunehmende Attention-Aufwand, kein CPU-Offload.
|
||
- Der 931-MB-BF16-Vision-Projektor bleibt mittels `--no-mmproj-offload` im System-RAM.
|
||
Dadurch bleibt der VRAM-Verbrauch des Sprachmodells praktisch unverändert. Das synthetische
|
||
Testbild wurde korrekt erkannt; Bild-Prefill etwa 2,5 Sekunden, Ausgabe etwa 92–94 t/s.
|
||
- KVarN war in kurzen Tests vielversprechend, stürzte aber bei großen Prefills reproduzierbar
|
||
im CUDA-Flash-Attention-Kernel mit OOM ab und ist daher nicht produktionsgeeignet.
|
||
|
||
## Aktives Fast-Profil
|
||
|
||
Siehe `platform/profiles/profile-fast.conf`. Wichtige Parameter:
|
||
|
||
- `--ctx-size 76800`
|
||
- `--cache-type-k q4_0 --cache-type-v q4_0`
|
||
- `--spec-draft-type-k f16 --spec-draft-type-v f16`
|
||
- `--spec-draft-n-max 2`
|
||
- `--mmproj .../mmproj-BF16.gguf --no-mmproj-offload`
|
||
- vollständiger GPU-Offload der Modellgewichte auf `CUDA0`
|