24 lines
1.4 KiB
Markdown
24 lines
1.4 KiB
Markdown
# Ultra-Vision mit CPU-Projektor
|
|
|
|
Stand: 24. September 2026. Ultra verwendet weiterhin Qwen3.8-27B IQ4_XS Pure
|
|
mit 262.144 Token Kontext. Der BF16-Vision-Projektor wird mit `--mmproj`
|
|
geladen und durch `--no-mmproj-offload` auf der CPU gehalten. So kann Ultra
|
|
Bilder verarbeiten, ohne den knapp bemessenen GPU-Speicher des 256K-Profils
|
|
zusätzlich mit dem Projektor zu belegen. Router und Profilmatrix melden Ultra
|
|
als vision-fähig.
|
|
|
|
Der frühere text-only-Modus war die Ursache dafür, dass der Router Bildanfragen
|
|
an `qwen-ultra` abwies. Ein Test über den Router nach dem Deployment lieferte
|
|
HTTP 200 für ein einzelnes synthetisches Farbbild (`Red`) und für fünf
|
|
synthetische Bilder (`5`). Der Ultra-Start lud den multimodalen Projektor.
|
|
Gemessen wurden 11,47 Sekunden bis zur Betriebsbereitschaft und 1,66 bzw.
|
|
0,9 Sekunden für die beiden kleinen Testanfragen. Große Screenshots und lange
|
|
Kontexte wurden damit nicht vermessen; deren Laufzeit kann deutlich höher
|
|
sein. Nach dem Test wurde Medium wieder aktiviert, Ultra ist gestoppt.
|
|
|
|
Vor der Änderung wurden die drei produktiven Dateien auf Athena unter
|
|
`/var/tmp/ultra-vision-cpu-20260924/` gesichert. Ein Rückbau muss Compose,
|
|
Router-Profilregister und Profilmatrix gemeinsam auf den vorigen Stand setzen
|
|
und den Router neu laden. Das Verzeichnis liegt nur temporär auf dem Host;
|
|
die dauerhafte Versionierung erfolgt im Git-Repository.
|