Enable CPU vision projector for Ultra profile
This commit is contained in:
1 parent
33c04150e3
commit
6378b50086
11 files changed
+46
-14
No files matched your search
@@ -0,0 +1,23 @@
|
||||
# Ultra-Vision mit CPU-Projektor
|
||||
|
||||
Stand: 24. September 2026. Ultra verwendet weiterhin Qwen3.8-27B IQ4_XS Pure
|
||||
mit 262.144 Token Kontext. Der BF16-Vision-Projektor wird mit `--mmproj`
|
||||
geladen und durch `--no-mmproj-offload` auf der CPU gehalten. So kann Ultra
|
||||
Bilder verarbeiten, ohne den knapp bemessenen GPU-Speicher des 256K-Profils
|
||||
zusätzlich mit dem Projektor zu belegen. Router und Profilmatrix melden Ultra
|
||||
als vision-fähig.
|
||||
|
||||
Der frühere text-only-Modus war die Ursache dafür, dass der Router Bildanfragen
|
||||
an `qwen-ultra` abwies. Ein Test über den Router nach dem Deployment lieferte
|
||||
HTTP 200 für ein einzelnes synthetisches Farbbild (`Red`) und für fünf
|
||||
synthetische Bilder (`5`). Der Ultra-Start lud den multimodalen Projektor.
|
||||
Gemessen wurden 11,47 Sekunden bis zur Betriebsbereitschaft und 1,66 bzw.
|
||||
0,9 Sekunden für die beiden kleinen Testanfragen. Große Screenshots und lange
|
||||
Kontexte wurden damit nicht vermessen; deren Laufzeit kann deutlich höher
|
||||
sein. Nach dem Test wurde Medium wieder aktiviert, Ultra ist gestoppt.
|
||||
|
||||
Vor der Änderung wurden die drei produktiven Dateien auf Athena unter
|
||||
`/var/tmp/ultra-vision-cpu-20260924/` gesichert. Ein Rückbau muss Compose,
|
||||
Router-Profilregister und Profilmatrix gemeinsam auf den vorigen Stand setzen
|
||||
und den Router neu laden. Das Verzeichnis liegt nur temporär auf dem Host;
|
||||
die dauerhafte Versionierung erfolgt im Git-Repository.
|
||||
Reference in new issue
Block a user