Enable CPU vision projector for Ultra profile

2026-09-24 05:09:10 +02:00
parent 33c04150e3
commit 6378b50086
11 changed files with 46 additions and 14 deletions
@@ -22,7 +22,7 @@ nicht automatisch ein ungenutzter Rest.
 | `mike-ai-llama-fast` | Qwen3.8-27B `IQ4-MIX`, Qwen-MMProj BF16 | Schnelles Q4-Text-/Vision-Profil mit 76.800 Token Kontext. |
 | `mike-ai-llama-large` | Qwen3.8-27B `IQ4_XS-pure`, Qwen-MMProj BF16 | Q4-Text-/Vision-Profil mit 192.000 Token Kontext und Verteilung auf beide GPUs. |
 | `mike-ai-llama-medium` | Qwen3.8-27B `IQ4_XS-pure`, Qwen-MMProj BF16 | Standard-Q4-Text-/Vision-Profil mit gemeinsamem 160.000-Token-KV-Pool, aktuell zwei Slots und Verteilung auf beide GPUs. |
-| `mike-ai-llama-ultra` | Qwen3.8-27B `IQ4_XS-pure`, ohne Vision-Projektor | Maximales Langkontextprofil mit 262.144 Token Kontext und Verteilung auf beide GPUs. |
+| `mike-ai-llama-ultra` | Qwen3.8-27B `IQ4_XS-pure`, Qwen-MMProj BF16 auf CPU | Text-/Vision-Profil mit 262.144 Token Kontext und Verteilung des Textmodells auf beide GPUs. |
 | `mike-ai-llama-uncensored` | Qwen3.8-27B Abliterated `Q4_K_M`, eigener MMProj F16 | Spezialprofil mit 80.000 Token Kontext und gelockerten Modellgrenzen. |
 | `mike-ai-ltx2-studio` | LTX-Video-Backend | GPU-Worker für lokale Videogenerierung; beim Abgleich gestoppt. |
 | `mike-ai-mcp-athena-operator` | kein Modell | Stellt Hermes begrenzte Werkzeuge zum Prüfen, Ändern, Testen, Sichern und Versionieren von Athena bereit. |
@@ -1,5 +1,10 @@
 # Geprüfter Live-Stand auf Athena

+Nachtrag vom 24. September 2026: Ultra verarbeitet nun Bilder mit einem
+CPU-seitigen BF16-Vision-Projektor. Der Stand und der Funktionstest sind in
+[Ultra-Vision mit CPU-Projektor](ULTRA_CPU_VISION_20260924.md) dokumentiert.
+Die folgende Tabelle bildet weiterhin den historischen Stand vom 21. September ab.
+
 Stand: **21. September 2026**. Quelle: lesender SSH-Abgleich von Docker,
 Compose-Dateien, Git-Inhalten, Images, Health-Endpunkten und Backup-Timern.
 Containerzustände sind Momentaufnahmen; der Controller darf Profile danach
@@ -9,7 +9,7 @@ Standardprofil: **medium** · globales Ausgabelimit: **8192 Token**
 | fast | `qwen-fast` | 76,800 | 1 | Qwen3.8-27B IQ4 Mix | 5080 only | ja | 2 |
 | medium | `qwen-medium` | 160,000 | 1 | Qwen3.8-27B IQ4 XS Pure | 85:15 | ja | 2 |
 | large | `qwen-large` | 192,000 | 1 | Qwen3.8-27B IQ4 XS Pure | 86:14 | ja | 2 |
-| ultra | `qwen-ultra` | 262,144 | 1 | Qwen3.8-27B IQ4 XS Pure | 80:20 | nein | 2 |
+| ultra | `qwen-ultra` | 262,144 | 1 | Qwen3.8-27B IQ4 XS Pure | 80:20 | ja | 2 |
 | uncensored | `qwen-uncensored` | 80,000 | 1 | Qwen3.8-27B Abliterated Q4_K_M | 90:10 | ja | 2 |

 ## Zweck
@@ -17,5 +17,5 @@ Standardprofil: **medium** · globales Ausgabelimit: **8192 Token**
 - **fast**: Schnelles Profil für kurze Chats und zügige Werkzeugaufgaben.
 - **medium**: Ausgewogenes Standardprofil für Alltag und lange agentische Aufgaben.
 - **large**: Großes Profil für umfangreiche Dokumente und lange technische Arbeiten.
- **ultra**: Maximaler Textkontext; bewusst ohne Vision-Projektor.
+- **ultra**: Maximaler Kontext mit Vision-Projektor auf der CPU.
 - **uncensored**: Weniger restriktives Spezialprofil; Werkzeugrechte bleiben unverändert.
@@ -0,0 +1,23 @@
+# Ultra-Vision mit CPU-Projektor
+
+Stand: 24. September 2026. Ultra verwendet weiterhin Qwen3.8-27B IQ4_XS Pure
+mit 262.144 Token Kontext. Der BF16-Vision-Projektor wird mit `--mmproj`
+geladen und durch `--no-mmproj-offload` auf der CPU gehalten. So kann Ultra
+Bilder verarbeiten, ohne den knapp bemessenen GPU-Speicher des 256K-Profils
+zusätzlich mit dem Projektor zu belegen. Router und Profilmatrix melden Ultra
+als vision-fähig.
+
+Der frühere text-only-Modus war die Ursache dafür, dass der Router Bildanfragen
+an `qwen-ultra` abwies. Ein Test über den Router nach dem Deployment lieferte
+HTTP 200 für ein einzelnes synthetisches Farbbild (`Red`) und für fünf
+synthetische Bilder (`5`). Der Ultra-Start lud den multimodalen Projektor.
+Gemessen wurden 11,47 Sekunden bis zur Betriebsbereitschaft und 1,66 bzw.
+0,9 Sekunden für die beiden kleinen Testanfragen. Große Screenshots und lange
+Kontexte wurden damit nicht vermessen; deren Laufzeit kann deutlich höher
+sein. Nach dem Test wurde Medium wieder aktiviert, Ultra ist gestoppt.
+
+Vor der Änderung wurden die drei produktiven Dateien auf Athena unter
+`/var/tmp/ultra-vision-cpu-20260924/` gesichert. Ein Rückbau muss Compose,
+Router-Profilregister und Profilmatrix gemeinsam auf den vorigen Stand setzen
+und den Router neu laden. Das Verzeichnis liegt nur temporär auf dem Host;
+die dauerhafte Versionierung erfolgt im Git-Repository.