michael/AI-Profile-Router
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Document unified Medium slots and dashboard capacity

Browse Source
This commit is contained in:
Mikei386
2026-09-20 18:52:07 +02:00
parent 9af719674b
commit 53320fa6c3
9 changed files with 94 additions and 57 deletions
Download Patch File Download Diff File Expand all files Collapse all files
docs/LIVE_STATE.md
+27 -24
View File
@@ -1,6 +1,6 @@
# Geprüfter Live-Stand auf Athena
Stand: **16. September 2026**. Quelle: lesender SSH-Abgleich von Docker,
Stand: **20. September 2026**. Quelle: lesender SSH-Abgleich von Docker,
Compose-Dateien, Git-Inhalten, Images, Health-Endpunkten und Backup-Timern.
Containerzustände sind Momentaufnahmen; der Controller darf Profile danach
umschalten. Es wurde für diesen Abgleich kein Dienst neu gestartet.
@@ -9,28 +9,30 @@ umschalten. Es wurde für diesen Abgleich kein Dienst neu gestartet.
Athena: Debian 13, RTX 5080 (16 GB) und RTX 3060 (12 GB). Die fünf
Textprofil-Images tragen alle `com.mike-ai.llama-cpp-commit=b29c606`
(llama.cpp 0.4.1). Sie verwenden `--load-mode none`, `--parallel 1` und
`--batch-size 2048`. Die `ubatch-size` wurde pro Profil auf einen getesteten
Wert gesetzt; sie ist **nicht** überall identisch.
(llama.cpp 0.4.1). Sie verwenden `--load-mode none` und `--batch-size 2048`.
Fast, Large, Ultra und Uncensored verwenden einen Slot. Medium läuft seit dem
19. September kontrolliert mit `--parallel 2` und `--kv-unified`. Seine beiden
Slots teilen sich den einzigen 160.000-Token-KV-Pool. Die `ubatch-size` wurde
pro Profil auf einen getesteten Wert gesetzt; sie ist **nicht** überall
identisch.
| Profil | Qwen3.8-27B-Variante | Kontext | Tensor-Split 5080:3060 | Vision-Projektor | MTP Draft | ubatch |
|---|---|---:|---|---|---:|---:|
| Fast | IQ4-MIX | 76.800 | nur 5080 | 3060 | 2 | 64 |
| Medium | IQ4_XS Pure | 160.000 | 85:15 | 3060 | 3 | 512 |
| Large | IQ4_XS Pure | 192.000 | 86:14 | 3060 | 3 | 256 |
| Ultra | IQ4_XS Pure | 262.144 | 80:20 | keiner | 2 | 128 |
| Uncensored | Abliterated Q4_K_M | 80.000 | 90:10 | 3060 | 2 | 256 |
| Profil | Qwen3.8-27B-Variante | Kontext | Slots | Tensor-Split 5080:3060 | Vision-Projektor | MTP Draft | ubatch |
|---|---|---:|---:|---|---|---:|---:|
| Fast | IQ4-MIX | 76.800 | 1 | nur 5080 | 3060 | 2 | 64 |
| Medium | IQ4_XS Pure | 160.000 gemeinsam | 2 | 85:15 | 3060 | 3 | 512 |
| Large | IQ4_XS Pure | 192.000 | 1 | 86:14 | 3060 | 3 | 256 |
| Ultra | IQ4_XS Pure | 262.144 | 1 | 80:20 | keiner | 2 | 128 |
| Uncensored | Abliterated Q4_K_M | 80.000 | 1 | 90:10 | 3060 | 2 | 256 |
Tensor-Splits sind Startparameter, keine gemessenen VRAM-Anteile. Der
Vision-Projektor liegt bei den vier Vision-Profilen auf GPU 1 (3060).
`beta1` steht in der Repository-Matrix, ist aber nicht installiert. Der
Router bietet nur die fünf installierten Profile an. Beim ersten Abgleich
war Medium aktiv und der Router im LLM-Modus; beim späteren Containerabgleich
war `mike-ai-llama-medium` mit Exit-Code 139 beendet. Das Log endet mit
einem CUDA-Stacktrace im Vision-/CLIP-Encoding (`libmtmd`/`libggml-cuda`);
eine eindeutige Ursache wurde nicht ermittelt. Dieser Laufzeitfehler wurde
bei der Dokumentationsarbeit nicht behoben oder durch einen Neustart
verdeckt. Der aktuelle Zustand ist über Dashboard/Controller zu prüfen.
Router bietet nur die fünf installierten Profile an. Beim Abgleich am
20. September lief Medium seit rund 21 Stunden gesund mit zwei Slots; die vier
anderen Textprofile waren planmäßig gestoppt. Dashboard, Router, Controller,
Whisper, TTS und Realtime-Voice waren ebenfalls gesund. Der frühere
Vision-/CLIP-Absturz ist als historischer Befund erhalten, beschreibt aber
nicht mehr den aktuellen Containerzustand.
## Weitere Dienste
@@ -54,17 +56,18 @@ verdeckt. Der aktuelle Zustand ist über Dashboard/Controller zu prüfen.
trotzdem Status, Modelle und vorbereitende Aufgaben anzeigen; eine echte
Konvertierung verlangt den Applio-Modus.
Der vollständige Bestand der **27** angelegten Docker-Container steht im
Der vollständige Bestand der **30** angelegten Docker-Container steht im
[Container-Inventar](CONTAINER_INVENTORY.md). `Created` oder `Exited` bei
Spezialworkern bedeutet nicht automatisch einen zu entfernenden Testrest.
## Git und reproduzierbarer Stand
Der laufende Stack liegt unter `/opt/mike-ai/stack`. Sein Git-HEAD war
`276df0e` und damit älter als der aktuelle Git-Stand; `compose.yaml` und
`services/athena-realtime-voice/` sind im Live-Checkout nicht committed.
**Die geprüften Nutzdaten dieser Dateien stimmen aber bytegenau mit dem
neueren Git-Stand überein.** Ein frischer Clone liefert damit den Quellcode
Der laufende Stack liegt unter `/opt/mike-ai/stack`. Sein Git-HEAD ist weiterhin
`276df0e` und damit älter als Doggo; `compose.yaml`, Dashboard und
`services/athena-realtime-voice/` liegen dort als Live-Änderungen. Die am
20. September geprüften Hashes von Compose, Dashboard, Dashboard-Test und
Voice-Bridge stimmen bytegenau mit diesem veröffentlichten Repository-Stand
überein. Ein frischer Clone liefert damit den Quellcode
und die Compose-Definitionen; er liefert weder lokale Secrets noch
Modellgewichte oder persistente Nutzerdaten. Vor einem Deploy ist die
Live-Konfiguration zu sichern und mit dem Checkout abzugleichen, statt den