diff --git a/ATHENA.md b/ATHENA.md index 44e0ace..682a42d 100644 --- a/ATHENA.md +++ b/ATHENA.md @@ -13,6 +13,7 @@ Sie betreibt: - FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung, - XTTS und Piper für Sprache, - das Athena-Dashboard, +- Portainer CE als optionale Ansicht auf die laufenden Docker-Container, - WireGuard-Gateway und Datenbackup, - den hostgebundenen Athena-Operator. @@ -29,6 +30,12 @@ werden keine zweiten Instanzen dieser Dienste angelegt. | `/data/docker-backups` | automatische Athena-Backups | | `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git | +Portainer läuft als separater, optionaler Verwaltungscontainer +`mike-ai-portainer`, teilt den Netzwerk-Namespace des WireGuard-Gateways und +ist unter `https://192.168.1.212:9443` erreichbar. Seine Einstellungen liegen +im Docker-Volume `portainer_data`. Portainer beobachtet beziehungsweise +verwaltet Docker, ist aber keine Abhängigkeit des Inferenz-Stacks. + ## Standardbefehle ```bash diff --git a/README.md b/README.md index 1cc6a8f..eb34bf5 100644 --- a/README.md +++ b/README.md @@ -13,6 +13,7 @@ Bild- und Sprachausgabe. **Hermes und die Fach-MCPs laufen auf Unraid.** - FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080 - XTTS auf der RTX 3060 mit Piper als CPU-Fallback - Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099 +- Portainer CE als optionale Container-Ansicht auf Port 9443 - WireGuard-Gateway, Datenbackup und Athena-Operator - keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz @@ -58,10 +59,36 @@ versionierten Modellartefakte und startet ausschließlich den Athena-Kern. sudo ./smoke-test.sh ``` +### Ein oder zwei Modell-Slots + +Produktiv laufen alle Profile mit einem Slot. Damit erhält ein einzelner Chat +den vollständigen Profilkontext und die bewährte Ausgabegeschwindigkeit. Die +Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`: + +```bash +MEDIUM_PARALLEL_SLOTS=1 +``` + +Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen +und ausschließlich das aktuell betroffene Profil neu zu erstellen: + +```bash +sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env +cd /opt/mike-ai/stack +docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium +``` + +Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und +`MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt. +Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei +gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der +Standard, bis Hermes' Sitzungsfehler behoben ist. + ## Endpunkte - Router: `http://192.168.1.212:8081/v1` - Athena-Dashboard: `http://192.168.1.212:8099` +- Portainer: `https://192.168.1.212:9443` - Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119` Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar. diff --git a/compose.yaml b/compose.yaml index 3862a45..09ea0d5 100644 --- a/compose.yaml +++ b/compose.yaml @@ -251,7 +251,7 @@ services: - --ubatch-size - "${MEDIUM_UBATCH_SIZE:-128}" - --parallel - - "${MEDIUM_PARALLEL_SLOTS:-2}" + - "${MEDIUM_PARALLEL_SLOTS:-1}" - --kv-unified - --jinja - --reasoning diff --git a/docs/ARCHITECTURE.md b/docs/ARCHITECTURE.md index b809bde..77f5e22 100644 --- a/docs/ARCHITECTURE.md +++ b/docs/ARCHITECTURE.md @@ -19,6 +19,7 @@ flowchart LR W[WireGuard-Gateway
Athena] --- R W --- B[Athena Dashboard :8099] + W --- PRT[Portainer :9443
optionale Docker-Ansicht] W --- O[Athena Operator] K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai] ``` diff --git a/docs/RECOVERY.md b/docs/RECOVERY.md index 6e2a760..6fc4c01 100644 --- a/docs/RECOVERY.md +++ b/docs/RECOVERY.md @@ -15,6 +15,11 @@ Sie bleiben auf der Daten-SSD oder werden anhand der gepinnten Angaben in `config/install.env.example` erneut geladen. Die Dashboard-Historie liegt dauerhaft unter `/data/llama-dashboard`. +Der optionale Portainer-Container gehört nicht zum Athena-Kern. Seine lokale +Konfiguration liegt im Docker-Volume `portainer_data`; ohne dessen Sicherung +kann Portainer jederzeit neu angelegt und einmalig eingerichtet werden, ohne +Router, Modelle oder Dashboard-Daten zu verlieren. + ### Neuaufbau 1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen.