Merge remote-tracking branch 'origin/main' into codex/cache24-sync
# Conflicts: # .env.example # ATHENA.md # README.md # compose.yaml # config/install.env.example # docs/ARCHITECTURE.md # docs/RECOVERY.md # router/ai_profile_router.py
This commit is contained in:
@@ -13,6 +13,7 @@ Sie betreibt:
|
||||
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung,
|
||||
- XTTS und Piper für Sprache,
|
||||
- das Athena-Dashboard,
|
||||
- Portainer CE als optionale Ansicht auf die laufenden Docker-Container,
|
||||
- WireGuard-Gateway und Datenbackup,
|
||||
- den hostgebundenen Athena-Operator.
|
||||
|
||||
@@ -29,6 +30,12 @@ werden keine zweiten Instanzen dieser Dienste angelegt.
|
||||
| `/data/docker-backups` | automatische Athena-Backups |
|
||||
| `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git |
|
||||
|
||||
Portainer läuft als separater, optionaler Verwaltungscontainer
|
||||
`mike-ai-portainer`, teilt den Netzwerk-Namespace des WireGuard-Gateways und
|
||||
ist unter `https://192.168.1.212:9443` erreichbar. Seine Einstellungen liegen
|
||||
im Docker-Volume `portainer_data`. Portainer beobachtet beziehungsweise
|
||||
verwaltet Docker, ist aber keine Abhängigkeit des Inferenz-Stacks.
|
||||
|
||||
## Standardbefehle
|
||||
|
||||
```bash
|
||||
|
||||
@@ -13,6 +13,7 @@ Bild- und Sprachausgabe. **Hermes und die Fach-MCPs laufen auf Unraid.**
|
||||
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080
|
||||
- XTTS auf der RTX 3060 mit Piper als CPU-Fallback
|
||||
- Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099
|
||||
- Portainer CE als optionale Container-Ansicht auf Port 9443
|
||||
- WireGuard-Gateway, Datenbackup und Athena-Operator
|
||||
- keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz
|
||||
|
||||
@@ -58,10 +59,36 @@ versionierten Modellartefakte und startet ausschließlich den Athena-Kern.
|
||||
sudo ./smoke-test.sh
|
||||
```
|
||||
|
||||
### Ein oder zwei Modell-Slots
|
||||
|
||||
Produktiv laufen alle Profile mit einem Slot. Damit erhält ein einzelner Chat
|
||||
den vollständigen Profilkontext und die bewährte Ausgabegeschwindigkeit. Die
|
||||
Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`:
|
||||
|
||||
```bash
|
||||
MEDIUM_PARALLEL_SLOTS=1
|
||||
```
|
||||
|
||||
Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen
|
||||
und ausschließlich das aktuell betroffene Profil neu zu erstellen:
|
||||
|
||||
```bash
|
||||
sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env
|
||||
cd /opt/mike-ai/stack
|
||||
docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium
|
||||
```
|
||||
|
||||
Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und
|
||||
`MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt.
|
||||
Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei
|
||||
gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der
|
||||
Standard, bis Hermes' Sitzungsfehler behoben ist.
|
||||
|
||||
## Endpunkte
|
||||
|
||||
- Router: `http://192.168.1.212:8081/v1`
|
||||
- Athena-Dashboard: `http://192.168.1.212:8099`
|
||||
- Portainer: `https://192.168.1.212:9443`
|
||||
- Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119`
|
||||
|
||||
Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar.
|
||||
|
||||
+1
-1
@@ -251,7 +251,7 @@ services:
|
||||
- --ubatch-size
|
||||
- "${MEDIUM_UBATCH_SIZE:-128}"
|
||||
- --parallel
|
||||
- "${MEDIUM_PARALLEL_SLOTS:-2}"
|
||||
- "${MEDIUM_PARALLEL_SLOTS:-1}"
|
||||
- --kv-unified
|
||||
- --jinja
|
||||
- --reasoning
|
||||
|
||||
@@ -19,6 +19,7 @@ flowchart LR
|
||||
|
||||
W[WireGuard-Gateway<br/>Athena] --- R
|
||||
W --- B[Athena Dashboard :8099]
|
||||
W --- PRT[Portainer :9443<br/>optionale Docker-Ansicht]
|
||||
W --- O[Athena Operator]
|
||||
K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai]
|
||||
```
|
||||
|
||||
@@ -15,6 +15,11 @@ Sie bleiben auf der Daten-SSD oder werden anhand der gepinnten Angaben in
|
||||
`config/install.env.example` erneut geladen. Die Dashboard-Historie liegt
|
||||
dauerhaft unter `/data/llama-dashboard`.
|
||||
|
||||
Der optionale Portainer-Container gehört nicht zum Athena-Kern. Seine lokale
|
||||
Konfiguration liegt im Docker-Volume `portainer_data`; ohne dessen Sicherung
|
||||
kann Portainer jederzeit neu angelegt und einmalig eingerichtet werden, ohne
|
||||
Router, Modelle oder Dashboard-Daten zu verlieren.
|
||||
|
||||
### Neuaufbau
|
||||
|
||||
1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen.
|
||||
|
||||
Reference in New Issue
Block a user