Merge remote-tracking branch 'origin/main' into codex/cache24-sync

# Conflicts:
#	.env.example
#	ATHENA.md
#	README.md
#	compose.yaml
#	config/install.env.example
#	docs/ARCHITECTURE.md
#	docs/RECOVERY.md
#	router/ai_profile_router.py
This commit is contained in:
Mikei386
2026-08-31 21:17:18 +02:00
5 changed files with 41 additions and 1 deletions
+7
View File
@@ -13,6 +13,7 @@ Sie betreibt:
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung, - FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung,
- XTTS und Piper für Sprache, - XTTS und Piper für Sprache,
- das Athena-Dashboard, - das Athena-Dashboard,
- Portainer CE als optionale Ansicht auf die laufenden Docker-Container,
- WireGuard-Gateway und Datenbackup, - WireGuard-Gateway und Datenbackup,
- den hostgebundenen Athena-Operator. - den hostgebundenen Athena-Operator.
@@ -29,6 +30,12 @@ werden keine zweiten Instanzen dieser Dienste angelegt.
| `/data/docker-backups` | automatische Athena-Backups | | `/data/docker-backups` | automatische Athena-Backups |
| `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git | | `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git |
Portainer läuft als separater, optionaler Verwaltungscontainer
`mike-ai-portainer`, teilt den Netzwerk-Namespace des WireGuard-Gateways und
ist unter `https://192.168.1.212:9443` erreichbar. Seine Einstellungen liegen
im Docker-Volume `portainer_data`. Portainer beobachtet beziehungsweise
verwaltet Docker, ist aber keine Abhängigkeit des Inferenz-Stacks.
## Standardbefehle ## Standardbefehle
```bash ```bash
+27
View File
@@ -13,6 +13,7 @@ Bild- und Sprachausgabe. **Hermes und die Fach-MCPs laufen auf Unraid.**
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080 - FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080
- XTTS auf der RTX 3060 mit Piper als CPU-Fallback - XTTS auf der RTX 3060 mit Piper als CPU-Fallback
- Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099 - Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099
- Portainer CE als optionale Container-Ansicht auf Port 9443
- WireGuard-Gateway, Datenbackup und Athena-Operator - WireGuard-Gateway, Datenbackup und Athena-Operator
- keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz - keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz
@@ -58,10 +59,36 @@ versionierten Modellartefakte und startet ausschließlich den Athena-Kern.
sudo ./smoke-test.sh sudo ./smoke-test.sh
``` ```
### Ein oder zwei Modell-Slots
Produktiv laufen alle Profile mit einem Slot. Damit erhält ein einzelner Chat
den vollständigen Profilkontext und die bewährte Ausgabegeschwindigkeit. Die
Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`:
```bash
MEDIUM_PARALLEL_SLOTS=1
```
Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen
und ausschließlich das aktuell betroffene Profil neu zu erstellen:
```bash
sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env
cd /opt/mike-ai/stack
docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium
```
Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und
`MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt.
Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei
gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der
Standard, bis Hermes' Sitzungsfehler behoben ist.
## Endpunkte ## Endpunkte
- Router: `http://192.168.1.212:8081/v1` - Router: `http://192.168.1.212:8081/v1`
- Athena-Dashboard: `http://192.168.1.212:8099` - Athena-Dashboard: `http://192.168.1.212:8099`
- Portainer: `https://192.168.1.212:9443`
- Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119` - Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119`
Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar. Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar.
+1 -1
View File
@@ -251,7 +251,7 @@ services:
- --ubatch-size - --ubatch-size
- "${MEDIUM_UBATCH_SIZE:-128}" - "${MEDIUM_UBATCH_SIZE:-128}"
- --parallel - --parallel
- "${MEDIUM_PARALLEL_SLOTS:-2}" - "${MEDIUM_PARALLEL_SLOTS:-1}"
- --kv-unified - --kv-unified
- --jinja - --jinja
- --reasoning - --reasoning
+1
View File
@@ -19,6 +19,7 @@ flowchart LR
W[WireGuard-Gateway<br/>Athena] --- R W[WireGuard-Gateway<br/>Athena] --- R
W --- B[Athena Dashboard :8099] W --- B[Athena Dashboard :8099]
W --- PRT[Portainer :9443<br/>optionale Docker-Ansicht]
W --- O[Athena Operator] W --- O[Athena Operator]
K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai] K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai]
``` ```
+5
View File
@@ -15,6 +15,11 @@ Sie bleiben auf der Daten-SSD oder werden anhand der gepinnten Angaben in
`config/install.env.example` erneut geladen. Die Dashboard-Historie liegt `config/install.env.example` erneut geladen. Die Dashboard-Historie liegt
dauerhaft unter `/data/llama-dashboard`. dauerhaft unter `/data/llama-dashboard`.
Der optionale Portainer-Container gehört nicht zum Athena-Kern. Seine lokale
Konfiguration liegt im Docker-Volume `portainer_data`; ohne dessen Sicherung
kann Portainer jederzeit neu angelegt und einmalig eingerichtet werden, ohne
Router, Modelle oder Dashboard-Daten zu verlieren.
### Neuaufbau ### Neuaufbau
1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen. 1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen.