Merge remote-tracking branch 'origin/main' into codex/cache24-sync
# Conflicts: # .env.example # ATHENA.md # README.md # compose.yaml # config/install.env.example # docs/ARCHITECTURE.md # docs/RECOVERY.md # router/ai_profile_router.py
This commit is contained in:
@@ -13,6 +13,7 @@ Sie betreibt:
|
|||||||
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung,
|
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung,
|
||||||
- XTTS und Piper für Sprache,
|
- XTTS und Piper für Sprache,
|
||||||
- das Athena-Dashboard,
|
- das Athena-Dashboard,
|
||||||
|
- Portainer CE als optionale Ansicht auf die laufenden Docker-Container,
|
||||||
- WireGuard-Gateway und Datenbackup,
|
- WireGuard-Gateway und Datenbackup,
|
||||||
- den hostgebundenen Athena-Operator.
|
- den hostgebundenen Athena-Operator.
|
||||||
|
|
||||||
@@ -29,6 +30,12 @@ werden keine zweiten Instanzen dieser Dienste angelegt.
|
|||||||
| `/data/docker-backups` | automatische Athena-Backups |
|
| `/data/docker-backups` | automatische Athena-Backups |
|
||||||
| `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git |
|
| `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git |
|
||||||
|
|
||||||
|
Portainer läuft als separater, optionaler Verwaltungscontainer
|
||||||
|
`mike-ai-portainer`, teilt den Netzwerk-Namespace des WireGuard-Gateways und
|
||||||
|
ist unter `https://192.168.1.212:9443` erreichbar. Seine Einstellungen liegen
|
||||||
|
im Docker-Volume `portainer_data`. Portainer beobachtet beziehungsweise
|
||||||
|
verwaltet Docker, ist aber keine Abhängigkeit des Inferenz-Stacks.
|
||||||
|
|
||||||
## Standardbefehle
|
## Standardbefehle
|
||||||
|
|
||||||
```bash
|
```bash
|
||||||
|
|||||||
@@ -13,6 +13,7 @@ Bild- und Sprachausgabe. **Hermes und die Fach-MCPs laufen auf Unraid.**
|
|||||||
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080
|
- FLUX.2-klein-4B für Textbilder und Referenzbild-Bearbeitung auf der RTX 5080
|
||||||
- XTTS auf der RTX 3060 mit Piper als CPU-Fallback
|
- XTTS auf der RTX 3060 mit Piper als CPU-Fallback
|
||||||
- Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099
|
- Live-Dashboard mit 21 Tagen Detailhistorie auf Port 8099
|
||||||
|
- Portainer CE als optionale Container-Ansicht auf Port 9443
|
||||||
- WireGuard-Gateway, Datenbackup und Athena-Operator
|
- WireGuard-Gateway, Datenbackup und Athena-Operator
|
||||||
- keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz
|
- keine produktive Hermes-, OpenWebUI- oder portable Fach-MCP-Instanz
|
||||||
|
|
||||||
@@ -58,10 +59,36 @@ versionierten Modellartefakte und startet ausschließlich den Athena-Kern.
|
|||||||
sudo ./smoke-test.sh
|
sudo ./smoke-test.sh
|
||||||
```
|
```
|
||||||
|
|
||||||
|
### Ein oder zwei Modell-Slots
|
||||||
|
|
||||||
|
Produktiv laufen alle Profile mit einem Slot. Damit erhält ein einzelner Chat
|
||||||
|
den vollständigen Profilkontext und die bewährte Ausgabegeschwindigkeit. Die
|
||||||
|
Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
MEDIUM_PARALLEL_SLOTS=1
|
||||||
|
```
|
||||||
|
|
||||||
|
Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen
|
||||||
|
und ausschließlich das aktuell betroffene Profil neu zu erstellen:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env
|
||||||
|
cd /opt/mike-ai/stack
|
||||||
|
docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium
|
||||||
|
```
|
||||||
|
|
||||||
|
Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und
|
||||||
|
`MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt.
|
||||||
|
Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei
|
||||||
|
gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der
|
||||||
|
Standard, bis Hermes' Sitzungsfehler behoben ist.
|
||||||
|
|
||||||
## Endpunkte
|
## Endpunkte
|
||||||
|
|
||||||
- Router: `http://192.168.1.212:8081/v1`
|
- Router: `http://192.168.1.212:8081/v1`
|
||||||
- Athena-Dashboard: `http://192.168.1.212:8099`
|
- Athena-Dashboard: `http://192.168.1.212:8099`
|
||||||
|
- Portainer: `https://192.168.1.212:9443`
|
||||||
- Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119`
|
- Hermes-Dashboard auf Unraid: `http://192.168.1.2:9119`
|
||||||
|
|
||||||
Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar.
|
Die Adressen sind nur über die vorgesehenen privaten Netze erreichbar.
|
||||||
|
|||||||
+1
-1
@@ -251,7 +251,7 @@ services:
|
|||||||
- --ubatch-size
|
- --ubatch-size
|
||||||
- "${MEDIUM_UBATCH_SIZE:-128}"
|
- "${MEDIUM_UBATCH_SIZE:-128}"
|
||||||
- --parallel
|
- --parallel
|
||||||
- "${MEDIUM_PARALLEL_SLOTS:-2}"
|
- "${MEDIUM_PARALLEL_SLOTS:-1}"
|
||||||
- --kv-unified
|
- --kv-unified
|
||||||
- --jinja
|
- --jinja
|
||||||
- --reasoning
|
- --reasoning
|
||||||
|
|||||||
@@ -19,6 +19,7 @@ flowchart LR
|
|||||||
|
|
||||||
W[WireGuard-Gateway<br/>Athena] --- R
|
W[WireGuard-Gateway<br/>Athena] --- R
|
||||||
W --- B[Athena Dashboard :8099]
|
W --- B[Athena Dashboard :8099]
|
||||||
|
W --- PRT[Portainer :9443<br/>optionale Docker-Ansicht]
|
||||||
W --- O[Athena Operator]
|
W --- O[Athena Operator]
|
||||||
K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai]
|
K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai]
|
||||||
```
|
```
|
||||||
|
|||||||
@@ -15,6 +15,11 @@ Sie bleiben auf der Daten-SSD oder werden anhand der gepinnten Angaben in
|
|||||||
`config/install.env.example` erneut geladen. Die Dashboard-Historie liegt
|
`config/install.env.example` erneut geladen. Die Dashboard-Historie liegt
|
||||||
dauerhaft unter `/data/llama-dashboard`.
|
dauerhaft unter `/data/llama-dashboard`.
|
||||||
|
|
||||||
|
Der optionale Portainer-Container gehört nicht zum Athena-Kern. Seine lokale
|
||||||
|
Konfiguration liegt im Docker-Volume `portainer_data`; ohne dessen Sicherung
|
||||||
|
kann Portainer jederzeit neu angelegt und einmalig eingerichtet werden, ohne
|
||||||
|
Router, Modelle oder Dashboard-Daten zu verlieren.
|
||||||
|
|
||||||
### Neuaufbau
|
### Neuaufbau
|
||||||
|
|
||||||
1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen.
|
1. Debian installieren und `/data` wieder am bisherigen Pfad einhängen.
|
||||||
|
|||||||
Reference in New Issue
Block a user