108 lines
4.1 KiB
Markdown
108 lines
4.1 KiB
Markdown
# Athena – Betriebsanleitung
|
||
|
||
Stand: **12. September 2026**, auf Athena geprüft. Produktiv läuft
|
||
**llama.cpp b10930** (`56381e407c0ccfb3a6f71e668a27a901001d22ce`).
|
||
Der [geprüfte Live-Stand](docs/LIVE_STATE.md) beschreibt Profile, GPUs und die
|
||
Abweichung zwischen dem bereitgestellten Stack und dem Git-Checkout.
|
||
Der [Updatebericht](docs/LLAMA_B10930_UPDATE_20260912.md) enthält Tests und Rückfallstand.
|
||
|
||
|
||
Diese Datei ist der kurze, verbindliche Einstieg für Menschen und Agenten.
|
||
|
||
## Rolle
|
||
|
||
Athena ist eine Inferenzmaschine, kein allgemeiner Anwendungsserver.
|
||
|
||
Sie betreibt:
|
||
|
||
- llama.cpp mit genau einem aktiven Qwen-Profil,
|
||
- den OpenAI-kompatiblen Profile Router,
|
||
- FLUX.2 Klein 9B FP8 Beta für Textbilder und Referenzbild-Bearbeitung,
|
||
- Qwen3-TTS und TTS-Gateway für Sprache,
|
||
- das Athena-Dashboard,
|
||
- Portainer CE als optionale Ansicht auf die laufenden Docker-Container,
|
||
- WireGuard-Gateway und Datenbackup,
|
||
- den hostgebundenen Athena-Operator.
|
||
|
||
Hermes, Benutzeroberfläche und portable Fach-MCPs laufen auf Unraid. Auf Athena
|
||
werden keine zweiten Instanzen dieser Dienste angelegt.
|
||
|
||
## Pfade
|
||
|
||
| Pfad | Zweck |
|
||
|---|---|
|
||
| `/opt/mike-ai/stack` | kanonischer Checkout und Compose-Stack |
|
||
| `/data/models` | Modellgewichte |
|
||
| `/data/llama-dashboard` | historische Dashboard-Messwerte |
|
||
| `/data/docker-backups` | automatische Athena-Backups |
|
||
| `/etc/mike-ai` | lokale Konfiguration und Secrets, niemals Git |
|
||
|
||
Portainer läuft als separater, optionaler Verwaltungscontainer
|
||
`mike-ai-portainer`, hat einen eigenen Netzwerk-Namespace im Netz `mike-ai_frontend` und
|
||
ist unter `https://192.168.1.212:9443` erreichbar. Seine Einstellungen liegen
|
||
im Docker-Volume `portainer_data`, das vom Athena-Backup mitgesichert wird.
|
||
Portainer beobachtet beziehungsweise
|
||
verwaltet Docker, ist aber keine Abhängigkeit des Inferenz-Stacks.
|
||
|
||
## Standardbefehle
|
||
|
||
```bash
|
||
cd /opt/mike-ai/stack
|
||
./manage.sh validate
|
||
./manage.sh deploy SERVICE
|
||
./manage.sh deploy core
|
||
sudo ./smoke-test.sh
|
||
```
|
||
|
||
`deploy SERVICE` verwendet `--no-deps` und fasst keine anderen Container an.
|
||
`deploy core` aktualisiert den vollständigen Athena-Kern. Das aktuell aktive
|
||
Qwen-Profil wird vom Profile Controller verwaltet.
|
||
|
||
## Modelle
|
||
|
||
- Fast: kurze, interaktive Aufgaben
|
||
- Medium/Large/Ultra: steigende Kontextgrößen desselben lokalen Qwen-Modells
|
||
- Uncensored: separates lokales Profil
|
||
- FLUX.2 Klein 9B FP8 Beta: Bildgenerierung und Editing; Qwen wird dafür kurz entladen und danach
|
||
automatisch wiederhergestellt
|
||
- Qwen3-TTS 1.7B: RTX 3060; kein Piper-Fallback
|
||
|
||
Die geprüften Live-Werte stehen in [docs/LIVE_STATE.md](docs/LIVE_STATE.md).
|
||
`config/profile-matrix.json` und `docs/STANDARD_PROFILE_MATRIX.md` im Repository
|
||
enthalten zusätzlich `beta1`, das auf Athena nicht installiert ist.
|
||
|
||
## Globale Modellrichtlinie
|
||
|
||
`config/global-system-policy.txt` wird vom Profile Router allen Textanfragen
|
||
über `/v1/chat/completions` und `/v1/responses` vorangestellt. Sie gilt damit
|
||
für alle Hermes-Profile und andere Clients, die den Athena-Router verwenden.
|
||
Der Router liest die Datei bei jeder Anfrage neu; spätere Textänderungen
|
||
benötigen nach der erstmaligen Bereitstellung keinen Container-Neustart.
|
||
Clients außerhalb des Routers und Werkzeuge, die ein Frontend nicht anbietet,
|
||
werden dadurch nicht erfasst.
|
||
|
||
## Werkzeuge
|
||
|
||
Portable Werkzeuge gehören auf Unraid in eigene, per DockerMan verwaltete
|
||
Container. Der einzige MCP auf Athena ist der Athena-Operator, weil nur er den
|
||
Athena-Host verwalten muss. Neue Fach-MCPs werden nicht in diesen Stack
|
||
eingebaut.
|
||
|
||
## Sicherheitsgrenze
|
||
|
||
**Athena niemals herunterfahren oder neu starten. Die Erreichbarkeit darf
|
||
nicht gefährdet werden.** Keine Änderungen an Host, Treibern, SSH, LAN oder
|
||
WireGuard im Rahmen eines Modell- oder Dokumentationsupdates.
|
||
Verbindlich sind die [Remote-Host-Regeln](docs/REMOTE_HOST_RULES.md).
|
||
Secrets dürfen lokal verwendet, aber nie in Git, Logs oder Chatantworten
|
||
veröffentlicht werden.
|
||
|
||
## Fertig bedeutet
|
||
|
||
- Änderung ist im kanonischen Git-Checkout,
|
||
- Compose und Syntax sind gültig,
|
||
- betroffener Dienst ist gesund,
|
||
- eine kleine Funktionsprobe war erfolgreich,
|
||
- Commit und Push sind erfolgt,
|
||
- das automatische Backup bleibt gesund.
|