Document Athena 3D mode and agent operations

2026-09-10 18:31:44 +02:00
parent 795101b746
commit 43321b6797
11 changed files with 353 additions and 10 deletions
@@ -10,6 +10,8 @@ flowchart LR
    I --> E[Qwen3-8B NF4 Textencoder<br/>RTX 3060 während Bildauftrag]
    R --> T[Qwen3-TTS RTX 3060<br/>Normalisierungs- und Streaming-Gateway]
    R --> STT[Whisper.cpp ggml-small<br/>CPU, lokale Spracherkennung]
+    P --> SP[Exklusive Spezialworker<br/>Musik / Trennung / Voice / RVC / 3D]
+    SP --> TR[TRELLIS.2 4B Q8<br/>trellis.cpp, RTX 5080]

    H --> U[MUA / Unraid MCP]
    H --> A[ARR-MCP]
@@ -17,11 +19,12 @@ flowchart LR
    H --> N[Navidrome-MCP]
    H --> S[STRATO-MCP]
    H --> X[Nginx-Proxy-Manager-MCP]
-    U --> M[Media-Tools<br/>ffmpeg / ffprobe / yt-dlp]
+    U --> MT[Media-Tools<br/>ffmpeg / ffprobe / yt-dlp]

    W[WireGuard-Gateway<br/>Athena] -->|DNS-Proxy| R
    W -->|DNS-Proxy :8099| B[Athena Dashboard<br/>internes Frontend-Netz]
    W -->|DNS-Proxy :9443| PRT[Portainer<br/>internes Frontend-Netz]
+    W -->|DNS-Proxy :8013| TRUI[Trellis Studio<br/>Bild zu GLB]
    W -->|DNS-Proxy| O[Athena Operator]
    K[Backup alle 5 Stunden] --> DATA[/data und /etc/mike-ai]
 ```
@@ -34,6 +37,9 @@ flowchart LR
 - **MUA** verwaltet Unraid. **Athena Operator** bleibt auf den Athena-Host
  begrenzt.
 - Der Router ist die einzige Modelladresse, die Hermes kennen muss.
+- GPU-intensive Spezialdienste sind gegenseitig exklusiv. Der Router speichert
+  Modus und Rückkehrprofil; der Profile Controller startet nur eindeutig
+  gelabelte Worker.
 - Dashboard und Portainer besitzen eigene Netzwerk-Namespaces. Das
  WireGuard-Gateway löst ihre stabilen Compose-Dienstnamen bei jeder
  Verbindung neu auf; seine konkrete Container-ID ist damit irrelevant.
@@ -75,3 +81,16 @@ Eine zweite Detailkarte, `athena-gpu-allocation-map.png`, zeigt die
 profilabhängige Layer-Verteilung auf RTX 5080 und RTX 3060. Die PNG-Karten
 zeigen noch den Stand vor dem 9B-Bildpfad; die aktuelle textuelle Beschreibung
 in diesem Dokument ist verbindlich.
+
+## TRELLIS.2 3D-Modus
+
+Der Modus `trellis` stoppt die anderen GPU-Worker und startet genau den mit
+`com.mike-ai.trellis-worker=trellis2-q8` markierten Container. trellis.cpp
+0.6.0 sieht ausschließlich die Host-GPU 1, die RTX 5080. Q8-Gewichte liegen
+unter `/data/models/trellis2-q8`, Runtime und Ausgaben unter
+`/data/trellis-studio`. Die UI ist intern `trellis-studio:8080` und wird vom
+WireGuard-Gateway auf `192.168.1.212:8013` weitergeleitet. Sie erzeugt GLB;
+regulärer Qualitätsmodus ist 1024 Pixel.
+
+Die vollständigen Regeln für Erweiterungen, Rückbau und Fehlersuche stehen in
+[`../for_ki.md`](../for_ki.md).
@@ -27,6 +27,7 @@ nicht automatisch ein ungenutzter Rest.
 | `mike-ai-qwen3-tts` | `Qwen/Qwen3-TTS-12Hz-1.7B-Base`, Stimme Serena | Hochwertige deutsche Sprachausgabe auf der RTX 3060 im LLM-Betrieb. |
 | `mike-ai-router` | kein eigenes Modell | Einzige OpenAI-kompatible Modelladresse; koordiniert Profile, Bildaufträge, Sprache und Betriebsarten. |
 | `mike-ai-stem-separator` | BS-RoFormer Viperx 1297, `htdemucs_ft`, `htdemucs_6s`, `MossFormer2_SE_48K` | Trennt Gesang, Instrumente oder Sprache/Hintergrundgeräusche im exklusiven Separationsmodus. |
+| `mike-ai-trellis-studio` | TRELLIS.2 4B Q8 über trellis.cpp 0.6.0 | Erzeugt im exklusiven 3D-Modus aus einem Bild ein texturiertes, geschlossen aufbereitetes GLB-Mesh. Nutzt ausschließlich die RTX 5080 und wird über Port 8013 bedient. |
 | `mike-ai-tts-gateway` | kein eigenes Modell | Normalisiert Text, konvertiert Ausgabeformate und stellt Qwen3-TTS sowie natives PCM-Streaming über eine stabile interne API bereit. |
 | `mike-ai-voice-studio` | `k2-fsa/OmniVoice` 0.2.1 mit Whisper-ASR | Erzeugt Text-to-Speech mit einer Referenzstimme; kein Audio-to-Audio-Voice-Changer. |
 | `mike-ai-whisper` | Whisper.cpp `ggml-small` | Lokale deutsche Spracherkennung auf der CPU über `/v1/audio/transcriptions`. |
@@ -1,6 +1,15 @@
 # Aktueller produktiver Laufzustand

-Stand: 8. September 2026
+Stand: 10. September 2026
+
+## TRELLIS.2 3D-Studio
+
+TRELLIS.2 4B läuft über trellis.cpp 0.6.0 als exklusiver Q8-Worker auf der
+RTX 5080. Runtime und Q8-Gewichte liegen getrennt unter
+`/data/trellis-studio` und `/data/models/trellis2-q8`; die Browseroberfläche
+ist im WireGuard-Netz unter `http://192.168.1.212:8013` erreichbar. Ein realer
+512er Ende-zu-Ende-Test erzeugte in 54,2 Sekunden ein gültiges 4,4-MB-GLB.
+Für reguläre Qualitätsläufe ist `1024 · cascade` vorgesehen.

 ## Fotorestaurierung verworfen

@@ -1,6 +1,6 @@
 # Athena-Betriebsmodi

-Athena besitzt sechs gegenseitig exklusive Betriebsmodi:
+Athena besitzt sieben gegenseitig exklusive Betriebsmodi:

 - `llm`: ein llama.cpp-Profil und Qwen3-TTS laufen; Spezialdienste sind gestoppt.
 - `music`: ACE-Step 1.5 XL-SFT läuft; alle LLM-, Bild-, TTS- und Separator-Worker sind gestoppt.
@@ -13,6 +13,9 @@ Athena besitzt sechs gegenseitig exklusive Betriebsmodi:
  GPU-Dienste sind gestoppt.
 - `applio`: Applio stellt RVC-Inferenz, Modellverwaltung und Training bereit.
  Alle anderen GPU-Dienste sind gestoppt.
+- `trellis`: TRELLIS.2 4B Q8 erzeugt über trellis.cpp aus einem Eingabebild ein
+  texturiertes GLB. Der Worker läuft ausschließlich auf der RTX 5080; alle
+  anderen GPU-Dienste sind gestoppt.

 Die Zustandsmaschine lebt im Athena-Router. Das Dashboard und Chat-Clients wie
 Hermes sind nur Bedienoberflächen derselben API. Der zuletzt aktive LLM-Modus
@@ -21,7 +24,7 @@ wird persistent gespeichert und beim Verlassen eines Spezialmodus wieder geladen
 ## Bedienung

 Im Athena-Dashboard stehen **LLM-Betrieb**, **Musikstudio**, **Audio trennen**,
-**Voice Studio**, **X-VC** und **Applio / RVC** bereit. Im Musikmodus werden zwei Oberflächen angeboten:
+**Voice Studio**, **X-VC**, **Applio / RVC** und **3D Studio** bereit. Im Musikmodus werden zwei Oberflächen angeboten:

 - **Original UI · stabil** öffnet die zum laufenden ACE-Step-Image gehörende
  Gradio-Oberfläche. Sie ist für Cover, Remix und erweiterte Workflows der
@@ -80,6 +83,13 @@ benötigt zwingend ein zuvor importiertes oder trainiertes RVC-Stimmenmodell
 nicht. Der Code ist auf Commit
 `7fa68ec2166ab1331c539704159fa14901e94e5a` fixiert.

+Das TRELLIS.2-3D-Studio ist unter `http://192.168.1.212:8013` erreichbar. Es
+verwendet trellis.cpp 0.6.0 und die Q8-Variante von TRELLIS.2 4B. Das Modell
+läuft ausschließlich auf der RTX 5080; `1024 · cascade`, automatische
+Hintergrundentfernung und `xatlas` sind die empfohlenen Standardwerte. Die UI
+exportiert GLB. Ein nachgelagerter STL-/3MF-Export ist noch nicht Bestandteil
+der Oberfläche.
+
 Hermes benötigt dafür kein Plugin. Exakt eingegebene Steuerbefehle werden vom
 Router lokal beantwortet, auch wenn gerade kein LLM geladen ist:

@@ -89,6 +99,8 @@ Router lokal beantwortet, auch wenn gerade kein LLM geladen ist:
 /athena voice
 /athena voicechange
 /athena applio
+/athena 3d
+/athena trellis
 /athena llm
 /athena status
 ```
@@ -102,6 +114,7 @@ POST /mode  {"mode":"separation"}
 POST /mode  {"mode":"voice"}
 POST /mode  {"mode":"voicechange"}
 POST /mode  {"mode":"applio"}
+POST /mode  {"mode":"trellis"}
 POST /mode  {"mode":"llm"}
 ```

@@ -111,7 +124,8 @@ Der Wechsel läuft asynchron. Fortschritt und Fehler stehen unter `mode` in
 `com.mike-ai.stem-separator=bs-roformer` oder
 `com.mike-ai.voice-worker=vevo2` beziehungsweise
 `com.mike-ai.voice-change-worker=xvc` oder
-`com.mike-ai.applio-worker=applio` markierten Container; freie
+`com.mike-ai.applio-worker=applio` oder
+`com.mike-ai.trellis-worker=trellis2-q8` markierten Container. Freie
 Container- oder Docker-Befehle werden nicht entgegengenommen.

 ## Wiederanlauf
@@ -41,6 +41,16 @@ werden außerdem:
 - Audio-Trennungen unter `/data/audio`,
 - Dashboard-, Operator-, Benchmark- und Projektdaten.

+### Aktuelle TRELLIS-Lücke
+
+Das am 10.09.2026 ergänzte 3D-Studio speichert seine Ausgaben unter
+`/data/trellis-studio/output`. Dieser Pfad ist im derzeit ausgerollten
+Export- und Disaster-Backup **noch nicht enthalten**. Wichtige GLB-Dateien
+müssen bis zur Erweiterung der Backup-Skripte zusätzlich extern gesichert
+werden. Runtime und Q8-Gewichte sind erneut ladbar; die vom Benutzer erzeugten
+GLB-Dateien sind es nicht. Der Live-Code unter `/opt/mike-ai/trellis-studio`
+wird vom lokalen Schnellbackup über `/opt/mike-ai` erfasst.
+
 Die rund 100 GB reproduzierbaren Modellgewichte unter `/data/models` werden
 nicht extern dupliziert. Kerngewichte lädt `install.sh` anhand URL und SHA256
 neu. Spezialmodelle laden ihre gepinnten Container beim ersten Start erneut.
@@ -1,6 +1,6 @@
 # Roadmap fuer spezialisierte lokale KI-Dienste

-Stand: 8. September 2026
+Stand: 10. September 2026

 Diese Liste sammelt Nischenmodelle, die wir auf Athena nacheinander testen.
 Ein Eintrag ist erst produktiv, wenn er auf der realen Hardware abgenommen und
@@ -14,6 +14,7 @@ im zentralen Register `TESTED_MODELS.md` dokumentiert wurde.
 | 4 | Objekte lokalisieren und zaehlen | Grounding DINO oder RF-DETR | optionaler Vision-Worker; normales Erkennen bleibt beim vorhandenen Qwen-Vision-Projektor | offen |
 | 5 | Bildort schaetzen | GeoAgent 8B | exklusives Vision-Profil; Ergebnis nur als Wahrscheinlichkeitsrangliste | offen |
 | 6 | Eigene Orte/Bilder wiederfinden | AnyLoc oder GME-Qwen2-VL-7B | Embedding-Index mit eigener Referenzdatenbank | offen |
+| 7 | Bild zu texturiertem 3D-Modell | TRELLIS.2 4B Q8 über trellis.cpp 0.6.0 | exklusiver Worker auf RTX 5080; GLB; Standard 1024 | **integriert; technischer Ende-zu-Ende-Test bestanden** |

 ## Grundsaetze

@@ -1,6 +1,6 @@
 # Register getesteter Modelle

-Stand: 9. September 2026
+Stand: 10. September 2026

 Dieses Dokument ist die zentrale Sperrliste gegen doppelte Modelltests. Vor
 jedem Download müssen Repository, Dateiname, Basismodell, Fine-Tune und
@@ -64,6 +64,12 @@ Titelgenerierung und Kontextkompression in Hermes.
 | 09.09.2026 | `Plachtaa/seed-vc` V1, Code `51383efd921027683c89e5348211d93ff12ac2a8` | Technisch vollständig lauffähig: gepinntes CUDA-Image, persistente Gewichte und reale WAV-Konvertierung mit etwa 3,6 GiB VRAM. Im deutschen Hörtest erhielt die Ausgabe jedoch einen deutlich chinesischen Akzent | **qualitativ verworfen und vollständig entfernt**; nicht erneut für deutsche Sprachwandlung einplanen |
 | 09.09.2026 | `IAHispano/Applio`, Code `7fa68ec2166ab1331c539704159fa14901e94e5a` | Gepinntes CUDA-12.8-fähiges Image auf RTX 5080 gestartet; vollständige Applio/RVC-Oberfläche antwortet und CUDA ist verfügbar. Rund 1,8 GiB Basisgewichte und die Konfiguration wurden persistent ausgelagert. Es ist kein Zielstimmenmodell installiert; Applio kann aus einer Referenzaufnahme allein kein Modell ableiten | **technischer Start- und Persistenztest bestanden**; Konvertierung erst nach Import oder Training einer `.pth`-Stimme möglich |

+## 3D-Erzeugung
+
+| Datum | Modell | Test | Ergebnis | Status / Entscheidung | Beleg |
+|---|---|---|---|---|---|
+| 10.09.2026 | TRELLIS.2 4B Q8, zehn GGUF-Komponenten, trellis.cpp 0.6.0 | Bild-zu-3D bei 512, ausschließlich RTX 5080, Hintergrundentfernung `auto`, UV `xatlas` | HTTP 200 nach 54,2 s; gültiges GLB 2 mit 4,4 MB; Container und Browseroberfläche gesund | **technisch integriert**; 1024 ist der vorgesehene Qualitätsstandard, Druck- und subjektive Geometrieabnahme noch offen | Athena: `/opt/mike-ai/trellis-studio`, Gewichte: `/data/models/trellis2-q8` |
+
 ## Musikgenerierung

 | Datum | Modell | Test | Ergebnis | Status / Entscheidung | Beleg |