Remove Beta 1 and Piper fallback

2026-09-10 13:17:57 +02:00
parent 52482627be
commit 08ff3d7c4e
38 changed files with 94 additions and 484 deletions
@@ -8,7 +8,7 @@ flowchart LR
    P --> Q[genau ein llama.cpp-Profil<br/>Qwen Fast / Medium / Large / Ultra / Uncensored]
    R --> I[FLUX.2 Klein 9B FP8 Beta<br/>RTX 5080 Transformer]
    I --> E[Qwen3-8B NF4 Textencoder<br/>RTX 3060 während Bildauftrag]
-    R --> T[Qwen3-TTS RTX 3060<br/>Piper CPU-Fallback]
+    R --> T[Qwen3-TTS RTX 3060<br/>Normalisierungs- und Streaming-Gateway]
    R --> STT[Whisper.cpp ggml-small<br/>CPU, lokale Spracherkennung]

    H --> U[MUA / Unraid MCP]
@@ -50,7 +50,6 @@ Kontextgröße:
 | Medium | 160.000 Token |
 | Large | 192.000 Token |
 | Ultra | 262.144 Token |
-| Beta 1 | 112.000 Token |
 | Uncensored | 80.000 Token |

 ## Exklusiver Bildmodus
@@ -65,7 +64,7 @@ gleichzeitig. Der Wechsel ist transaktional:
 4. Nach dem Prompt-Encoding werden die Embeddings zur RTX 5080 übertragen.
 5. Vor dem VAE-Decoding werden Textencoder und Transformer freigegeben.
 6. Der Worker wird gestoppt; anschließend starten Qwen3-TTS und das vorherige
-   Textprofil wieder. Piper bleibt als CPU-Fallback verfügbar.
+   Textprofil wieder. Während der exklusiven Bildphase steht kein TTS bereit.

 Der Bild-Worker ist lazy und besitzt `restart: "no"`; im normalen Textbetrieb
 belegt er daher keinen VRAM. Container werden über eindeutige Docker-Labels
@@ -1,8 +1,8 @@
 # Container-Inventar auf Athena

-Stand: 9. September 2026
+Stand: 10. September 2026

-Athena besteht derzeit aus 25 Docker-Containern. Nicht jeder Container enthält
+Athena besteht nach der Bereinigung aus 23 Docker-Containern. Nicht jeder Container enthält
 ein KI-Modell: Router, Oberflächen, Netzwerk, Steuerung und Sicherung sind
 gewöhnliche Dienste. Die rechenintensiven GPU-Worker werden absichtlich nur bei
 Bedarf gestartet. Ein Container im Zustand `Created` oder `Exited (0)` ist daher
@@ -13,7 +13,6 @@ nicht automatisch ein ungenutzter Rest.
 | `mike-ai-backup` | kein Modell; Offen Docker Volume Backup | Sichert `/data`, `/etc/mike-ai`, den Stack und die persistenten Docker-Volumes im Fünf-Stunden-Takt. |
 | `mike-ai-applio-studio` | Applio/RVC; Stimmenmodelle werden nutzerseitig ergänzt | Vollständige RVC-Oberfläche für Inferenz, Modellverwaltung und Training auf der RTX 5080. Für eine Konvertierung ist ein importiertes oder trainiertes `.pth`-Modell nötig; eine Referenzaufnahme allein reicht nicht. |
 | `mike-ai-image-worker` | FLUX.2 Klein 9B FP8, Qwen3-8B NF4 Textencoder und VAE | Erzeugt und bearbeitet Bilder transaktional; nutzt während eines Auftrags RTX 5080 und RTX 3060. |
-| `mike-ai-llama-beta1` | Qwen3.8-27B GSQ-RCO `IQ3_S-MTP`, Qwen-MMProj BF16 | Experimentelles Beta-Profil mit 112.000 Token Kontext; wird nur auf Anforderung geladen. |
 | `mike-ai-llama-dashboard` | kein Modell | Zeigt Telemetrie, Profile, GPU-Nutzung und Betriebsarten an und bietet die Modusumschaltung. |
 | `mike-ai-llama-fast` | Qwen3.8-27B `IQ4-MIX`, Qwen-MMProj BF16 | Schnelles Q4-Text-/Vision-Profil mit 76.800 Token Kontext. |
 | `mike-ai-llama-large` | Qwen3.8-27B `IQ4_XS-pure`, Qwen-MMProj BF16 | Q4-Text-/Vision-Profil mit 192.000 Token Kontext und Verteilung auf beide GPUs. |
@@ -23,13 +22,12 @@ nicht automatisch ein ungenutzter Rest.
 | `mike-ai-mcp-athena-operator` | kein Modell | Stellt Hermes begrenzte Werkzeuge zum Prüfen, Ändern, Testen, Sichern und Versionieren von Athena bereit. |
 | `mike-ai-music-acestep-test` | ACE-Step 1.5 XL-SFT und `acestep-5Hz-lm-1.7B` | Generiert Musik im exklusiven Musikmodus auf der RTX 5080. |
 | `mike-ai-music-ui` | kein Modell; `fspecii/ace-step-ui` | Community-Oberfläche für ACE-Step; bleibt als leichte UI verfügbar, während der GPU-Worker bedarfsgesteuert läuft. |
-| `mike-ai-piper` | `de_DE-thorsten-high` | CPU-basierte deutsche TTS-Rückfallebene, die auch während GPU-Umschaltungen verfügbar bleibt. |
 | `mike-ai-portainer` | kein Modell; Portainer CE | Optionale Docker-Verwaltungsoberfläche. |
 | `mike-ai-profile-controller` | kein Modell | Startet und stoppt ausschließlich freigegebene Modellprofile und Spezialworker in einer sicheren Reihenfolge. |
 | `mike-ai-qwen3-tts` | `Qwen/Qwen3-TTS-12Hz-1.7B-Base`, Stimme Serena | Hochwertige deutsche Sprachausgabe auf der RTX 3060 im LLM-Betrieb. |
 | `mike-ai-router` | kein eigenes Modell | Einzige OpenAI-kompatible Modelladresse; koordiniert Profile, Bildaufträge, Sprache und Betriebsarten. |
 | `mike-ai-stem-separator` | BS-RoFormer Viperx 1297, `htdemucs_ft`, `htdemucs_6s`, `MossFormer2_SE_48K` | Trennt Gesang, Instrumente oder Sprache/Hintergrundgeräusche im exklusiven Separationsmodus. |
-| `mike-ai-tts-gateway` | kein eigenes Modell | Normalisiert Text, leitet TTS an Qwen3-TTS weiter und fällt bei Bedarf auf Piper zurück. |
+| `mike-ai-tts-gateway` | kein eigenes Modell | Normalisiert Text, konvertiert Ausgabeformate und stellt Qwen3-TTS sowie natives PCM-Streaming über eine stabile interne API bereit. |
 | `mike-ai-voice-studio` | `k2-fsa/OmniVoice` 0.2.1 mit Whisper-ASR | Erzeugt Text-to-Speech mit einer Referenzstimme; kein Audio-to-Audio-Voice-Changer. |
 | `mike-ai-whisper` | Whisper.cpp `ggml-small` | Lokale deutsche Spracherkennung auf der CPU über `/v1/audio/transcriptions`. |
 | `mike-ai-wireguard-gateway` | kein Modell | Veröffentlicht Dashboard und Fachoberflächen ausschließlich über den privaten WireGuard-Pfad. |
@@ -24,7 +24,7 @@ bereit:
 - RTX 5080: 9B-FP8-Diffusionstransformer und VAE-Decoding
 - RTX 3060: Qwen3-8B-Textencoder in NF4
 - Qwen3-TTS und aktives llama.cpp-Profil werden für den Bildauftrag pausiert
- Piper bleibt währenddessen als CPU-TTS verfügbar
+- TTS ist währenddessen vorübergehend nicht verfügbar
 - nach Abschluss werden TTS und das vorherige Textprofil wiederhergestellt

 Ein vollständiger Aufruf über Athenas OpenAI-kompatiblen Router wurde mit
@@ -61,7 +61,7 @@ Build 10718, Commit `41ef91f7c8046087cdfbb276b79bff311ecf1c6d`. Dessen lokales
 Fallback-Image wurde am 8. September 2026 beim gezielten Aufräumen entfernt;
 ein Rückfall erfordert daher einen Neubau dieses Commits.

-Build 10781 wurde nach dem Bau produktiv verifiziert. Alle sechs
+Build 10781 wurde nach dem Bau produktiv verifiziert. Alle fünf
 Profildefinitionen verwenden dasselbe neue Image. Am 8. September lief Ultra
 mit 262.144 Tokens Kontext gesund; MTP und eine lokale Textprobe wurden
 erfolgreich geprüft.
@@ -44,7 +44,7 @@ Der Profile Controller stoppt vor dem Start des Bild-Workers alle
 llama.cpp-Profile und den mit `com.mike-ai.tts-worker=qwen3` markierten
 Qwen3-TTS-Container. Dadurch bleibt genügend VRAM für beide Bildkomponenten.
 Nach dem Bildauftrag startet er Qwen3-TTS und das zuvor aktive Textprofil
-wieder. Der TTS-Gateway kann während des Wechsels auf Piper ausweichen.
+wieder. Während des exklusiven GPU-Wechsels ist TTS vorübergehend nicht verfügbar.

 ## Aktuelle Grenzen

@@ -1,7 +1,12 @@
 # Qwen Beta 1 – GSQ-RCO

-`qwen-beta-1` ist ein zusätzliches, nicht standardmäßig aktives Router-Profil.
-Die bestehenden Profile und das Standardprofil `qwen-medium` bleiben unverändert.
+> Historischer Testbericht. Das Beta-1-Profil wurde am 10. September 2026
+> vollständig aus dem produktiven Router entfernt, weil die kleinere
+> Quantisierung gegenüber den Q4-Profilen keinen belastbaren Vorteil brachte.
+
+`qwen-beta-1` war ein zusätzliches, nicht standardmäßig aktives Router-Profil.
+Der Bericht bleibt erhalten, damit diese Quantisierung nicht versehentlich
+erneut getestet wird.

 ## Laufzeitkonfiguration

@@ -7,7 +7,6 @@

 - `/etc/mike-ai` mit lokaler Konfiguration,
 - Router-Zustand und erzeugte Bilder,
- Piper-Daten,
 - der kanonische Stack als zusätzlicher Snapshot.

 Nicht in das Archiv gehören die großen Modellgewichte unter `/data/models`.
@@ -8,7 +8,6 @@ Standardprofil: **medium** · globales Ausgabelimit: **8192 Token**
 |---|---|---:|---:|---|---|---|---:|
 | fast | `qwen-fast` | 76,800 | 1 | Qwen3.8-27B IQ4 Mix | 5080 only | ja | 2 |
 | medium | `qwen-medium` | 160,000 | 1 | Qwen3.8-27B IQ4 XS Pure | 85:15 | ja | 3 |
-| beta1 | `qwen-beta-1` | 112,000 | 1 | Qwen3.8-27B GSQ-RCO IQ3_S MTP | 5080 model / 3060 vision | ja | 3 |
 | large | `qwen-large` | 192,000 | 1 | Qwen3.8-27B IQ4 XS Pure | 86:14 | ja | 3 |
 | ultra | `qwen-ultra` | 262,144 | 1 | Qwen3.8-27B IQ4 XS Pure | 80:20 | nein | 2 |
 | uncensored | `qwen-uncensored` | 80,000 | 1 | Qwen3.8-27B Abliterated Q4_K_M | 90:10 | ja | 2 |
@@ -17,7 +16,6 @@ Standardprofil: **medium** · globales Ausgabelimit: **8192 Token**

 - **fast**: Schnelles Profil für kurze Chats und zügige Werkzeugaufgaben.
 - **medium**: Ausgewogenes Standardprofil für Alltag und lange agentische Aufgaben.
- **beta1**: Beta 1: qualitaetsoptimiertes GSQ-RCO-IQ3_S-Testprofil; 112K Startkontext bis zur erneuten Grenzmessung.
 - **large**: Großes Profil für umfangreiche Dokumente und lange technische Arbeiten.
 - **ultra**: Maximaler Textkontext; bewusst ohne Vision-Projektor.
 - **uncensored**: Weniger restriktives Spezialprofil; Werkzeugrechte bleiben unverändert.
@@ -27,7 +27,7 @@ Statuswerte:
 | 04.09.2026 | ISTA-DASLab Qwen3.8-27B GSQ-RCO `IQ3_XXS-MTP` | bis 196.608 | sehr platzsparend und bis 196.608 technisch lauffähig; später durch IQ3_S ersetzt | **ersetzt** | [GSQ_RCO_BETA1_20260904.md](GSQ_RCO_BETA1_20260904.md) |
 | 07.09.2026 | `Jackrong/Qwopus3.8-27B-Flash-GGUF` / `Qwopus3.8-27B-Flash-MTP-IQ4_XS.gguf` | 160K | Recall 3/3; Decode 87,2 statt 105,3 Token/s, Lang-Decode 51,0 statt 56,7 Token/s; kein Gesamtvorteil | **verworfen** | Athena: `/data/benchmarks/qwen38-ab-20260907/` |
 | 07.09.2026 | `bartowski/Qwen3.8-27B-GGUF` / `Qwen3.8-27B-IQ4_XS.gguf` | 160K | Recall 3/3; Decode 90,4 statt 105,3 Token/s, Lang-Decode 51,9 statt 56,7 Token/s; kein Gesamtvorteil | **verworfen** | Athena: `/data/benchmarks/qwen38-ab-20260907/` |
-| 08.09.2026 | `ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF` / `IQ3_S-MTP` | 76,8K–262K | Qualität im lokalen Test praktisch gleich, trotz optimierter GPU-Splits überwiegend langsamer als Q4 | **Beta** mit 112K; kein Ersatz für Q4 | [GSQ_RCO_BETA1_20260904.md](GSQ_RCO_BETA1_20260904.md) |
+| 08.09.2026 | `ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF` / `IQ3_S-MTP` | 76,8K–262K | Qualität im lokalen Test praktisch gleich, trotz optimierter GPU-Splits überwiegend langsamer als Q4 | **entfernt**; kein Ersatz für Q4 | [GSQ_RCO_BETA1_20260904.md](GSQ_RCO_BETA1_20260904.md) |
 | 08.09.2026 | `Tiel-Coder-35B-A3B-UD-IQ4_XS.gguf` | 160K vorgesehen | Testcontainer und Gewichte vorhanden gewesen, aber kein versionierter, belastbarer Abnahmebericht | **unvollständig**; nicht als getesteter Sieger behandeln | kein Ergebnisartefakt vorhanden |

 ## Externe CPU-Helfermodelle
@@ -54,7 +54,7 @@ Titelgenerierung und Kontextkompression in Hermes.
 | Datum | Modell | Ergebnis | Status / Entscheidung |
 |---|---|---|---|
 | 05.09.2026 | Coqui XTTS v2 | deutsche Satzzeichen, Enden und Streaming-Chunks erzeugten Halluzinationen und unnatürliche Prosodie | **verworfen und entfernt** |
-| 05.09.2026 | `Qwen/Qwen3-TTS-12Hz-1.7B-Base` | deutlich natürlichere deutsche Ausgabe ohne die XTTS-Endhalluzinationen | **produktiv** mit Piper-Fallback |
+| 05.09.2026 | `Qwen/Qwen3-TTS-12Hz-1.7B-Base` | deutlich natürlichere deutsche Ausgabe ohne die XTTS-Endhalluzinationen | **produktiv** als einziges TTS-Backend |
 | 06.–08.09.2026 | Whisper.cpp `large-v3-turbo` | lokaler TTS→STT-Rundlauf und OpenClaw-Transkription erfolgreich; später zugunsten des kleineren Laufzeitmodells entfernt | **ersetzt** |
 | seit 03.09.2026 | Whisper.cpp `ggml-small` | tatsächlich im Compose-Stack und im laufenden Container verwendetes CPU-STT-Modell | **produktiv** |
 | 09.09.2026 | `RMSnow/Vevo2`, Amphion `26f6883110181f1dbfe95c70a7c7dbaf4de5f42a` | Technik und Geschwindigkeit funktionierten, reale deutsche Sprachwandlung mit kurzer und langer Referenz war jedoch unverständlich, halluzinierend oder musikalisch | **qualitativ verworfen und entfernt**; Ergebnis bleibt hier dokumentiert, Images, Daten und altes Projekt wurden am 09.09. bereinigt |