64 lines
4.1 KiB
Markdown
64 lines
4.1 KiB
Markdown
# Roadmap fuer spezialisierte lokale KI-Dienste
|
|
|
|
Stand: 10. September 2026
|
|
|
|
Diese Liste sammelt Nischenmodelle, die wir auf Athena nacheinander testen.
|
|
Ein Eintrag ist erst produktiv, wenn er auf der realen Hardware abgenommen und
|
|
im zentralen Register `TESTED_MODELS.md` dokumentiert wurde.
|
|
|
|
| Prioritaet | Aufgabe | Kandidat | Geplanter Betrieb | Status |
|
|
|---:|---|---|---|---|
|
|
| 1 | Musik erzeugen und bearbeiten | `ACE-Step 1.5 XL SFT` mit `acestep-5Hz-lm-1.7B` | exklusives On-Demand-Profil auf der RTX 5080; CPU-Offload; Qwen, Vision und TTS werden waehrenddessen entladen | **integriert; Klangabnahme laeuft** |
|
|
| 2 | Gesang und Instrumente trennen | BS-RoFormer Viperx 1297, `ep_317` | exklusiver Audio-Worker auf der RTX 5080; FLAC-Ausgabe; eigener Dashboard-Modus | **integriert; Qualitätstest läuft** |
|
|
| 3 | Voice Cloning | vorhandenes `Qwen3-TTS-12Hz-1.7B-Base` | bestehender TTS-Worker auf der RTX 3060; zunaechst den eingebauten 3-Sekunden-Klonpfad freilegen | offen |
|
|
| 4 | Objekte lokalisieren und zaehlen | Grounding DINO oder RF-DETR | optionaler Vision-Worker; normales Erkennen bleibt beim vorhandenen Qwen-Vision-Projektor | offen |
|
|
| 5 | Bildort schaetzen | GeoAgent 8B | exklusives Vision-Profil; Ergebnis nur als Wahrscheinlichkeitsrangliste | offen |
|
|
| 6 | Eigene Orte/Bilder wiederfinden | AnyLoc oder GME-Qwen2-VL-7B | Embedding-Index mit eigener Referenzdatenbank | offen |
|
|
| 7 | Bild zu texturiertem 3D-Modell | TRELLIS.2 4B Q8 über trellis.cpp 0.6.0 | exklusiver Worker auf RTX 5080; GLB; Standard 1024 | **integriert; technischer Ende-zu-Ende-Test bestanden** |
|
|
|
|
## Grundsaetze
|
|
|
|
- Qualitaet geht vor Dauerbetrieb: schwere Spezialmodelle duerfen die regulaeren
|
|
Profile voruebergehend entladen.
|
|
- Die RTX 5080 und RTX 3060 besitzen zusammen 28 GiB physischen VRAM, bilden
|
|
aber keinen gemeinsamen Speicherpool. Mehrkartenbetrieb muss vom jeweiligen
|
|
Modell beziehungsweise Backend ausdruecklich unterstuetzt werden.
|
|
- Jeder Test bleibt isoliert und entfernbar. Abgelehnte Images, Gewichte, Caches
|
|
und Integrationsreste werden nach der Dokumentation entfernt.
|
|
- Neue Kandidaten werden vor dem Download mit `TESTED_MODELS.md` abgeglichen.
|
|
|
|
## Erster Test: ACE-Step 1.5 XL SFT
|
|
|
|
Der erste Durchlauf nutzt nur die RTX 5080. Laut offiziellem Projekt benoetigt
|
|
XL mindestens 12 GiB mit Offload und empfiehlt mindestens 20 GiB ohne Offload.
|
|
Auf der 16-GiB-5080 wird deshalb der offiziell vorgesehene Offload-Pfad mit dem
|
|
1,7B-Musikplaner getestet. Die 3060 bleibt zunaechst frei; eine Verteilung ueber
|
|
beide Karten wird erst erwogen, wenn ACE-Step dafuer einen belastbaren
|
|
Inferenzpfad anbietet.
|
|
|
|
Abnahmekriterien:
|
|
|
|
1. Dienst startet reproduzierbar und belegt keine GPU im Ruhezustand.
|
|
2. Ein 30-Sekunden-Stueck wird ohne OOM erzeugt.
|
|
3. Laufzeit, Spitzen-VRAM, RAM-Nutzung und Ausgabedatei werden protokolliert.
|
|
4. Danach werden Ultra und TTS wiederhergestellt.
|
|
5. Erst nach bestandener Abnahme folgt die Hermes-Integration.
|
|
|
|
Erster Messlauf am 8. September 2026: Ein 30-Sekunden-Instrumental wurde in
|
|
15,39 Sekunden erzeugt (LM 8,00 s, DiT 7,39 s, MP3-Encoding 0,82 s). Die
|
|
gemeldete maximale CUDA-Allokation lag bei 9,38 GiB. Es gab weder OOM noch
|
|
CUDA-Fehler. Der technische Test ist damit bestanden; die subjektive
|
|
Die originale ACE-Step-Gradio-Oberflaeche ist der stabile Produktionspfad. Die
|
|
persistente `fspecii/ace-step-ui`-Oberflaeche bleibt bis zur Abnahme aller
|
|
Audio-zu-Audio-Modi experimentell. Am 10. September 2026 wurde der zerbrechliche
|
|
Aufruf der positionsabhaengigen `/generation_wrapper`-Schnittstelle entfernt.
|
|
Die Community-UI nutzt nun `/release_task` mit benannten Parametern; das
|
|
versionierte Worker-Derivat reicht dabei auch Referenz-/Quellaudio, Cover-
|
|
Staerke, Thinking, AI Enhance und die XL-SFT-Werte weiter.
|
|
Ein zehnsekündiger FLAC-Textauftrag lief am 8. September 2026 erfolgreich durch
|
|
UI, Express-Backend und Gradio-API und wurde in der persistenten Bibliothek
|
|
gespeichert; dieser Test belegt Cover und Remix ausdrücklich noch nicht.
|
|
|
|
Offizielle Referenzen: [ACE-Step 1.5](https://github.com/ace-step/ACE-Step-1.5)
|
|
und [REST-API](https://github.com/ace-step/ACE-Step-1.5/blob/main/docs/en/API.md).
|