Replace compression sidecar with Hermes micro-compaction

This commit is contained in:
Mikei386
2026-08-26 06:18:51 +02:00
parent 438bd34b72
commit 896c12193e
8 changed files with 23 additions and 140 deletions
+7 -20
View File
@@ -30,27 +30,14 @@ und einer bewussten Aktualisierung dieser Datei.
- Das gesonderte Experimentalprofil gehört nicht zur Benutzer-Matrix und wird
in Open WebUI nicht als reguläres Modell angeboten.
## Experimentelles Hermes-Kompressionsmodell
## Hermes-Kontextpflege
Der Alias `qwen-compression` ist kein Chatprofil. Qwen3.5-4B Q4_K_M kann
unabhängig mit 65.536 Token Kontext auf der RTX 3060 gestartet werden und ist
dann nur über WireGuard auf Port 8099 erreichbar. Non-Thinking und ein 12K-Notausgangslimit
verhindern bekannte Wiederholungsschleifen. Das Modell ist absichtlich **nicht
global in Hermes aktiviert**; produktive Kompression nutzt das gewählte
27B-Hauptprofil.
- 12 technische Fälle: 79,27 % exakte Anker im reinen Modellteil und 98,78 %
im vollständigen Hermes-Lean-Ergebnis; 10 von 12 formal bestanden.
- Echter 205K-Token-End-to-End-Lauf: Kompression auf 22,8K in 199 Sekunden,
aber ältere `BUILD_ID`- und kurze Git-HEAD-Zustände gingen verloren.
- Lange technische Einzeltests benötigten 120 bis 185 Sekunden; Ausgabe bei
großem Kontext etwa 50 Tok/s.
- Speicherbelegung der RTX 3060 im gemessenen Gesamtzustand: 9.450 MiB,
verbleibend rund 2.460 MiB.
- Sicherheitsentscheidung: als reproduzierbarer Testdienst behalten, aber
erst nach zuverlässig vollständiger technischer Zustandsbewahrung als
globalen Kompressor freigeben. Der Container bleibt außerhalb gezielter
Benchmarks gestoppt, damit die RTX 3060 für Medium/Large/Ultra frei ist.
Hermes verwendet das jeweils ausgewählte 27B-Profil auch für die
Kontextzusammenfassung. Micro-Compaction übernimmt alle fünf abgeschlossenen
Turns einen älteren Assistenten-/Werkzeugabschnitt in die laufende
Zusammenfassung. Die normale schwellenbasierte Kompression bleibt als
Rückfallebene aktiv. Ein separates kleines Kompressionsmodell wird nicht
installiert, weil 2B/4B-Tests exakte technische Zustände verlieren konnten.
## Nachweise