Replace compression sidecar with Hermes micro-compaction
This commit is contained in:
@@ -30,27 +30,14 @@ und einer bewussten Aktualisierung dieser Datei.
|
||||
- Das gesonderte Experimentalprofil gehört nicht zur Benutzer-Matrix und wird
|
||||
in Open WebUI nicht als reguläres Modell angeboten.
|
||||
|
||||
## Experimentelles Hermes-Kompressionsmodell
|
||||
## Hermes-Kontextpflege
|
||||
|
||||
Der Alias `qwen-compression` ist kein Chatprofil. Qwen3.5-4B Q4_K_M kann
|
||||
unabhängig mit 65.536 Token Kontext auf der RTX 3060 gestartet werden und ist
|
||||
dann nur über WireGuard auf Port 8099 erreichbar. Non-Thinking und ein 12K-Notausgangslimit
|
||||
verhindern bekannte Wiederholungsschleifen. Das Modell ist absichtlich **nicht
|
||||
global in Hermes aktiviert**; produktive Kompression nutzt das gewählte
|
||||
27B-Hauptprofil.
|
||||
|
||||
- 12 technische Fälle: 79,27 % exakte Anker im reinen Modellteil und 98,78 %
|
||||
im vollständigen Hermes-Lean-Ergebnis; 10 von 12 formal bestanden.
|
||||
- Echter 205K-Token-End-to-End-Lauf: Kompression auf 22,8K in 199 Sekunden,
|
||||
aber ältere `BUILD_ID`- und kurze Git-HEAD-Zustände gingen verloren.
|
||||
- Lange technische Einzeltests benötigten 120 bis 185 Sekunden; Ausgabe bei
|
||||
großem Kontext etwa 50 Tok/s.
|
||||
- Speicherbelegung der RTX 3060 im gemessenen Gesamtzustand: 9.450 MiB,
|
||||
verbleibend rund 2.460 MiB.
|
||||
- Sicherheitsentscheidung: als reproduzierbarer Testdienst behalten, aber
|
||||
erst nach zuverlässig vollständiger technischer Zustandsbewahrung als
|
||||
globalen Kompressor freigeben. Der Container bleibt außerhalb gezielter
|
||||
Benchmarks gestoppt, damit die RTX 3060 für Medium/Large/Ultra frei ist.
|
||||
Hermes verwendet das jeweils ausgewählte 27B-Profil auch für die
|
||||
Kontextzusammenfassung. Micro-Compaction übernimmt alle fünf abgeschlossenen
|
||||
Turns einen älteren Assistenten-/Werkzeugabschnitt in die laufende
|
||||
Zusammenfassung. Die normale schwellenbasierte Kompression bleibt als
|
||||
Rückfallebene aktiv. Ein separates kleines Kompressionsmodell wird nicht
|
||||
installiert, weil 2B/4B-Tests exakte technische Zustände verlieren konnten.
|
||||
|
||||
## Nachweise
|
||||
|
||||
|
||||
Reference in New Issue
Block a user