Harden and demote experimental Hermes compressor

This commit is contained in:
Mikei386
2026-08-26 01:40:38 +02:00
parent 99285fe81a
commit aaadc57c07
7 changed files with 52 additions and 40 deletions
+18 -11
View File
@@ -30,19 +30,26 @@ und einer bewussten Aktualisierung dieser Datei.
- Das gesonderte Experimentalprofil gehört nicht zur Benutzer-Matrix und wird
in Open WebUI nicht als reguläres Modell angeboten.
## Hermes-Kompressionsmodell
## Experimentelles Hermes-Kompressionsmodell
Das Hilfsmodell `qwen-compression` ist kein Chatprofil. Qwen3.5-2B Q4_K_M
läuft unabhängig mit 65.536 Token Kontext auf der RTX 3060 und ist nur über
WireGuard auf Port 8099 erreichbar. Hermes erzwingt dafür Non-Thinking.
Der Alias `qwen-compression` ist kein Chatprofil. Qwen3.5-4B Q4_K_M läuft
unabhängig mit 65.536 Token Kontext auf der RTX 3060 und ist nur über
WireGuard auf Port 8099 erreichbar. Non-Thinking und ein 12K-Notausgangslimit
verhindern bekannte Wiederholungsschleifen. Das Modell ist absichtlich **nicht
global in Hermes aktiviert**; produktive Kompression nutzt das gewählte
27B-Hauptprofil.
- 30.245 Token, kalter Prompt: 4.519,7 Prefill-Tok/s.
- Ausgabe im 30K-Qualitätstest: 117,1 Tok/s; vier von fünf ungefilterten
Ankern bewahrt.
- Echter Hermes-Hilfsmodellaufruf: 158 Token in 4,6 Sekunden; alle geforderten
Pfade, Ports, Verbote und der Commit-Anker wurden bewahrt.
- Zusätzlicher Speicherbedarf auf der RTX 3060: rund 1,8 GiB; nach dem Laden
blieben im gemessenen Produktionszustand rund 4,5 GiB frei.
- 12 technische Fälle: 79,27 % exakte Anker im reinen Modellteil und 98,78 %
im vollständigen Hermes-Lean-Ergebnis; 10 von 12 formal bestanden.
- Echter 205K-Token-End-to-End-Lauf: Kompression auf 22,8K in 199 Sekunden,
aber ältere `BUILD_ID`- und kurze Git-HEAD-Zustände gingen verloren.
- Lange technische Einzeltests benötigten 120 bis 185 Sekunden; Ausgabe bei
großem Kontext etwa 50 Tok/s.
- Speicherbelegung der RTX 3060 im gemessenen Gesamtzustand: 9.450 MiB,
verbleibend rund 2.460 MiB.
- Sicherheitsentscheidung: als reproduzierbarer Testdienst behalten, aber
erst nach zuverlässig vollständiger technischer Zustandsbewahrung als
globalen Kompressor freigeben.
## Nachweise