Harden and demote experimental Hermes compressor
This commit is contained in:
@@ -30,19 +30,26 @@ und einer bewussten Aktualisierung dieser Datei.
|
||||
- Das gesonderte Experimentalprofil gehört nicht zur Benutzer-Matrix und wird
|
||||
in Open WebUI nicht als reguläres Modell angeboten.
|
||||
|
||||
## Hermes-Kompressionsmodell
|
||||
## Experimentelles Hermes-Kompressionsmodell
|
||||
|
||||
Das Hilfsmodell `qwen-compression` ist kein Chatprofil. Qwen3.5-2B Q4_K_M
|
||||
läuft unabhängig mit 65.536 Token Kontext auf der RTX 3060 und ist nur über
|
||||
WireGuard auf Port 8099 erreichbar. Hermes erzwingt dafür Non-Thinking.
|
||||
Der Alias `qwen-compression` ist kein Chatprofil. Qwen3.5-4B Q4_K_M läuft
|
||||
unabhängig mit 65.536 Token Kontext auf der RTX 3060 und ist nur über
|
||||
WireGuard auf Port 8099 erreichbar. Non-Thinking und ein 12K-Notausgangslimit
|
||||
verhindern bekannte Wiederholungsschleifen. Das Modell ist absichtlich **nicht
|
||||
global in Hermes aktiviert**; produktive Kompression nutzt das gewählte
|
||||
27B-Hauptprofil.
|
||||
|
||||
- 30.245 Token, kalter Prompt: 4.519,7 Prefill-Tok/s.
|
||||
- Ausgabe im 30K-Qualitätstest: 117,1 Tok/s; vier von fünf ungefilterten
|
||||
Ankern bewahrt.
|
||||
- Echter Hermes-Hilfsmodellaufruf: 158 Token in 4,6 Sekunden; alle geforderten
|
||||
Pfade, Ports, Verbote und der Commit-Anker wurden bewahrt.
|
||||
- Zusätzlicher Speicherbedarf auf der RTX 3060: rund 1,8 GiB; nach dem Laden
|
||||
blieben im gemessenen Produktionszustand rund 4,5 GiB frei.
|
||||
- 12 technische Fälle: 79,27 % exakte Anker im reinen Modellteil und 98,78 %
|
||||
im vollständigen Hermes-Lean-Ergebnis; 10 von 12 formal bestanden.
|
||||
- Echter 205K-Token-End-to-End-Lauf: Kompression auf 22,8K in 199 Sekunden,
|
||||
aber ältere `BUILD_ID`- und kurze Git-HEAD-Zustände gingen verloren.
|
||||
- Lange technische Einzeltests benötigten 120 bis 185 Sekunden; Ausgabe bei
|
||||
großem Kontext etwa 50 Tok/s.
|
||||
- Speicherbelegung der RTX 3060 im gemessenen Gesamtzustand: 9.450 MiB,
|
||||
verbleibend rund 2.460 MiB.
|
||||
- Sicherheitsentscheidung: als reproduzierbarer Testdienst behalten, aber
|
||||
erst nach zuverlässig vollständiger technischer Zustandsbewahrung als
|
||||
globalen Kompressor freigeben.
|
||||
|
||||
## Nachweise
|
||||
|
||||
|
||||
Reference in New Issue
Block a user