Add dedicated Hermes compression model

2026-08-26 00:45:32 +02:00
parent e872829b11
commit 43d9903d13
8 changed files with 120 additions and 3 deletions
@@ -10,6 +10,9 @@ zusammen mit dem übrigen Appdata gesichert.
 - `compose.yaml` ist der einzige Einstieg für die KI-Dienste auf Athena.
 - Genau ein llama.cpp-Profil ist aktiv. Der Router schaltet zwischen Fast,
  Medium, Large, Ultra und Uncensored.
+- Ein unabhängiges Qwen3.5-2B-Modell auf der RTX 3060 komprimiert Hermes-Chats
+  über `http://192.168.1.212:8099/v1`. Es läuft ohne Thinking mit 65K Kontext
+  und blockiert dadurch weder Router noch das aktive 27B-Hauptmodell.
 - Der **Athena Operator** bleibt als einziger hostgebundener administrativer
  MCP direkt auf Athena. MCPHub veröffentlicht seinen vorhandenen
  WireGuard-HTTP-Endpunkt zentral unter `/mcp/athena-operator`; es gibt keinen