Validate Pure quant for 256K Ultra profile

2026-08-22 11:01:13 +02:00
parent f52cf14069
commit 977f8f5c76
9 changed files with 85 additions and 11 deletions
@@ -11,7 +11,8 @@ WireGuard-Isolation.
 - vier schaltbare Profilcontainer plus ein isolierter Experimentalcontainer;
  davon ist immer exakt ein Inferenzcontainer aktiv
 - `/fast`, `/medium`, `/long` und `/ultra` über den Profile Router
- `/ultra`: getestetes text-only 256K-Profil (IQ4-MIX, beide GPUs, 80:20); etwa 59 Token/s im Referenzlauf und erfolgreicher 220K-Prompt-Fülltest
+- `/ultra`: getestetes text-only 256K-Profil (IQ4_XS Pure, beide GPUs,
+  80:20); etwa 68 Token/s und erfolgreicher 220K-Prompt-Fülltest
 - Open WebUI als einzige normale Oberfläche
 - SearXNG/Web-MCP ohne externen API-Schlüssel
 - zentrale MCP-Werkzeugebene: getrennte Container für Web, HA, ARR, Unraid