Add tested 256K Ultra profile

2026-08-22 10:44:14 +02:00
parent a194a2941d
commit f52cf14069
12 changed files with 111 additions and 13 deletions
@@ -8,8 +8,10 @@ WireGuard-Isolation.

 - Debian 13 als schlanker GPU-Host
 - llama.cpp selbst gebaut und auf einen geprüften Commit festgelegt
- vier getrennte Profilcontainer, davon immer exakt einer aktiv
- `/fast`, `/medium`, `/long` und `/experimental` über den Profile Router
+- vier schaltbare Profilcontainer plus ein isolierter Experimentalcontainer;
+  davon ist immer exakt ein Inferenzcontainer aktiv
+- `/fast`, `/medium`, `/long` und `/ultra` über den Profile Router
+- `/ultra`: getestetes text-only 256K-Profil (IQ4-MIX, beide GPUs, 80:20); etwa 59 Token/s im Referenzlauf und erfolgreicher 220K-Prompt-Fülltest
 - Open WebUI als einzige normale Oberfläche
 - SearXNG/Web-MCP ohne externen API-Schlüssel
 - zentrale MCP-Werkzeugebene: getrennte Container für Web, HA, ARR, Unraid