Roadmap: sauberer KI-Host

Phase 0 – Entscheidungen und Freigaben

VPN-Nutzung mit der Universität abstimmen.
Eindeutige Netze und Heim-WireGuard-Peer festlegen.
Festplattenverschlüsselung und Remote-Unlock entscheiden.
Repository- und Secret-Backup prüfen.

Phase 1 – Grundsystem

Debian 13 minimal und OpenSSH installieren.
Firmware/BIOS und beide NVIDIA-Karten prüfen.
Updates, Zeitsynchronisation und administrativen Zugang testen.

Phase 2 – automatischer Bootstrap

config/install.env ausfüllen.
install.sh ausführen, bei Treiberinstallation neu starten und wiederholen.
WireGuard-Peer zuhause ergänzen.
Docker-, GPU- und Fail-Closed-Netztest bestehen.

Phase 3 – Inferenz abnehmen

Fast/Medium/Long mit derselben Testserie messen.
Kontext, Prompt-Speed, Ausgabe-Speed und VRAM dokumentieren.
RTX 3060 zuerst nur im Experimentalprofil testen.
Erst nach Qualitäts- und Geschwindigkeitsvergleich Produktionswerte ändern.

Phase 4 – optionale Fähigkeiten

Zentrale MCP-Werkzeugebene gemäß ARCHITECTURE.md aufbauen.
Schlanken mcp-gateway nur über WireGuard veröffentlichen.
web-mcp als unabhängigen Standard-Werkzeugcontainer betreiben.
Home Assistant als getrennte Read-/Write-Instanzen desselben Images.
ARR als getrennte Read-/Write-Instanzen mit Preview/Approval.
Unraid-Diagnose und bewusst aktivierbare Administration trennen.
Terminal ausschließlich als isolierten sandbox-mcp, nie als Host-Shell.
Open WebUI, Hermes und weitere Clients mit denselben zentralen Endpunkten verbinden und pro Chat nur benötigte Werkzeuggruppen aktivieren.
Whisper, TTS oder Bildgenerierung jeweils als eigener Container.

Phase 5 – Betrieb

Open-WebUI-Volume, Konfigurationen und Secrets verschlüsselt sichern.
Image- und llama.cpp-Upgrades im Experimentalprofil testen.
Logs ohne Prompts/Secrets, Metriken für GPU, RAM und Tokenraten.
Recovery auf leerem Testsystem regelmäßig proben.

Fertig ist der Host erst, wenn er sich aus Repository und Secret-Backup neu erzeugen lässt, das Uni-Netz keine KI-Ports sieht, ein Tunnelverlust fail-closed ist und alle drei Profile den Standardbenchmark bestehen.

2.2 KiB Raw Blame History Unescape Escape