1.7 KiB
1.7 KiB
Roadmap: sauberer KI-Host
Phase 0 – Entscheidungen und Freigaben
- VPN-Nutzung mit der Universität abstimmen.
- Eindeutige Netze und Heim-WireGuard-Peer festlegen.
- Festplattenverschlüsselung und Remote-Unlock entscheiden.
- Repository- und Secret-Backup prüfen.
Phase 1 – Grundsystem
- Debian 13 minimal und OpenSSH installieren.
- Firmware/BIOS und beide NVIDIA-Karten prüfen.
- Updates, Zeitsynchronisation und administrativen Zugang testen.
Phase 2 – automatischer Bootstrap
config/install.envausfüllen.install.shausführen, bei Treiberinstallation neu starten und wiederholen.- WireGuard-Peer zuhause ergänzen.
- Docker-, GPU- und Fail-Closed-Netztest bestehen.
Phase 3 – Inferenz abnehmen
- Fast/Medium/Long mit derselben Testserie messen.
- Kontext, Prompt-Speed, Ausgabe-Speed und VRAM dokumentieren.
- RTX 3060 zuerst nur im Experimentalprofil testen.
- Erst nach Qualitäts- und Geschwindigkeitsvergleich Produktionswerte ändern.
Phase 4 – optionale Fähigkeiten
- Home-Assistant-MCP mit kleinsten Rechten.
- ARR-MCP zunächst read-only, Schreibaktionen mit Preview/Approval.
- Unraid-/Docker-Zugriff über begrenzte Broker statt Shell-MCP.
- Whisper, TTS oder Bildgenerierung jeweils als eigener Container.
Phase 5 – Betrieb
- Open-WebUI-Volume, Konfigurationen und Secrets verschlüsselt sichern.
- Image- und llama.cpp-Upgrades im Experimentalprofil testen.
- Logs ohne Prompts/Secrets, Metriken für GPU, RAM und Tokenraten.
- Recovery auf leerem Testsystem regelmäßig proben.
Fertig ist der Host erst, wenn er sich aus Repository und Secret-Backup neu erzeugen lässt, das Uni-Netz keine KI-Ports sieht, ein Tunnelverlust fail-closed ist und alle drei Profile den Standardbenchmark bestehen.