47 lines
1.7 KiB
Markdown
47 lines
1.7 KiB
Markdown
# Roadmap: sauberer KI-Host
|
||
|
||
## Phase 0 – Entscheidungen und Freigaben
|
||
|
||
- VPN-Nutzung mit der Universität abstimmen.
|
||
- Eindeutige Netze und Heim-WireGuard-Peer festlegen.
|
||
- Festplattenverschlüsselung und Remote-Unlock entscheiden.
|
||
- Repository- und Secret-Backup prüfen.
|
||
|
||
## Phase 1 – Grundsystem
|
||
|
||
- Debian 13 minimal und OpenSSH installieren.
|
||
- Firmware/BIOS und beide NVIDIA-Karten prüfen.
|
||
- Updates, Zeitsynchronisation und administrativen Zugang testen.
|
||
|
||
## Phase 2 – automatischer Bootstrap
|
||
|
||
- `config/install.env` ausfüllen.
|
||
- `install.sh` ausführen, bei Treiberinstallation neu starten und wiederholen.
|
||
- WireGuard-Peer zuhause ergänzen.
|
||
- Docker-, GPU- und Fail-Closed-Netztest bestehen.
|
||
|
||
## Phase 3 – Inferenz abnehmen
|
||
|
||
- Fast/Medium/Long mit derselben Testserie messen.
|
||
- Kontext, Prompt-Speed, Ausgabe-Speed und VRAM dokumentieren.
|
||
- RTX 3060 zuerst nur im Experimentalprofil testen.
|
||
- Erst nach Qualitäts- und Geschwindigkeitsvergleich Produktionswerte ändern.
|
||
|
||
## Phase 4 – optionale Fähigkeiten
|
||
|
||
- Home-Assistant-MCP mit kleinsten Rechten.
|
||
- ARR-MCP zunächst read-only, Schreibaktionen mit Preview/Approval.
|
||
- Unraid-/Docker-Zugriff über begrenzte Broker statt Shell-MCP.
|
||
- Whisper, TTS oder Bildgenerierung jeweils als eigener Container.
|
||
|
||
## Phase 5 – Betrieb
|
||
|
||
- Open-WebUI-Volume, Konfigurationen und Secrets verschlüsselt sichern.
|
||
- Image- und llama.cpp-Upgrades im Experimentalprofil testen.
|
||
- Logs ohne Prompts/Secrets, Metriken für GPU, RAM und Tokenraten.
|
||
- Recovery auf leerem Testsystem regelmäßig proben.
|
||
|
||
Fertig ist der Host erst, wenn er sich aus Repository und Secret-Backup neu
|
||
erzeugen lässt, das Uni-Netz keine KI-Ports sieht, ein Tunnelverlust
|
||
fail-closed ist und alle drei Profile den Standardbenchmark bestehen.
|