Installation auf einem frischen Debian-Host

Der automatisierte Weg ist install.sh. Das Skript ist für Debian 12/13 amd64 gedacht, installiert Docker CE, NVIDIA-Treiber/Container-Toolkit, WireGuard, baut llama.cpp reproduzierbar, lädt Modelle mit SHA256-Prüfung und startet den Stack.

Vorher klären

Die Universität muss den ausgehenden WireGuard-Tunnel erlauben.
Heimnetz, Universitätsnetz und Docker-Netz dürfen sich nicht überschneiden.
Der WireGuard-Heim-Peer braucht eine feste öffentliche Adresse oder DNS.
Für KI-Internetzugang über zuhause: Forwarding und NAT am Heim-Peer.
Das private Repository muss auf dem neuen Host lesbar sein.

Debian installieren

Debian 13 minimal, amd64, OpenSSH-Server, kein Desktop erforderlich.
Einen normalen Administrationsbenutzer mit sudo anlegen.
Optional bei physischem Fremdzugriff: LUKS-Verschlüsselung.
BIOS: Above 4G Decoding aktiv; beide GPUs sichtbar machen.

Konfiguration

git clone <PRIVATE-REPOSITORY-URL> AI-Profile-Router
cd AI-Profile-Router
cp config/install.env.example config/install.env
chmod 600 config/install.env
editor config/install.env

Mindestens ADMIN_USER, AI_BIND_ADDRESS, WG_ADDRESS, WG_PEER_PUBLIC_KEY, WG_ENDPOINT und WG_HOME_SUBNET anpassen. Private WireGuard-, Router- und WebUI-Schlüssel werden lokal erzeugt und nur unter /etc/mike-ai gespeichert.

Installation starten

sudo ./install.sh --config config/install.env

Wenn erstmals ein NVIDIA-Treiber installiert wurde, endet das Skript bewusst mit Code 20. Dann neu starten und denselben Befehl erneut ausführen. Das Skript ist auf Wiederholung ausgelegt und löscht keine vorhandenen Modelldateien.

Der Installer zeigt nur den öffentlichen WireGuard-Schlüssel. Diesen am Heim-Peer eintragen:

[Peer]
PublicKey = <AUSGABE-DES-INSTALLERS>
AllowedIPs = 10.77.0.2/32

Erst wenn der Tunnel steht, kann der Bootstrap fortfahren. API-Schlüssel werden nicht ausgegeben. Sie liegen root-only unter /etc/mike-ai.

Ergebnis und Abnahme

Open WebUI: http://<WIREGUARD-IP>:8080
Router: http://<WIREGUARD-IP>:8081
llama.cpp-WebUI: absichtlich deaktiviert und nicht veröffentlicht

sudo systemctl status wg-quick@wg0 mike-ai-network-guard
sudo docker compose --env-file /etc/mike-ai/stack.env \
  -f /opt/mike-ai/stack/compose.yaml ps
curl http://<WIREGUARD-IP>:8081/health

Zusätzlich prüfen: Uni-LAN sieht keine KI-Ports; Heimnetz erreicht beide; gestopptes WireGuard lässt KI-Container nicht ins Internet; jeder Profilwechsel startet exakt einen llama-Container; Text, Tool Call und Bild funktionieren.

Die öffentliche Standardkonfiguration nutzt UD-IQ4_XS. Das bislang schnellste Referenzprofil nutzt dagegen die lokal vorhandene IQ4-MIX-Datei. Für eine bitgenaue Migration diese Datei anhand der in CURRENT_REFERENCE.md dokumentierten SHA256 in das Modellverzeichnis kopieren und die drei *_MODEL_FILE-Werte anpassen. Der Installer löscht vorhandene Modelle nicht.

Open-WebUI-Daten liegen in einem Docker-Volume und müssen separat gesichert werden. Geheimnisse und Chatdaten gehören nie in Git.

3.1 KiB Raw Blame History