Expand router into reproducible local AI platform

This commit is contained in:
Mikei386 committed 2026-08-20 12:56:53 +02:00
1 parent a84220725a
commit 0e4a9de5ba
34 files changed
+2584 -31

No files matched your search

+1
View File
@@ -0,0 +1 @@
4df29be4f4c3673f428170fda944a5b19f743bb8
+31
View File
@@ -0,0 +1,31 @@
# llama.cpp und Profile
Der produktive Build wird über `LLAMA_CPP_COMMIT` festgeschrieben. Damit ist
ein Neuaufbau unabhängig vom jeweils aktuellen Stand des Upstream-Master.
## Build
```text
sudo platform/llama/build-llama-cpp.sh
```
Der Build aktiviert CUDA und den HTTP-Server. Änderungen am Commit werden erst
nach Standardbenchmark, Tool-Calling-Test und Kontexttest übernommen.
## Produktive Modelle
- Fast und Long: Qwen3.8-27B IQ4-MIX mit MTP2
- Medium: Qwen3.8-27B IQ4_XS Pure ohne MTP
- Vision-Hotswap: Qwen3.8-27B Q3_K_M plus BF16-mmproj
Die Dateien selbst sind nicht Bestandteil des Repositories. Pfade und Hashes
werden im lokalen Modellmanifest verwaltet.
## Profilinstallation
Die Vorlagen unter `platform/profiles` verwenden Umgebungsvariablen in einer
gemeinsamen Environment-Datei. Für die aktuelle produktive Installation können
sie alternativ als dokumentierte Referenz für vollständige systemd-Overrides
verwendet werden.
Der Profilwechsel erfolgt ausschließlich über `platform/scripts/llama-profile`.
+29
View File
@@ -0,0 +1,29 @@
#!/usr/bin/env bash
set -euo pipefail
ROOT_DIR="${ROOT_DIR:-/opt/mike-ai}"
SOURCE_DIR="${SOURCE_DIR:-$ROOT_DIR/llama.cpp}"
BUILD_DIR="${BUILD_DIR:-$SOURCE_DIR/build}"
REPO_URL="${REPO_URL:-https://github.com/ggml-org/llama.cpp.git}"
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
COMMIT="$(tr -d '[:space:]' < "$SCRIPT_DIR/LLAMA_CPP_COMMIT")"
if [[ $EUID -ne 0 ]]; then
echo "Dieses Skript muss als root ausgeführt werden." >&2
exit 1
fi
if [[ ! -d "$SOURCE_DIR/.git" ]]; then
git clone "$REPO_URL" "$SOURCE_DIR"
fi
git -C "$SOURCE_DIR" fetch --tags origin
git -C "$SOURCE_DIR" checkout --detach "$COMMIT"
cmake -S "$SOURCE_DIR" -B "$BUILD_DIR" \
-DGGML_CUDA=ON \
-DLLAMA_CURL=ON \
-DCMAKE_BUILD_TYPE=Release
cmake --build "$BUILD_DIR" --config Release --parallel "$(nproc)"
"$BUILD_DIR/bin/llama-server" --version