Expand router into reproducible local AI platform
This commit is contained in:
1 parent
a84220725a
commit
0e4a9de5ba
34 files changed
+2584
-31
No files matched your search
@@ -0,0 +1 @@
|
||||
4df29be4f4c3673f428170fda944a5b19f743bb8
|
||||
@@ -0,0 +1,31 @@
|
||||
# llama.cpp und Profile
|
||||
|
||||
Der produktive Build wird über `LLAMA_CPP_COMMIT` festgeschrieben. Damit ist
|
||||
ein Neuaufbau unabhängig vom jeweils aktuellen Stand des Upstream-Master.
|
||||
|
||||
## Build
|
||||
|
||||
```text
|
||||
sudo platform/llama/build-llama-cpp.sh
|
||||
```
|
||||
|
||||
Der Build aktiviert CUDA und den HTTP-Server. Änderungen am Commit werden erst
|
||||
nach Standardbenchmark, Tool-Calling-Test und Kontexttest übernommen.
|
||||
|
||||
## Produktive Modelle
|
||||
|
||||
- Fast und Long: Qwen3.8-27B IQ4-MIX mit MTP2
|
||||
- Medium: Qwen3.8-27B IQ4_XS Pure ohne MTP
|
||||
- Vision-Hotswap: Qwen3.8-27B Q3_K_M plus BF16-mmproj
|
||||
|
||||
Die Dateien selbst sind nicht Bestandteil des Repositories. Pfade und Hashes
|
||||
werden im lokalen Modellmanifest verwaltet.
|
||||
|
||||
## Profilinstallation
|
||||
|
||||
Die Vorlagen unter `platform/profiles` verwenden Umgebungsvariablen in einer
|
||||
gemeinsamen Environment-Datei. Für die aktuelle produktive Installation können
|
||||
sie alternativ als dokumentierte Referenz für vollständige systemd-Overrides
|
||||
verwendet werden.
|
||||
|
||||
Der Profilwechsel erfolgt ausschließlich über `platform/scripts/llama-profile`.
|
||||
Executable
+29
@@ -0,0 +1,29 @@
|
||||
#!/usr/bin/env bash
|
||||
set -euo pipefail
|
||||
|
||||
ROOT_DIR="${ROOT_DIR:-/opt/mike-ai}"
|
||||
SOURCE_DIR="${SOURCE_DIR:-$ROOT_DIR/llama.cpp}"
|
||||
BUILD_DIR="${BUILD_DIR:-$SOURCE_DIR/build}"
|
||||
REPO_URL="${REPO_URL:-https://github.com/ggml-org/llama.cpp.git}"
|
||||
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||||
COMMIT="$(tr -d '[:space:]' < "$SCRIPT_DIR/LLAMA_CPP_COMMIT")"
|
||||
|
||||
if [[ $EUID -ne 0 ]]; then
|
||||
echo "Dieses Skript muss als root ausgeführt werden." >&2
|
||||
exit 1
|
||||
fi
|
||||
|
||||
if [[ ! -d "$SOURCE_DIR/.git" ]]; then
|
||||
git clone "$REPO_URL" "$SOURCE_DIR"
|
||||
fi
|
||||
|
||||
git -C "$SOURCE_DIR" fetch --tags origin
|
||||
git -C "$SOURCE_DIR" checkout --detach "$COMMIT"
|
||||
|
||||
cmake -S "$SOURCE_DIR" -B "$BUILD_DIR" \
|
||||
-DGGML_CUDA=ON \
|
||||
-DLLAMA_CURL=ON \
|
||||
-DCMAKE_BUILD_TYPE=Release
|
||||
cmake --build "$BUILD_DIR" --config Release --parallel "$(nproc)"
|
||||
|
||||
"$BUILD_DIR/bin/llama-server" --version
|
||||
Reference in new issue
Block a user