From 8be1cd6a6f767837996296df74cc945e39f1b43e Mon Sep 17 00:00:00 2001 From: Mikei386 <44135113+Mikei386@users.noreply.github.com> Date: Sun, 30 Aug 2026 21:57:54 +0200 Subject: [PATCH] Default Athena profiles to one inference slot --- .env.example | 2 +- README.md | 14 ++++++-------- compose.yaml | 2 +- config/install.env.example | 2 +- 4 files changed, 9 insertions(+), 11 deletions(-) diff --git a/.env.example b/.env.example index f8418bc..bcbb2d9 100644 --- a/.env.example +++ b/.env.example @@ -52,7 +52,7 @@ EXPERIMENTAL_GPU_DEVICES=0 LLAMA_THREADS=6 LLAMA_THREADS_BATCH=6 FAST_PARALLEL_SLOTS=1 -MEDIUM_PARALLEL_SLOTS=2 +MEDIUM_PARALLEL_SLOTS=1 LARGE_PARALLEL_SLOTS=1 ULTRA_PARALLEL_SLOTS=1 UNCENSORED_PARALLEL_SLOTS=1 diff --git a/README.md b/README.md index ba4e68a..4b63564 100644 --- a/README.md +++ b/README.md @@ -68,8 +68,8 @@ Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`: MEDIUM_PARALLEL_SLOTS=1 ``` -Für einen späteren erneuten Paralleltest wird der Wert auf `2` gesetzt und nur -das betroffene Profil neu erstellt: +Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen +und ausschließlich das aktuell betroffene Profil neu zu erstellen: ```bash sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env @@ -77,13 +77,11 @@ cd /opt/mike-ai/stack docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium ``` -Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben Befehlen und +Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und `MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt. -Zwei Slots funktionieren direkt am Router; Hermes verwaltete zwei gleichzeitig -aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der Standard, -bis Hermes' Sitzungsfehler behoben ist. - -Router-API: `http://:8081/v1` +Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei +gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der +Standard, bis Hermes' Sitzungsfehler behoben ist. ## Endpunkte diff --git a/compose.yaml b/compose.yaml index 55113c0..17bfbf1 100644 --- a/compose.yaml +++ b/compose.yaml @@ -186,7 +186,7 @@ services: - --ubatch-size - "${MEDIUM_UBATCH_SIZE:-128}" - --parallel - - "${MEDIUM_PARALLEL_SLOTS:-2}" + - "${MEDIUM_PARALLEL_SLOTS:-1}" - --kv-unified - --jinja - --reasoning diff --git a/config/install.env.example b/config/install.env.example index e12c4e6..7ea4cd5 100644 --- a/config/install.env.example +++ b/config/install.env.example @@ -100,7 +100,7 @@ EXPERIMENTAL_CONTEXT=76800 LLAMA_THREADS=6 LLAMA_THREADS_BATCH=6 FAST_PARALLEL_SLOTS=1 -MEDIUM_PARALLEL_SLOTS=2 +MEDIUM_PARALLEL_SLOTS=1 LARGE_PARALLEL_SLOTS=1 ULTRA_PARALLEL_SLOTS=1 UNCENSORED_PARALLEL_SLOTS=1