michael/AI-Profile-Router
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Default Athena profiles to one inference slot

Browse Source
This commit is contained in:
Mikei386
2026-08-30 22:11:55 +02:00
parent 014583e7f6
commit 8be1cd6a6f
4 changed files with 9 additions and 11 deletions
Download Patch File Download Diff File Expand all files Collapse all files
.env.example
+1 -1
View File
@@ -52,7 +52,7 @@ EXPERIMENTAL_GPU_DEVICES=0
LLAMA_THREADS=6 LLAMA_THREADS=6
LLAMA_THREADS_BATCH=6 LLAMA_THREADS_BATCH=6
FAST_PARALLEL_SLOTS=1 FAST_PARALLEL_SLOTS=1
MEDIUM_PARALLEL_SLOTS=2 MEDIUM_PARALLEL_SLOTS=1
LARGE_PARALLEL_SLOTS=1 LARGE_PARALLEL_SLOTS=1
ULTRA_PARALLEL_SLOTS=1 ULTRA_PARALLEL_SLOTS=1
UNCENSORED_PARALLEL_SLOTS=1 UNCENSORED_PARALLEL_SLOTS=1
README.md
+6 -8
View File
@@ -68,8 +68,8 @@ Einstellung liegt auf Athena in `/etc/mike-ai/stack.env`:
MEDIUM_PARALLEL_SLOTS=1 MEDIUM_PARALLEL_SLOTS=1
``` ```
Für einen späteren erneuten Paralleltest wird der Wert auf `2` gesetzt und nur Für einen späteren erneuten Paralleltest genügt es, den Wert auf `2` zu setzen
das betroffene Profil neu erstellt: und ausschließlich das aktuell betroffene Profil neu zu erstellen:
```bash ```bash
sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env sed -i 's/^MEDIUM_PARALLEL_SLOTS=.*/MEDIUM_PARALLEL_SLOTS=2/' /etc/mike-ai/stack.env
@@ -77,13 +77,11 @@ cd /opt/mike-ai/stack
docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium docker compose --env-file /etc/mike-ai/stack.env up -d --no-deps --force-recreate llama-medium
``` ```
Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben Befehlen und Zurück zum stabilen Ein-Slot-Betrieb geht es mit denselben zwei Befehlen und
`MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt. `MEDIUM_PARALLEL_SLOTS=1`. `--kv-unified` ist bereits im Compose-Stack gesetzt.
Zwei Slots funktionieren direkt am Router; Hermes verwaltete zwei gleichzeitig Zwei Slots wurden direkt am Router erfolgreich getestet; Hermes verwaltete zwei
aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der Standard, gleichzeitig aktive Chats jedoch nicht zuverlässig. Deshalb bleibt ein Slot der
bis Hermes' Sitzungsfehler behoben ist. Standard, bis Hermes' Sitzungsfehler behoben ist.
Router-API: `http://<WireGuard-IP>:8081/v1`
## Endpunkte ## Endpunkte
compose.yaml
+1 -1
View File
@@ -186,7 +186,7 @@ services:
- --ubatch-size - --ubatch-size
- "${MEDIUM_UBATCH_SIZE:-128}" - "${MEDIUM_UBATCH_SIZE:-128}"
- --parallel - --parallel
- "${MEDIUM_PARALLEL_SLOTS:-2}" - "${MEDIUM_PARALLEL_SLOTS:-1}"
- --kv-unified - --kv-unified
- --jinja - --jinja
- --reasoning - --reasoning
config/install.env.example
+1 -1
View File
@@ -100,7 +100,7 @@ EXPERIMENTAL_CONTEXT=76800
LLAMA_THREADS=6 LLAMA_THREADS=6
LLAMA_THREADS_BATCH=6 LLAMA_THREADS_BATCH=6
FAST_PARALLEL_SLOTS=1 FAST_PARALLEL_SLOTS=1
MEDIUM_PARALLEL_SLOTS=2 MEDIUM_PARALLEL_SLOTS=1
LARGE_PARALLEL_SLOTS=1 LARGE_PARALLEL_SLOTS=1
ULTRA_PARALLEL_SLOTS=1 ULTRA_PARALLEL_SLOTS=1
UNCENSORED_PARALLEL_SLOTS=1 UNCENSORED_PARALLEL_SLOTS=1