Rebuild profile router as secure recoverable v2
This commit is contained in:
+24
-1
@@ -20,12 +20,19 @@ Clients verbinden sich mit:
|
||||
http://HOST:8081/v1
|
||||
```
|
||||
|
||||
Als API-Key verwenden sie den Inhalt von `/etc/mike-ai/router-api-key` über
|
||||
Bearer-Authentifizierung. Der Key gehört in den Secret-Store des Clients,
|
||||
nicht in Chat, Repository oder URL. Eine Rotation erfolgt atomar durch
|
||||
Ersetzen der Datei und Neustart des Routerdienstes.
|
||||
|
||||
Sie sollen nicht direkt Port 8080 verwenden, weil sie sonst Profilumschaltung,
|
||||
Vision, Bildgenerierung, STT und TTS umgehen.
|
||||
|
||||
## Status
|
||||
|
||||
- `GET /status`: Router, Profil, Upstream, aktive Jobs
|
||||
- `GET /health`: Routerprozess lebt; bleibt bei geplantem Hotswap grün
|
||||
- `GET /ready`: Router und Textmodell sind einsatzbereit
|
||||
- `GET /status`: authentifizierter Detailstatus, Profil, Upstream, aktive Jobs
|
||||
- `GET /v1/models`: virtuelle Modelle
|
||||
- llama.cpp-Metriken: Port 8080, nur im administrativen Netz freigeben
|
||||
- systemd-Journal: nur Metadaten und Fehler prüfen; keine Promptinhalte sammeln
|
||||
@@ -35,6 +42,22 @@ Vision, Bildgenerierung, STT und TTS umgehen.
|
||||
Niemals Build, Quantisierung und Profil gleichzeitig ändern. Immer genau eine
|
||||
Variable ändern und anschließend denselben Benchmark ausführen.
|
||||
|
||||
Profilkontext und Alias werden zusätzlich in
|
||||
`/etc/mike-ai/router-profiles.json` gepflegt. Änderungen an Override und
|
||||
Registry gehören in denselben getesteten Commit; andernfalls verweigert die
|
||||
Readiness bewusst die Freigabe.
|
||||
|
||||
## Fehler- und Recovery-Verhalten
|
||||
|
||||
- Ein Profilwechsel bricht ab, wenn laufende Chats nicht innerhalb des
|
||||
Drain-Timeouts enden. Er beendet niemals absichtlich einen Chat.
|
||||
- Nach einem Routerabsturz wird das letzte stabile Profil aus der atomaren
|
||||
Zustandsdatei rekonstruiert.
|
||||
- `/health = 200`, aber `/ready = 503` bedeutet: Router lebt, Modell ist noch
|
||||
nicht bereit oder wird gerade gewechselt.
|
||||
- `429` bedeutet, dass die Parallelitätsgrenze erreicht ist; der Client soll
|
||||
mit Backoff erneut versuchen.
|
||||
|
||||
## Kapazitätsregeln
|
||||
|
||||
- Systempartition dauerhaft unter 85 Prozent halten.
|
||||
|
||||
Reference in New Issue
Block a user