Limit prompt cache reuse to text-only profiles

This commit is contained in:
Mikei386
2026-08-25 19:26:48 +02:00
parent d921dfaf69
commit c25e57af57
6 changed files with 22 additions and 16 deletions
+8 -2
View File
@@ -44,8 +44,14 @@ Zielplattform.
- Flash Attention
- KV-Cache Q4_0 für K und V
- explizites Prompt-Caching mit 8.192 MiB profilinternem RAM-Cache
- `--cache-reuse 256` für die Wiederverwendung langer stabiler Präfixe trotz
kleiner späterer Abweichungen
- exakte Wiederverwendung bereits verarbeiteter Prompt-Präfixe über
`--cache-prompt`; Hermes trennt seinen System-Prompt zusätzlich in einen
stabilen, einen kontextabhängigen und einen flüchtigen Teil
- `--cache-reuse 256` nur in den text-only-Profilen Ultra und Experimental;
llama.cpp deaktiviert diese unscharfe Wiederverwendung ausdrücklich, sobald
ein Vision-Projektor geladen ist
- kein persistenter Slot-Cache auf Datenträger, bis die bekannten
llama.cpp-Restore-Regressions behoben sind
- MTP Draft, maximal drei Tokens
- MTP-Akzeptanzschwelle 0,05; im Referenzlauf 77,26 statt 73,88 Tok/s
- sechs Threads und sechs Batch-Threads
+9
View File
@@ -59,6 +59,15 @@ Für eine frische Anzeige muss Unraids eigener Statuslauf
`dynamix.docker.manager/scripts/dockerupdate check` abgeschlossen sein. Das ist
eine Aktualisierung der Anzeige und kein erneuter Container-Rebuild.
Auch nach diesem nativen Statuslauf kann Unraid einzelne Images weiterhin als
Update markieren, obwohl Container-Image-ID und lokale Tag-Image-ID identisch
sind. Das kommt insbesondere bei Registry-/Manifest- und Multiarch-Digest-
Vergleichen vor. In diesem Konfliktfall ist das Ergebnis von
`unraid_docker_update_verified_batch` nach dem Pull maßgeblich: identische
unveränderliche Image-IDs bedeuten `already-current`; ein weiterer Rebuild nur
zum Entfernen der GUI-Anzeige ist weder nötig noch erwünscht. Die GUI-Meldung
ist dann ausdrücklich als Fehlanzeige zu melden.
Ein wiederholter Lauf muss bei einem aktuellen Image folgendes melden:
```text