Limit prompt cache reuse to text-only profiles
This commit is contained in:
@@ -44,8 +44,14 @@ Zielplattform.
|
||||
- Flash Attention
|
||||
- KV-Cache Q4_0 für K und V
|
||||
- explizites Prompt-Caching mit 8.192 MiB profilinternem RAM-Cache
|
||||
- `--cache-reuse 256` für die Wiederverwendung langer stabiler Präfixe trotz
|
||||
kleiner späterer Abweichungen
|
||||
- exakte Wiederverwendung bereits verarbeiteter Prompt-Präfixe über
|
||||
`--cache-prompt`; Hermes trennt seinen System-Prompt zusätzlich in einen
|
||||
stabilen, einen kontextabhängigen und einen flüchtigen Teil
|
||||
- `--cache-reuse 256` nur in den text-only-Profilen Ultra und Experimental;
|
||||
llama.cpp deaktiviert diese unscharfe Wiederverwendung ausdrücklich, sobald
|
||||
ein Vision-Projektor geladen ist
|
||||
- kein persistenter Slot-Cache auf Datenträger, bis die bekannten
|
||||
llama.cpp-Restore-Regressions behoben sind
|
||||
- MTP Draft, maximal drei Tokens
|
||||
- MTP-Akzeptanzschwelle 0,05; im Referenzlauf 77,26 statt 73,88 Tok/s
|
||||
- sechs Threads und sechs Batch-Threads
|
||||
|
||||
@@ -59,6 +59,15 @@ Für eine frische Anzeige muss Unraids eigener Statuslauf
|
||||
`dynamix.docker.manager/scripts/dockerupdate check` abgeschlossen sein. Das ist
|
||||
eine Aktualisierung der Anzeige und kein erneuter Container-Rebuild.
|
||||
|
||||
Auch nach diesem nativen Statuslauf kann Unraid einzelne Images weiterhin als
|
||||
Update markieren, obwohl Container-Image-ID und lokale Tag-Image-ID identisch
|
||||
sind. Das kommt insbesondere bei Registry-/Manifest- und Multiarch-Digest-
|
||||
Vergleichen vor. In diesem Konfliktfall ist das Ergebnis von
|
||||
`unraid_docker_update_verified_batch` nach dem Pull maßgeblich: identische
|
||||
unveränderliche Image-IDs bedeuten `already-current`; ein weiterer Rebuild nur
|
||||
zum Entfernen der GUI-Anzeige ist weder nötig noch erwünscht. Die GUI-Meldung
|
||||
ist dann ausdrücklich als Fehlanzeige zu melden.
|
||||
|
||||
Ein wiederholter Lauf muss bei einem aktuellen Image folgendes melden:
|
||||
|
||||
```text
|
||||
|
||||
Reference in New Issue
Block a user