52 lines
2.8 KiB
Markdown
52 lines
2.8 KiB
Markdown
# LLM-Sampling und Penalties
|
|
|
|
Unter Chat & Sprachmodelle → Profile → Bearbeiten sind Temperatur, Top-p,
|
|
Top-k und im Abschnitt **Penalties** diese Werte editierbar:
|
|
|
|
| Feld | Neutral | Bedeutung |
|
|
|---|---:|---|
|
|
| Wiederholungs-Penalty (`repeat_penalty`) | 1,0 | Über 1 dämpft bereits erzeugte Tokens |
|
|
| Presence-Penalty | 0 | Berücksichtigt, ob ein Token bereits vorkam |
|
|
| Frequency-Penalty | 0 | Berücksichtigt, wie oft ein Token bereits vorkam |
|
|
|
|
Die Profilwerte gelten im Testchat und am OpenAI-kompatiblen Chat-Endpunkt.
|
|
Explizite Werte eines API-Clients haben Vorrang. `repeat_penalty` ist eine
|
|
llama.cpp-Erweiterung, Presence und Frequency sind OpenAI-Felder. Es gibt keine
|
|
Hermes-spezifische Übersetzung. Neue Felder werden bei älteren Profilen mit
|
|
neutralen Werten ergänzt; das Speichern verändert keine GPU-Einstellungen.
|
|
Backup/Restore übernimmt die Parameter zusammen mit den Profilen.
|
|
|
|
## Geprüfte Empfehlungen (2026-10-01)
|
|
|
|
| Gewichte | Temperatur | Top-p | Top-k | Wiederholung | Presence | Frequency |
|
|
|---|---:|---:|---:|---:|---:|---:|
|
|
| Qwen3.8 27B, Thinking | 1,0 | 0,95 | 20 | 1,0 | 0 | 0 |
|
|
| Gemma 4 31B IT | 1,0 | 0,95 | 64 | 1,0 | 0 | 0 |
|
|
|
|
Quellen: [Qwen](https://huggingface.co/Qwen/Qwen3.8-27B#best-practices),
|
|
[Gemma](https://huggingface.co/google/gemma-4-31B-it#best-practices),
|
|
[llama.cpp-API](https://github.com/ggml-org/llama.cpp/blob/master/tools/server/README.md).
|
|
Qwen nennt Wiederholung 1,0 und Presence 0 für Thinking ausdrücklich. Frequency
|
|
0 ist ein neutraler Deck-Wert, keine gesonderte Modellkarten-Empfehlung.
|
|
Gemma nennt keine abweichenden Penalties; dort bleiben sie neutral.
|
|
|
|
Die verwendeten MIX- und JonathanColetti-Quantisierungen nennen keine eigenen
|
|
Sampling-Empfehlungen; die Werte des Qwen-Basismodells werden übernommen.
|
|
Für Qwen ohne Thinking empfiehlt die Modellkarte stattdessen Temperatur 0,7,
|
|
Top-p 0,8, Top-k 20, Presence 1,5 und Wiederholung 1,0. Deck schaltet die
|
|
Profilwerte bei einer einzelnen Anfrage mit ausgeschaltetem Thinking nicht
|
|
automatisch um. Bei Bedarf ein eigenes Profil mit diesen Werten speichern.
|
|
OBLITERATUS-Empfehlungen werden nicht auf andere unzensierte Varianten übertragen.
|
|
|
|
## Bestehende Installation gezielt konfigurieren
|
|
|
|
`python3 deploy/configure_llm_sampling.py --installation /opt/athena-deck-dev/runtime`
|
|
zeigt die geplanten Änderungen. `--apply` schreibt sie ausschließlich, wenn der
|
|
zugehörige Deck-Container gestoppt ist, und sichert vorher die Profildatei.
|
|
Unbekannte Modellquellen und Nicht-Chat-Profile bleiben unberührt. Das optionale
|
|
`--add-large-ultra` ergänzt die vom alten Router angeforderten Large-/Ultra-Profile
|
|
auf Basis des geprüften Medium-Modells; API-Freigaben werden nicht geändert.
|
|
|
|
Bild-, Video-, Trenn-, STT- und derzeitige Audio-Profile besitzen keine solchen
|
|
Sampling-Felder. Die Implementierung fügt ihnen keine wirkungslosen Optionen hinzu.
|