michael/AI-Profile-Router
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

Add final Qwen3.8 runtime and uncensored profile

Browse Source
This commit is contained in:
Mikei386
2026-08-23 00:10:53 +02:00
parent 1a9d94d22f
commit 2ef894160a
57 changed files with 10089 additions and 54 deletions
Download Patch File Download Diff File Expand all files Collapse all files
platform/llama/README.md
+12 -3
View File
@@ -14,9 +14,18 @@ nach Standardbenchmark, Tool-Calling-Test und Kontexttest übernommen.
## Produktive Modelle
- Fast und Long: Qwen3.8-27B IQ4-MIX mit MTP2
- Medium: Qwen3.8-27B IQ4_XS Pure ohne MTP
- Alle Profile: integrierte Vision mit demselben BF16-mmproj im System-RAM
- Fast: Qwen3.8-27B IQ4-MIX mit MTP2
- Medium und Large: Qwen3.8-27B IQ4_XS Pure mit MTP3
- Ultra: Qwen3.8-27B IQ4_XS Pure mit MTP2 und maximalem Textkontext
- Uncensored: Blackfrost Qwen3.8-27B Abliterated Q4_K_M mit MTP2
- Fast, Medium, Large und Uncensored: integrierte Vision; der jeweilige
Projektor liegt vollständig auf der RTX 3060
Die produktive Runtime ist auf Commit
`3f545beccee69d9975f466ec7e45fd9aacd8ba90` festgeschrieben. Gegen den
vorherigen Commit waren Antworten und Geschwindigkeit praktisch identisch;
übernommen wurde er wegen der Qwen-/MTP-/Multimodal-Korrekturen und des
expliziten `--mmproj-device`.
Die Dateien selbst sind nicht Bestandteil des Repositories. Pfade und Hashes
werden im lokalen Modellmanifest verwaltet.