Test Medium microbatch 256 against matched 512 control

docs/INFERENCE_OPTIMIZATION_TODO_20260920.md

@@ -41,3 +41,7 @@ Ein-Slot-Folgeversuche: [Bericht](DFLASH2_ONE_SLOT_20260920.md). Draft auf 5080
 ## Abschlussbewertung und nächste Priorität
 
 [Effizienzcheck](ATHENA_EFFICIENCY_REVIEW_20260920.md): Pure/MIX bleiben produktiv. Medium fällt beim Start wegen fehlender Rechenpuffer auf Betrieb ohne Pipeline-Parallelisierung zurück. Ein späterer Punkt-2-Test sollte gezielt Microbatch/Speicherreserve und tatsächlichen Durchsatz vergleichen. Native NVIDIA-NVFP4-Dateien umfassen 20,42 GiB; nur Kapazität geprüft, kein neuer Inferenzversuch. Keine weiteren Tests automatisch eingeplant.
+
+## Medium-Microbatch-Kurztest
+
+[512 gegen 256](MEDIUM_MICROBATCH_20260920.md): 256 lädt ohne vorherige Pufferfehler-Meldung, lässt aber nur 461 MiB auf der 5080 frei. Schutzabbruch vor Inferenz; kein Geschwindigkeitsgewinn belegt. 512 wiederhergestellt. Für einen eventuellen Folgetest zuerst mehr 5080-Reserve durch angepassten Split schaffen.

docs/MEDIUM_MICROBATCH_20260920.md

@@ -0,0 +1,71 @@
+# Medium: Microbatch 512 gegen 256 — Kurztest
+
+20.09.2026. **256 lädt ohne den bisherigen Pufferfehler, hat aber zu wenig
+Reserve für die festgelegte Testfreigabe. Deshalb keine produktive Umstellung
+und noch kein Geschwindigkeitsvergleich für 256.**
+
+Die echten Medium-Startargumente wurden vor dem Versuch aus Docker übernommen.
+Zwischen beiden Testarmen unterschied sich nachweislich nur `--ubatch-size`.
+Modell Pure, Kontext 160.000, zwei Slots mit gemeinsamem KV-Pool, Split 85:15,
+Vision auf 3060, MTP3, Flash Attention, q4_0-K/V, Batch 2048 und sechs Threads
+blieben gleich. Das Testendpoint war isoliert; TTS blieb auf 3060 resident.
+
+## Ergebnis
+
+| Prüfung | Microbatch 512 | Microbatch 256 |
+|---|---|---|
+| Modell geladen | ja | ja |
+| Meldung: Rückfall ohne Pipeline-Parallelisierung | ja | nicht aufgetreten |
+| 5080 belegt nach Laden | 15.704 MiB | 15.842 MiB |
+| 5080 frei nach Laden | 599 MiB | **461 MiB** |
+| 3060 belegt nach Laden, inklusive TTS | 10.918 MiB | 10.642 MiB |
+| Mindestreserve von 512 MiB erfüllt | ja | **nein** |
+| Inferenzaufgaben durchgeführt | ja | **nein, Schutzabbruch vorher** |
+
+Bei 512 reproduziert sich der bekannte abgefangene Rechenpufferfehler mit
+anschließendem Rückfall. Bei 256 fehlt diese Meldung; das Modell lädt erfolgreich.
+Die höhere Belegung der 5080 trotz kleinerer Microbatch ist mit einem anderen
+Rechenpuffer-/Pipeline-Pfad vereinbar. **Die Abwesenheit der Fehlermeldung allein
+beweist jedoch weder aktive Pipeline-Auslastung noch einen Geschwindigkeitsgewinn.**
+
+Der Abbruch bei 256 war eine Entscheidung des Testtreibers aufgrund der
+festgelegten Reserve, kein CUDA-OOM und kein Modellabsturz. Die Grenze wurde
+nicht abgesenkt, um doch noch eine Inferenz zu erzwingen. Auch die Reserve ist
+keine Garantie, dass jede Langkontext-/Vision-Anfrage passt.
+
+## Kleiner Kontrolllauf mit 512
+
+| Aufgabe | Messwert |
+|---|---:|
+| Deutsche Ausgabe, 768 Tokens | 57,2 tok/s |
+| Code-Ausgabe, 768 Tokens | 74,9 tok/s |
+| Prefill, 24.674 Eingabetokens | 1.782,0 tok/s |
+| Ausgabe nach dieser Eingabe, 512 Tokens | 54,8 tok/s |
+| Drei eingebaute Fakten wiedergefunden | 3/3 |
+
+Ein Lauf pro Aufgabe; kein umfassender Qualitätstest, kein Vollkontexttest und
+kein Test zweier gleichzeitiger Anfragen. Die Vision-Komponente war geladen,
+Bilder wurden nicht verarbeitet. TTFT wurde nicht separat gestreamt gemessen.
+Die Anfragen verwenden das gespeicherte Text-/Sampling-Protokoll mit deaktiviertem
+Promptcache; die Serverkonfiguration einschließlich RAM-Cache blieb unverändert.
+Die 512er-Kontrolle ist ein kleiner neuer Vergleichspunkt für das konkrete
+Medium-Profil und ersetzt oder verändert die bisherige Qwen-Referenz nicht.
+
+## Entscheidung und möglicher nächster Schritt
+
+**512 bleibt vorerst bestehen.** Ein alleiniger Wechsel auf 256 ist auf Basis
+dieses Tests nicht freigegeben. Für einen weiteren Versuch müsste zuerst mehr
+Reserve auf der 5080 geschaffen werden, etwa durch eine kleine Verschiebung
+weiterer Qwen-Schichten auf die 3060. Dann müsste 256 tatsächlich gemessen werden;
+auch dieser mögliche Schritt ist keine Zusage für einen Geschwindigkeitsgewinn.
+Kein weiterer Test wurde automatisch gestartet oder eingeplant.
+
+Das ursprüngliche Medium mit Microbatch 512 wurde wiederhergestellt. Medium,
+Router, Controller, Gateway und TTS gesund; Router readiness und minimale
+Modellantwort geprüft. Keine Xid-, Kernel-Panic-, OOM-Kill- oder
+GPU-fallen-off-Meldungen im geprüften Kerneljournal seit Testbeginn. Kein
+Host-Neustart und keine Treiber-/Kernel-/Netzwerkänderung.
+
+Rohdaten, genaue Argumente, GPU-Samples, Logs und Wiederherstellungsnachweis:
+`experiments/medium-microbatch-20260920/` im Repository und
+`/data/benchmarks/medium-microbatch-20260920/` auf Athena.