Preserve Athena Qwen baseline and document ByteShape comparison

2026-09-20 20:50:08 +02:00
parent 82c50962bf
commit 980f339ea4
99 changed files with 2288 additions and 0 deletions
@@ -0,0 +1,57 @@
+# Feste Athena-Qwen-Referenz vom 20.09.2026
+
+**Bei weiteren Modelltests diese Ergebnisse wiederverwenden. Qwen nicht automatisch erneut benchmarken.**
+Referenz-ID: `athena-qwen38-reference-20260920-v1`.
+
+Die sieben abgeschlossenen Pure-/IQ4-MIX-Konfigurationen sind in `manifest.json`
+aufgelistet. Jede enthält Konfiguration, vollständige Originalantworten samt
+Reasoning, Server-Timings, Walltime, GPU-Samples und Serverlog. Die Dateien sind
+verlustfrei gzip-komprimiert. Gewichte selbst werden nicht ins Git aufgenommen;
+SHA256, Dateigröße und Athena-Pfad stehen in `reference-environment.json`.
+
+## Für den nächsten Kandidaten
+
+1. `python3 benchmarks/athena-qwen38-reference-20260920/verify_reference.py`
+   prüft die archivierten Dateien lokal, ohne SSH/GPU/Modellaufruf.
+2. Passende Referenzkonfiguration auswählen: Pure für kontrollierte
+   Quantisierungsvergleiche; MIX für das vorhandene Fast-Textprofil.
+3. Die gespeicherten Request-Payloads aus `frozen-requests.json.gz` verwenden.
+   Nur Modellname/Endpoint an den Kandidaten anpassen; Sampling, Thinking und
+   Ausgabelimits unverändert lassen oder Abweichungen ausdrücklich ausweisen.
+4. Neue Antworten getrennt speichern und anhand `QUALITY_REVIEW.md` sowie
+   der vorhandenen Originalantworten beurteilen. Bewertet werden auch
+   Begründungen und Fehlerpfade, nicht nur richtige Endurteile.
+5. Prefill, Generierung, Eingabelänge, Walltime, Kontext und GPU-Speicher
+   dokumentieren. Fremde Tokenizer produzieren andere Tokenzahlen: dieselben
+   Texte verwenden und zusätzlich Walltime vergleichen. Tok/s allein ist dann
+   kein fairer modellübergreifender Geschwindigkeitsvergleich.
+
+Die Requests wurden nach den Messungen aus dem damaligen Testcode und demselben
+Tokenizer rekonstruiert, **ohne die Inferenztests zu wiederholen**. Enthalten sind
+neun Qualitätsaufgaben, drei Follow-ups, zwei Decode-Aufgaben, ein Tool-Test und
+neun feste Langkontext-Eingaben; die beiden zusätzlichen langen Eingaben gehören
+zum ByteShape-Vergleich. Fallkonfigurationen bestimmen, welche Requests tatsächlich
+pro Referenzfall ausgeführt wurden. Ein Request im Paket ist allein noch kein
+Nachweis einer Messung. Der 50176-Fall enthält zweimal dieselbe 49152-Eingabe.
+
+## Gültigkeit und Grenzen
+
+Die Referenz gilt für die dokumentierte Hardware, Laufzeit und Einstellungen.
+Änderungen an Treiber, Hardware, Last oder Messprotokoll beim nächsten Test als
+Vergleichseinschränkung nennen. Bei einem bewussten Laufzeitwechsel wird die
+Gesamtpipeline verglichen. Eine neue Qwen-Messreihe ist nur bei begründetem
+Rekalibrierungsbedarf erforderlich; dann neue Referenzversion anlegen, diese
+niemals überschreiben.
+
+Text, ein Slot, q4_0-KV und kein Vision-Projektor: Die Werte sind kein Benchmark
+des parallelen Medium-Produktivbetriebs mit zwei Slots und Vision. TTS blieb auf
+der 3060 resident. Qualitätsstichprobe für Pure, keine eigene vollständige
+IQ4-MIX-Qualitätsprüfung, keine BF16-Referenz. Drei gefundene Fakten beweisen keine
+allgemeine Denkfähigkeit über das ganze Kontextfenster. Größter bestandener
+Kontext ist ein getesteter Betriebspunkt, keine garantierte Speichergrenze.
+
+Ausführlicher Vergleich: [ByteShape-Bericht](../../docs/QWEN38_BYTESHAPE_AB_20260920.md).
+Kandidaten-Rohdaten und Testtreiber: `../../experiments/byteshape-20260920/`.
+Die später ergänzte VRAM-Schutzprüfung ist im Testtreiber dokumentiert; sie war
+noch nicht Bestandteil der historischen Messungen. `restore-verification.json`
+belegt die abschließende Wiederherstellung und Kernelprüfung.