Files
GrowthLapse/docs/VISUELLE_KONTINUITAET.md
T

55 lines
7.0 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Korrektur der Bildverarbeitung – Version 0.4.3
Die Prüfung realer Aufnahmen hat Grenzen der ursprünglichen Kontinuitätsautomatik gezeigt. Ab 0.4.3 haben saubere Farben, Kamerastabilisierung und ausreichend Platz um den Kopf Vorrang vor gleicher Gesichtsgröße.
- HDR wird bei aktivierter Stabilisierung vor der ersten 8-Bit-Zwischendatei nach SDR umgewandelt. Stabilisierung und Export arbeiten danach in SDR; es erfolgt keine zweite HDR-Umwandlung. Ohne Stabilisierung geschieht die Umwandlung ebenfalls vor Beschleunigung und Skalierung.
- Die HDR-Umwandlung glättet Farbrauschen räumlich und zeitlich, während die Helligkeitsinformation praktisch ungeglättet bleibt. Dithering reduziert Quantisierungsstufen beim Wechsel nach 8 Bit. Das kann schwankende Farbflecken mindern, ersetzt aber keine Korrektur stark wechselnder Beleuchtung im Original.
- VidStab analysiert das ganze Bild. Der frühere ausgeschnittene Hintergrund-Anker wurde entfernt, da Analyse und Transform sonst unterschiedliche Drehzentren verwenden. Alte Ankerwerte bleiben zur Dateikompatibilität lesbar, haben aber keine Wirkung mehr. Der von VidStab berechnete Sicherheitszoom bleibt pro Clip konstant.
- Die gemeinsame Zielgröße wird nicht mehr automatisch von 26 % auf bis zu 38 % erhöht. Zusätzlicher Gesichtszoom ist auf 1,12× gegenüber dem passenden Bildformat begrenzt; notwendiger Formatbeschnitt und VidStab-Sicherheitszoom sind davon getrennt.
- Gesichtsausschnitte bleiben pro Clip fest. Sie folgen nicht mehr jeder Kopfbewegung und drehen Kopfneigung nicht gerade. Eine Reserve über und neben den erkannten Gesichtern berücksichtigt Haare und Bewegung, soweit das Ausgangsmaterial genug Rand bietet.
- Der Cache wird wegen der geänderten Verarbeitung neu aufgebaut. Ein normaler Projektrender erhält die ausgewählten Segmente.
Die folgenden Abschnitte beschreiben die Einführung der Funktionen in 0.4.0; bei abweichendem Verhalten gelten die obigen Korrekturen.
# Visuelle Kontinuität – Version 0.4.0
Ziel ist ein ruhiger Wachstumsfilm trotz wechselndem Aufnahmeabstand, Kopfhaltung und Hintergrund. Apple Vision bleibt die Grundlage für Gesichtserkennung und Augenmerkmale; FFmpeg setzt die Bildtransformationen um. Alter und Datum werden noch nicht eingeblendet.
## Arbeitsablauf
1. Ordner, Ausgabe und gewünschte Parameter auswählen.
2. „Clips analysieren“ erstellt ein bearbeitbares Projekt ohne Videoexport. Bei einem neuen Import werden passende Ausschnitte gemeinsam geplant. Bei einem vorhandenen Projekt bleiben manuelle Ausschnitte erhalten.
3. Hinweise in der Clip-Liste prüfen, bei Bedarf „Nur Hinweise“ aktivieren und vorgeschlagene Segmentstarts übernehmen. Ein Hinweis ist kein automatischer Ausschluss.
4. „Entwurf erstellen“ rendert einen separaten Film mit maximal 640 Pixeln an der längsten Seite und höchstens 15 FPS. Die Übergangs-Schaltflächen springen kurz vor die jeweilige Überblendung. „Clip prüfen“ führt zum zugehörigen Ausschnitt zurück.
5. „Projekt rendern“ erzeugt die finale Ausgabe mit den gewählten Ausschnitten. „Segmente neu planen“ erlaubt ausdrücklich eine neue automatische Auswahl.
Die erste Bildanalyse kann bei langen Aufnahmen dauern. Gespeicherte Messungen werden bei unveränderten Quellen wiederverwendet. Der Entwurf nutzt eine eigene temporäre Ausgabe und verändert weder das finale Video noch dessen Projekt oder Cache. Er ist für Rhythmus, Ausschnitte und Übergänge gedacht; Schärfe und Bewegung müssen zusätzlich in voller Auflösung geprüft werden.
## Unterschiedliche Aufnahmeabstände
„Gesichtsgröße normalisieren“ aktiviert die vorhandene Vision-basierte Nachführung. „Gemeinsame Gesichtsausrichtung“ ergänzt ein Ziel für die gesamte Folge: Gesichtsgröße und Augenlinie. Die Auswertung berücksichtigt Quellformat und verfügbaren Bildrand. Eine einzelne extreme Nahaufnahme darf die Zielgröße nicht beliebig für alle anderen Clips vergrößern.
Bei fehlendem Bildrand begrenzt die App Zuschnitt und Drehung und zeigt einen Hinweis. Ein sehr kleines Gesicht wird beim Vergrößern nicht detailreicher; starke Vergrößerung wird ebenfalls markiert. Die Augenlinie ist ein Ziel innerhalb dieser Grenzen. Starke Kopfwendungen lassen sich nicht durch zweidimensionale Drehung frontal machen.
## Übergänge und problematische Clips
Die Auswahl bewertet Gesichtsqualität und Kopfhaltung an den Grenzen benachbarter Ausschnitte gemeinsam. Sie arbeitet mit Stichproben, nicht mit jedem Einzelbild. Gewählte Ausschnitte mit zu wenigen Stichproben werden genauer analysiert. Ohne verwertbare Gesichtserkennung bleibt der bisherige Ausschnitt erhalten.
Hinweise umfassen fehlende oder mehrere Gesichter, unsichere Augenmerkmale, starke Kopfwendung, Bewegung, auffällige Übergänge und Grenzen der Vergrößerung. Bei mehreren Personen wird derzeit das größte Gesicht für die Lage ausgewertet; eine sichere Identitätszuordnung ist nicht implementiert. Die Personenauswahl muss dann manuell geprüft werden.
## Farbangleichung bei wechselnden Hintergründen
Die Helligkeitsmessung erfolgt in einem verkleinerten Bereich innerhalb des erkannten Gesichts. Der Hintergrund dient nicht als Referenz. Weißabgleich wird nur aus ausreichend vorhandenen, wenig gesättigten Pixeln innerhalb dieses Bereichs abgeleitet. Es gibt keine feste Soll-Hautfarbe.
Die resultierende Korrektur gilt für das ganze Clipbild. Bei voller Stärke ist die Helligkeitskorrektur auf ±0,06 und die Rot-/Blau-Gammakorrektur auf 0,94–1,06 begrenzt; Standardstärke ist 50 %. Ohne sichere Messung oder bei mehreren Gesichtern entfällt die Korrektur für diese Stichprobe. HDR-Clips werden weder korrigiert noch als Farbreferenz genutzt; die vorhandene SDR-Konvertierung bleibt aktiv.
Damit werden kleinere Unterschiede gedämpft. Starke Mischbeleuchtung, farbige Schatten, echte Veränderungen der Hautfarbe und wechselnde Hintergründe lassen sich damit nicht vollständig vereinheitlichen. Die Korrektur kann abgeschaltet werden.
## Speicherung und Prüfung
Projektschema 3 speichert die neuen Einstellungen, Messungen und Hinweise. Ältere Projekte bleiben lesbar und erhalten die neuen Optionen nicht ungefragt beim Laden; diese lassen sich anschließend einschalten. Die globalen Standardwerte aktivieren die neuen Kontinuitätsoptionen.
Automatisierte Integrationstests prüfen unter anderem die gemeinsame Auswahl, Grenzen bei unterschiedlichen Abständen, identische Gesichtsmessung vor verschiedenfarbigen Hintergründen, begrenzte Farbkorrekturen, fehlende Gesichter und Entwürfe ohne Veränderung bestehender Ergebnisse. Bestehende Tests für Cache, Audio, Überblendung, Abbruch und Fehlerwiederherstellung laufen weiterhin. Analyse, Entwurfsvorschau und Rücksprung zum Problemclip wurden zusätzlich in der App mit synthetischen Clips geprüft.
Die ästhetische Qualität muss noch mit realen Aufnahmen aus der vorgesehenen Serie beurteilt werden. Synthetische Tests belegen die technischen Abläufe, nicht die Erkennungsqualität bei jedem Gesicht oder jeder Beleuchtung.