CMOS-Sensoren, Debayering, Raw-Daten Flashcards
Welche unterschiedlichen Zielsetzungen haben TV und Filmworkflow?
Weshalb?
TV-Workflow
- > Display referred
- Direkte Anwendungsmöglichkeiten ohne Bearbeitungsschritte (Life-Sendungen etc…)
- Standardisierte Bandbreiten und Farbräume: ITU BT-Rec. 709 (HDTV), (Rec. 2020, UHDTV)
- Display-referred: Lichtwerte der Szenen werden bei der Aufnahme an Wiedergabestandards angepasst
- > Postproduktion nicht zwingend notwendig, Standardisierung aller Geräte
-> Ziel: Schnelle und direkte Wiedergabe für Life-TV und Broadcasting, gute Bildqualität
___________________
Film-Workflow:
-> Scene-referred:
- Bestmögliche Bildqualität für Aufnahme und Wiedergabe (Seherlebnis!), deswegen erweiterter Dynamikumfang, Farbdarstellung, spatiale Auflösung, temporale Auflösung
- Postproduktion zwingend notwendig
- Scene-referred: Lichtwerte werden wie in der Szene aufgenommen, daher Postproduktion notwendig
- > Ziel: Maximale Bildqualität, bestes Seherlebnis für Auswertung in Projektion
- > hohe Flexibilität für Bearbeitung in Postproduktion
Welche 3 Optionen gibt es für den Filmworkflow bei digitaler Bildaufzeichnung? (Datenaufzeichnung)
- Videoaufzeichnung im HDTV-Standard (ITU BT-Rec.709), UHDTV (Red.2020)
-> display-referred (schneller Workflow ohne Postproduktion möglich), Video Codecs
-> schnell und günstig
__________________
- Videoaufzeichnung mit Log-Gammakodierung
-> Scene-referred (Postproduktion notwendig!), Video Codecs
-> effizient und hochwertig
__________________
- RAW-Datenaufzeichnung
-> Scene-referred (Postproduktion notwendig!!)
-> am hochwertigsten, da möglichst umbeschnittene Daten aufgezeichnet werden:
=> aufwändig und teuer
Wie sehen Sensoren Licht?
Lichtempfindliche Fotozellen (photosites), also analoge Bauteile, nehmen Ladung auf (mV), wenn Photonen sie treffen -> nur Helligkeitswerte.
Ladung (analoges Signal) wird an A/D-Wandlern hinterm Sensor in lineare digitale diskrete Signale umgesetzt (Quantisierung)
-> lineare Aufzeichnung von Ladung.
Die Ladungsaufnahmekapazität ist begrenzt: Whiteclipping
Welche 3 Bauformen für farbsehende Sensoren gibt es?
CCD:
-> 3 CCD-Prisma
-> fertig prozessierte RGB Signale
-> Broadcasting
______________
CMOS:
-> Apertur wie 35mm-Film
-> CFA-Farbmosaik:
Processing nötig
-> SLS ("Filmlook")
\_\_\_\_\_\_\_\_\_\_\_\_\_
Foveon:
- > übereinander liegende Farblayer (Ansatz wie bei Filmemulsionen)
- > keine Verbreitung in der Praxis
Wie funktioniert ein CMOS Sensor, was ist der Vorteil zu einem CCD Sensor?
Jede einzelne Fotozelle ist mit einem eigenen Transistor ausgestattet.
Nachteil:
-> Schlechterer Füllfaktor
Vorteil:
-> Gezielte Ladungsabfuhr mit unterschiedlicher Verstärkung pro Fotozellemöglich: High Dynamic Range
-> Durch möglichen Zugriff auf jeden einzelnen Bildpunkt kann eine nicht lineare Ladungszunahme erreicht werden. (z.B. hohe Lichtenergie kann mit geringerer Verstärkung versehen werden, geringe Lichtenergie kann gezielt verstärkt werden).
=> höhere Dynamik erreichbar gegenüber CCD, trotz schlechterem Füllfaktor
-> Über die Steuerung gezielter Ladungsabfuhr kann die resultierende Ladung (Licht einer Szene) logarithmisch von der Beleuchtungsstärke abhängen.
Der Belichtungsumfang ist dann mit 170dB sogar größer möglich, als der des menschlichen Auges
=> HDR CMOS
-> Es ist dabei noch eine kostengünstige Anfertigung von großen Bilddiagonalen möglich
=> Vorteile für Filmkameras (z.B. „Dual Gain Architektur“)
Nenne Vor- und Nachteile von CCD und CMOS Sensoren.
CCD
Vorteile:
- > hohe Lichtausbeute
- > Geringes Rauschen (da nur ein A/D-Wandler)
- > Wenig Defektpixel (aufgrund einfacher Sensorstruktur)
Nachteile:
-> langsamere Auslesezeiten als CMOS (da nur ein A/D-Wandler digitalisiert)
-> Hohe Herstellungskosten
-> Blooming und Smearing bei -> Überbelichtung
-> Hoher Stromverbrauch
-> Für einige CCD-Typen hoher baulicher Aufwand
-> Komplexer Kameraaufbau (Prisma)
_______________
CMOS
- > schnelleres Auslesen (-> somit höhere Frameraten)
- > Pixelgenaues Auslesen
- > Geringer Stromverbrauch
- > Weniger anfällig für Blooming
- > Geringer baulicher Aufwand
- > Geringere Herstllungskosten
Nachteile:
- > geringere Lichtempfindlichkeit (kleiner Füllfaktor)
- > Stärker rauschanfällig, da pro Pixel ein Verstärker („Pixel Crosstalk“) durch fehlgeleitete Strahlen
- > Anfällig für Pixeldefekte
Was ist der Füllfaktor?
-> ist die Maßeinheit für die Fläche des lichtempfindlichen Teils des Pixels.
Der Füllfaktor eines Pixels in einem CMOS Sensor ist kleiner, da ein Großteil des Pixels mit Strukturen zum Auslesen bzw. zur Umwandlung oder Digitalisierung der Ladung bestückt ist.
Bei diesen Sensoren werden deshalb teilweise pro Pixel Mikrolinsen verwendet, um das Licht auf den empfindlichen Bereich zu fokussieren und so den Füllfaktor wieder zu erhöhen.
Diese Mikrolinsen verursachen aber gleichzeitig unterschiedliche Herausforderungen:
=> Vignettierungen, Pixel Crosstalk (Wenn Photonen, die auf ein Pixel fallen, fälschlicherweise von anderen Pixeln daneben wahrgenommen werden), Streulicht, Beugungserscheinungen, reduzierte MTF
Wie funktioniert ein Bayer Sensor?
- Fotozellen sind nur lichtempfindlich, werden mit RGB-Farbfiltern versehen die nur die jeweilige Farbe durchlassen: Farbtrennung in R, G und B pro Fotozelle
- Die Anzahl der grünempfindlichen Fotozellen ist doppelt so hoch wie RB
=> Rot- und Blaukanal sind dadurch schlechter aufgelöst
=>Systemimmanenter Unterschied z.B. zu analogem Film oder 3 CCD: Fehlende Farbwerden müssen nachgerechnet, also interpoliert (geschätzt) werden!
______________
Debayering:
Fotozellen sind noch keine Pixel, erst nach der Interpolation entstehen einzelne RGB „Pixel“. Das bedeutet, dass nur 33% der Informationen direkt „gemessen“ werden können. 67% der Farben und Tonwerte werden mathematisch geschätzt!
Weshalb bringt der Debayering Prozess Verluste mit sich und wie müsste man dies in der Kamera ausgleichen?
Der Bildverarbeitungsprozess des Debayerings ist rechenintensiv und zeitaufwändig.
Er bringt durch die rechnerische Interpolation einen hohen Verlust (ca. 30%!) der Farbauflösung und der „Nativen“ Ortsauflösung mit sich (abhängig von der Qualität des Debayeringalgorithmus)
=> Überabtastung der Zielauflösung erforderlich für sehr gute Ergebnisse (20-50% - Nyquist-Shannon Abtasttheorem) Praktische Anwendung:
Die „native“ Auflösung eines Kamerasensors mit CFA sollte idealerweise ca. 20-50% über der Auflösung des Zielformats liegen, um eine optimale Bildqualität liefern zu können.
In der Praxis werden trotzdem anderweitig gute Ergebnisse produziert (s. Interpolation, Algorithmen)
Nennen Sie 3 unterschiedliche Debayering-Methoden als Beispiel um volle Helligkeits- und Farbinformationen pro Pixel eines CFA-Bildes zu errechnen.
Superpixel
-> verwendet 4 CFA-Pixel für einen RGB-Pixel
-> spatiale Auflösung des errechneten RGB-Bildes ist nur noch 1/4 der “nativen” Auflösung
______________
Bilinear
-> Interpolationsmethode enthält die originale Auflösung durch Verrechnung umliegender Pixel
-> tendiert aber zu unscharfen Bildern und Farbartefakten an Kontrastkanten
-> sehr schnell
________________
Variable Number of Gradients (VNG)
-> verarbeitet zuerst Hellwerte umliegender Pixel, vergleicht diese und fügt zuletzt die interpolierte Farbinfo hinzu
-> Kontrastkanten werden besser verarbeitet und weniger Farbartefakte sowie Farbrauschen generiert
Nennen Sie zwei unterschiedliche Debayering-Methoden in der Anwendung.
Methode 1:
RAW-Material Aufnahme in der Kamera und Speicherung auf XR Capture Drive
=> externes Debayering in der Postproduktion
_____________
Methode 2:
RAW-Material Aufnahme in der Kamera mit internal real time Debayering und anschließende Komprimierung in einem Codec (z.B. ProRes), dann Speicherung auf C-Fast 2.0 Card
Nennen Sie die Unterschiede zwischen Video („Baked-In“) vs. RAW (Metadaten).
Bei RAW-Aufnahme werden die an der Kamera vorgenommenen Einstellung nicht in das Material „verbacken“, sondern alle relevanten Metadaten mit dem Video zusammen, jedoch separat übertragen. Dies ermöglicht eine genauere Verarbeitung in der Postproduktion.
Nennen Sie die Bearbeitungsschritte von RAW-Daten („Digitales Negativ“) zu RGB-Bildern (Videosignale) beim in- Camera Videoworkflow-Processing.
- Dead Pixel Removal:
- > Tote Pixel werden mit Farbinformationen der nächsten Pixel interpoliert
- Noise Reduction:
- > Frühe Bearbeitung vereinfacht spätere nonlineare Arbeitsschritte (Starke Rauschunterdrückung verschlechtert jedoch die Detailauflösung)
- Linearization:
- > Ausgleich spezifischer Sensor Charakteristika (Knee)
- ————————- - Blacklevel Subtraction:
Ausgleich von Fehlersignalen z.B. aus thermalem Rauschen und elektrischen Interferenzen
————————— - De-Mosaic zu RBG:
(s. o., Frühe Bearbeitung vereinfach spätere nonlineare Arbeitsschritte)
Welche wichtigen Parameter der Bildbestimmung können (und müssen!) bei RAW-Daten in der Postproduktion festgelegt werden?
Weißabgleich
- > Farbton auf der Planckschen Kurve
Farbraum
- > Festlegung des Zielfarbraums (z.B. P3, Rec. 2020, Rec. 709, …)
Sensorempfindlichkeit
- > Verstärkung der Signale (Gain)
Rauschunterdrückung
- > Denoising (z.B. Szenenabhängig möglich)
Kantenschärfung
-> Detail (z.B. Szenenabhängig möglich)
Nennen Sie die Bearbeitungspunkte von RAW-Daten (während des De-Mosaic-Processings) zu RGB-Video-Signalen.
Objektiv-Korrekturen
(Chromatische Aberrationen, Verzerrungen)
————————
Cropping
(Formatskonvertierungen)
————————
Scaling
(Up- oder Down)
————————
Weißabgleich
(Farbton)
————————
Color Conversion
(Farbkonvertierung auf diverse Farbräume)
————————
Color Enhancements
(z. B. Hauttöne, Himmelsblau)
- ———————–
Toning Curve
(z. B. Kontrastanhebung)
- ———————–
Gamma Curve
(z. B. Kodierung zu Rec. 709)
- ———————–
Kantenaufsteilung
(Detail)
————————
Clip to fewer Bits
(Reduktion der Bittiefe)
————————
Lossy Compression
(Datenreduktion auf Ziel-Datenrate)
