Registrierung Flashcards
(16 cards)
Was sind die Anwendungsgebiete von Registrierung?
Überblick
Registrierung in der Bildbearbeitung bezeichnet den Prozess, bei dem zwei oder mehr Bilder in einem gemeinsamen Koordinatensystem ausgerichtet werden. Ziel der Registrierung ist es, die Bilder so zu transformieren, dass sie geometrisch und inhaltlich übereinstimmen, sodass man Unterschiede oder Gemeinsamkeiten zwischen ihnen analysieren kann.
Anwendung:
- Identifizierung von Bildstrukturen (Objekterkennung, Objektwiedererkennung
- Zusammenführen von komplementären Informationen, z.B. in Medizin werden Bilder aus verschiedenen Verfahren gemerged.
- Detektion von Transformation und Deformation (z.B. Änderung der Tumorgröße bei Nachfolgeuntersuchung detektiert)
-Image-Stitching (Einzelbilder werden zu einem großen Bild gemerged)
- Erstellen von a-priori Modellen: Ich iteriere nach den statistisch wahrscheinlichsten Orientierung nach einem Modell der erwarteten Variabilität und setze dafür Landmarken deren Transformation ich iteriere. Diese Landmarken werden dann solange transformiert, bis bei allen die Übereinstimmung am statistisch wahrscheinlichsten ist, d.h die Ergebnisse am wenigsten streuen.
Welche Eigenschaften besitzen affine Transformationen und welche kennen Sie?
Affine Transformationen sind Abbildungen zwischen 2 affinen ( affin = durch Parallelprojektion einer Ebene auf eine zweite auseinander hervorgehend) Räumen, bei denen Parallelität und Teilverhältnisse erhalten bleiben.
Geradentreue:
Gerade Linien bleiben auch nach der Transformation gerade.
Verhältnistreue entlang von Linien:
Verhältnisse zwischen Punkten auf einer Linie (z. B. Teilungsverhältnisse) bleiben erhalten. Beispiel: Der Mittelpunkt einer Strecke bleibt der Mittelpunkt.
Abbildung paralleler Linien:
Parallele Linien im ursprünglichen Bild bleiben auch nach der Transformation parallel.
Lineare Struktur:
Die Transformation wird durch eine lineare Transformation (Matrixmultiplikation) und eine Translation beschrieben.
- Translation
- Rotation
- Skalierung
- Scherung
- Reflexion
Was ist eine Transformationsmatrix? Erläutern Sie die Schritte zur automatisierten Registrierung für eine spezifische Anwendungsdomäne
(???)
Eine Transformationsmatrix ist eine mathematische Matrix, die verwendet wird, um geometrische Transformationen auf Punkte, Vektoren oder Objekte in einem Koordinatensystem anzuwenden. Sie beschreibt, wie die Koordinaten eines Punktes oder eines Objekts in einem Koordinatensystem geändert oder transformiert werden.
Automatisierte Registrierung ist der Prozess, bei dem mehrere Datenquellen (z. B. Bilder, Punktwolken, medizinische Scans) so ausgerichtet werden, dass sie ein gemeinsames Koordinatensystem teilen.
Warum ist bei der Anwendung einer Transformationsmatrix zur Registrierung Interpolation erforderlich?
Bei der Anwendung einer Transformationsmatrix zur Registrierung ist Interpolation erforderlich, weil die Transformation eines Bildes in der Regel dazu führt, dass die ursprünglichen Gitterpunkte (Pixel) des Bildes nicht mehr exakt auf die neuen Koordinaten passen. Dies führt zu einer Lücke zwischen den diskreten Punkten im Bild, was bedeutet, dass neue Pixelwerte an den transformierten Positionen berechnet werden müssen.
Welche Arten der Interpolation kennen Sie? Erläutern Sie die bilineare Interpolation ausführlich.
- Nearest Neighbour Interpolation
Es ist die einfachste Form der Interpolation. Pixelwert in B(x,y) gemäß nächstgelegenem Pixel aus A (die euklidsche Distanz). Der Grauwert des Pixels im Eingabebild der den berechneten Koordinaten am nächsten liegt, wird übernommen. Ein Originalpixel kann seinen Grauwert an mehrere Pixel im Ergebnisbild abgeben.
● Vorteil: Das Verfahren ist rechnerisch äußerst unkompliziert (wenig Rechenaufwand)
● Nachteil: Aliasing-Effekte relativ stark, Blockbildung / Treppeneffekt - Bilinear Interpolation
Hierbei wird zwischen den gegebenen Pixel eine lineare Interpolation durchgeführt. Bilinear heißt das ganze, weil dies sowohl in x- als auch in y-Richtung geschieht. Das Ergebnis wirkt natürlicher als das des Nearest Neighbour Verfahrens, kann jedoch noch Treppenstrukturen aufweisen. Der Algorithmus ist sehr einfach und daher auch noch schnell.
Die bilineare Interpolation ist eine relativ einfache und effiziente Methode zur Bestimmung der Pixelwerte für neue Koordinaten, die nicht exakt auf dem Gitter liegen. Sie berechnet den Wert eines Pixels basierend auf einer gewichteten Durchschnittsbildung der vier benachbarten Pixel. - Kubische Interpolation
Die kubische Interpolation ist relativ kompliziert (die Werte der 4 x 4 umliegenden Pixel werden für Interpolation höherer Ordnung verwendet) und langsam aber das optische Ergebnis ist dafür von sehr guter Qualität
Anhand welcher Charakteristika kann eine Registrierung durchgeführt werden?
Registrierung anhand von Punkten und Konturen – Matching-Algorithmen
● Kanten aus Segmentierung
○ Point-to-Point
○ Points-to-many-Points
○ Surface-to-Points
● Mutual Information
● Originale Intensitäten → SSE (sum of squared errors)
● Optische Betrachtung bei manueller Segmentierung
Konzept: Kanten aus Segmentierung
Zuerst Segmentieren und von den segmentierten Ergebnissen noch weiter auf die umschließenden Kanten reduzieren oder direkt einen Kantendetektor anwenden (ohne Seg.). Noch einfacher geht die Registrierung, wenn korrespondierende Landmarken vorhanden sind.
Konzept: Anatomische Landmarken
Point-to-Point Funktionsweise
● Zwei Punktsätze zur Beschreibung der beiden Objekte definiert
● Punktsätze gleich groß, Punktpaare für beide Objekte korrespondieren Point-to-Point Anatomische Landmarken
● Wenn ausreichend Punkte zur Verfügung stehen ist dies eine Möglichkeit
● für medizinische Anwendungen nur durch Setzen von korrespondierenden anatomischen Landmarken möglich
Konzept: Distance Maps
Surface-to-Points
● Ausgewählte Punktmenge zur Beschreibung der Objektform in einem Bild und die komplette Kontur/Oberfläche im anderen Bild.
● Surface-Distance-Map und Chamfer-Matching-Algorithmus zur Registrierung Schneller als ICP
Konzept: Mutual Information
● Berechnung der Fitness bei der Registrierung direkt anhand der Intensitätswerte der Eingangsbilddatensätze
● Mutual Information als statistisches Maß zur Bewertung des Grades der Überlagerung
● Darstellung aktueller Registrierungsgüte mittels 2D Histogramm
Was ist eine Euklid’sche Distance Map und wie wird sie errechnet?
Die Euklidische Distance Map (EDM) ist ein Konzept aus der Bildverarbeitung, das die Distanz jedes Pixels in einem Bild zu einem Zielbereich (z. B. einem Objekt oder einer bestimmten Region) berechnet. Die Distanz wird nach der euklidischen Metrik (also der „Luftlinienentfernung“) bestimmt. Die EDM wird oft in der Segmentierung, Mustererkennung und Morphologie von Bildern verwendet.
- Direkte Berechnung (Brute-Force-Methode)
- Für jedes Pixel im Bild wird der Abstand zu allen Pixeln im Zielbereich berechnet.
- Der kleinste Abstand wird als Distanzwert des Pixels gespeichert. - Optimierte Berechnung: Chamfer Distance Map
- Die Chamfer-Methode ist eine Annäherung an die EDM, die schneller arbeitet, aber nicht exakt die euklidische Distanz liefert. Sie wird oft in zwei Durchgängen durchgeführt:
- Vorwärtsdurchgang: Die Distanzen zu den Zielpixeln „vor“ dem aktuellen Pixel werden berechnet.
- Rückwärtsdurchgang: Die Distanzen zu den Zielpixeln „hinter“ dem aktuellen Pixel werden ergänzt.
Welche Vorteile bringt eine Euklid’sche Distance Map bei der Registrierung?
Der Vorteile einer Distance Map ist die effiziente Berechnung der Registrierung. Fehlermetriken zur Bewertung der Übereinstimmung (Fitness)
Welche Fehlermetriken kennen Sie zur Bewertung der aktuellen Fitness bei der Registrierung?
- SSE: Sum of Squared Errors - Bilder überlagern. An jeder Pixelposition wird die quadrierte Differenzgebildet und aufsummiert
- Quadrierte Distanzen via ICP oder Distance Map
- Mutual Information: Berechnung der Fitness bei der Registrierung direkt anhand der Intensitätswerte der Eingangsbilddatensätze; Mutual Information als statistisches Maß zur Bewertung des Grades der Überlagerung; Darstellung aktueller Registrierungsgüte mittels 2D Histogramm
- Visuelle Beurteilung
Was ist Mutual Information?
Mutual Information (MI) ist ein Maß aus der Informationstheorie, das die gemeinsame Abhängigkeit zwischen zwei Zufallsvariablen beschreibt. In der Bildverarbeitung wird MI verwendet, um die Ähnlichkeit zwischen zwei Bildern zu bewerten, insbesondere bei der Registrierung von multimodalen Bilddaten (z. B. CT und MRT).
MI wird bei der Registrierung verwendet, um die Überlappung zwischen zwei Bildern zu maximieren. Der Grundgedanke ist, dass zwei perfekt registrierte Bilder eine höhere gemeinsame Information (MI) haben, da ihre Intensitätsverteilungen stärker korrelieren.
Wie kann MI bei der Registrierung eingesetzt werden und was sind die Vorteile?
- Histogramm-Berechnung:
- Erstelle ein gemeinsames 2D-Histogramm, das die Intensitätskombinationen der beiden Bilder darstellt.
- Achsen: Intensitätswerte von Bild XX und Bild YY.
- Werte: Häufigkeit der Intensitätskombinationen - Wahrscheinlichkeitsverteilungen berechnen
- MI berechnen
- Optimierung der Registrierung
Vorteile
Multimodale Bildregistrierung:
- MI erfordert keine gleiche Bildmodalität (z. B. CT und MRT), da es nur von der statistischen Abhängigkeit der Intensitäten abhängt.
- Anders als pixelbasierte Ansätze wie der Mean Squared Error (MSE) ist MI modalitätsunabhängig.
- Funktioniert gut bei verrauschten Bildern, da es auf globalen Wahrscheinlichkeiten basiert.
Wie kann die MI auch als Chart visualisiert werden?
2D-Histogramm zur Darstellung der gemeinsamen Verteilung
Ein 2D-Histogramm zeigt die Häufigkeit der Intensitätskombinationen zweier Bilder. Es wird als Wärmebild oder Farbdarstellung dargestellt:
Achsen: Intensitätswerte von Bild XX (x-Achse) und Bild YY (y-Achse).
Farbe/Wärme: Häufigkeit der Kombinationen.
