Erfassung und Verarbeitung dreidimensionaler Daten

Aus II-Wiki
Version vom 7. Februar 2008, 20:10 Uhr von Sonne (Diskussion | Beiträge) (Intensitätsbasierte Verfahren (KA 1 - 27))
Wechseln zu: Navigation, Suche

Inhaltsverzeichnis

Vorstellung des Fachgebietes (E 1 - 11)

absolut uninteressant ;)


Einführung (1 - 14 & TW 17 - 18)

Anatomie des Auges

sollte weitreichend bekannt sein

Stereosehen

Horopter:

  • imaginäre 3D-Kurve im Raum
  • sie geht durch die Knotenpunkte der beiden Augen und den Fixationspunkt
  • Punkte auf dem Horopter werden stets auf korrespondierende Punkte auf beiden Netzhäuten abgebildet
  • nicht auf dem Horopter liegende Punkte gehören nicht zu korrespondieren Bildpunkten und führen zu Doppelbildern
    • außerhalb: nicht gekreuzte Doppelbilder
    • innerhalb: gekreuzte Doppelbilder

EV3D-Horopter.jpg

Zyklopenauge:

  • liegt auch auf dem Horopter
  • befindet sich in der Mitte der beiden Augen, senkrecht zum Fixationspunkt

EV3D-Zyklopenauge.jpg

Tiefenwahrnehmung

  • Tiefeninformation kann mittels zweier Bilder gewonnen werden (menschliches binokulares Sehen)

Panum-Bereich:

  • der Bereich um den Horopter, in dem eine Fusion der Stereobilder möglich ist
  • wird dieser Bereich überschritten kommt es zu einer binokularen Rivalität, bei der sich eine monokulare Ansicht schließlich durchsetzt

EV3D-Panum.jpg

Disparität:

  • bezeichnet die Differenz zwischen den seitlichen Positionen eines Objektes, welches auf die Retina/Bildebene des linken und rechten Auges abgebildet wird
  • Objekte auf dem Horopter haben stets die Disparität Null

Datei:EV3D-Disparität.jpg

Epipolarlinie:

  • die Linie die korrespondierende Punkte zweier Bilder verbindet

EV3D-Epipolarlinie.jpg

Probleme beim Tiefensehen (Korrespondenproblem)

  • Fehlzuordnung der Schnittpunkte der Sehgeraden, führt zu falscher Objekttiefe
  • bei n Merkmalen pro Auge ergeben sich n! mögliche Zuordnungen
  • aber jede Zuordnung führt zu einer anderen räumlichen Interpretation
  • jedoch nur eine ist richtig

EV3D-Korrespondenzproblem.jpg

Technische Grundsätze der 3D-Datenerfasung (Ü-TGA 1 - 34)

  • größtenteils nur Beispiele gezeigt

optische 3D-Messverfahren

EV3D-optische 3D Messverfahren.jpg

Verarbeitung von 3D-Daten

siehe auch Kapitel 14 - dort werden die Verfahren genauer beschrieben

  1. Detektion von Ausreißern
    • Beseitigung zwingend erforderlich
    • stören Folgeoperationen erheblich
  2. Registrierung von Teilansichten
    • Ganzkörpererfassung erfordert mehrere Teilansichten
    • Marken nur in Ausnahmesituationen möglich
    • Problem: es existieren keine korrespondieren Punkte
  3. Homogenisierung
    • Entfernen oder Zusammenfassen von Punkten unter Beachtung von Objektstruktur und verfügbarer Punktdichte
  4. Regularisierung, Verdichtung
    • Problem: fehlende Messwerte durch Fehlmessung oder hoher räumlicher Gradient in Messrichtung
    • Lösung: Interpolation zur Erzeugung gleichmäßiger Punktdichten
  5. Segmentierung von Regelgeometrien und Randkurven
    • Regelgeometrien z.B. Kugel, Zylinder, Quader, Ebene, etc.
    • Trennung der Objekte/Punktwolken in Freiformanteile (für Weiterverarbeitung wichtig)
    • Handsegmentierung führt zu erheblichen Fehlern
  6. Triangulation
    • bedeutsam für Beschreibung von Freiformflächen
    • 2,5D-Daten leicht triangulierbar
    • bei 3D-Daten schwieriger
  7. Homogenisierung von Triangulationen
  8. Vermessung von Regelgeometrien
    • Extraktion von 3D-Merkmalen
    • Extraktion der Paramter der Regelgeometrien aus segmentierten Teilpunktewolken
    • Vergleich mit CAD-Daten


Geometrische Transformationen (GT 1 - 18)

Bedeutung:

  • affine Transformationen zur Beschreibung der geometrischen Anordnung der Elemente (Messgeräte, Lichtquellen, etc.)
  • planare Projektionen zur Beschreibung der Abbildung in der Kamera
  • beides zusammen bildet Basis für 3D-Rekonstruktion

Affine Transformationen:

  • zur Modellierung komplexer Szenen müssen Objekte verschoben, gedreht, skaliert und gespiegelt werden
  • meist auch Transformation von Koordinatensystemen notwendig
  • deshalb affine Transformationen nutzen:
    • Translation
    • Rotation
    • Skalierung
    • Scherung
    • Spiegelung

Affine Abbildungen

  • Objekte in einer Ebene E1, die auf eine parallele Ebene E2 abgebildet werden sind kongruent

EV3D-Parallelprojektion.jpg

  • wenn E2 aber nicht parallel zu E1 ist ergibt sich eine affine Verwandschaft zwischen den Objekten

EV3D-Affine Verwandschaft.jpg

Eigenschaften:
  • Geraden bleiben Geraden
  • parallele Geraden bleiben parallel
  • Teilverhältnisse der Abstände zwischen entsprechenden Punkten auf einer Geraden bleibt gleich
  • Abstände selbst bleiben nicht gleich
  • Winkel zwischen Geraden bleiben nicht erhalten

Fazit: Eine affine Abbildung lässt sich durch eine lineare Transformation (Rotation, Skalierung, Scherung, Spiegelung) und eine Translation realisieren.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline {P'} = \underline{\underline{R}} \cdot \underline {P} + \underline {T} }

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{pmatrix} x' \\ y' \\ z' \end{pmatrix} = \begin{bmatrix} cos {\varphi} & -sin {\varphi} & 0\\ sin {\varphi} & cos {\varphi} & 0\\ 0 & 0 & 1 \end{bmatrix} \cdot \begin{pmatrix} x \\ y \\ z \end{pmatrix} + \begin{pmatrix} t_x \\ t_y \\ t_z \end{pmatrix} }

Beispiele für affine Transformationen

  • Translation: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline T \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline T = \begin{pmatrix} 1 & 0 & 0 & t_x \\ 0 & 1 & 0 & t_y \\ 0 & 0 & 1 & tz \\ 0 & 0 & 0 & 1 \end{pmatrix}} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P = \begin{pmatrix} x \\ y \\ z \\ 1 \end{pmatrix} }
  • Skalierung: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline S \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline S = \begin{pmatrix} S_x & 0 & 0 & 0 \\ 0 & S_y & 0 & 0 \\ 0 & 0 & S_z & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}}
  • Eine korrekte Skalierung funktioniert nur, wenn sich das zu skalierende Objekt im Ursprung des Koordinatensystems befindet.
  • Wenn sich das Objekt nicht im Ursprung befindet, muss man es zuerst durch eine Translation in den Ursprung verschieben, dann skalieren und wieder zurückschieben: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P' = \underline T_{-F} \cdot \underline S \cdot \underline T_F \cdot \underline P }
  • Man kann die einzelnen Transformationsmatrizen zusammenfassen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle M = \underline T_{-F} \cdot \underline S \cdot \underline T_F }
  • Rotation um die z-AchseFehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline R \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline T = \begin{pmatrix} cos \varphi & -sin \varphi & 0 & 0 \\ sin \varphi & cos \varphi & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}}

planare Projektionen

  • die planare Transformation macht es möglich aus 2D-Bildern 3D-Daten zu extrahieren
  • dadurch können 3D-Objekte berührungslos vermessen werden
  • benötigt wird hierfür:
    • Parallelprojektion
    • Zentralprojektion
  • für eine einfache Handhabung der Zentralprojektion sind projektive Räume und homogene Koordinaten notwendig

Parallel- & Zentralprojektion

  • Abbildung des Raumes auf die Ebene lässt sich durch Parallel- oder Zentralprojektion realisieren

Parallelprojektion:

  • ähnelt affinen Transformationen
  • mit Dimensionsreduktion verbunden
  • stellt den Grenzfall für den Augpunkt im Unendlichen dar
  • technische Realisierung: telezentrische Abbildung

Zentralprojektion:

  • wesentliche Unterschiede zu affinen Transformationen
  • jeder Objektpunkt wird durch seine Raumtiefe dividiert
  • Parallelität der Geraden und gleiche Teilverhältnisse der Abstände bleiben nicht erhalten

Projektive Räume und homogene Koordinaten

Probleme bei affinen Transformationen:

  • mathematische Operationen können nicht zu einer Matrix zusammengefasst werden
  • Ebene Projektionen sind nicht integrierbar
  • Unendlich ferne Punkte, Geraden, Ebenen etc. sind analytisch nicht beschreibbar

Deshalb Einführung von projektiven Räumen und homogenen Koordinaten

Ziel:

  • Vereinheitlichung der Transformationen
  • Integration der genannten Aspekte

Konstruktion der projektiven Ebene: [...]

// ich habe noch nicht rausgefunden was er uns eigentlich sagen will


3D-Datenerfasung (mbs 1 - 50)

EV3D-3D-Datenerfassung.jpg

Monokulare Verfahren

Shape from motion - Optical Flow

  • Bewegungswahrnehmungen sind wesentliche Elemente zur visuellen Interpretation der Umwelt
  • d.h. durch die Verschiebungsvektoren in aufeinander folgenden Bildern kann man die Szene räumlich interpretieren
  • Nahe Objekte erzeuge große Flussvektoren und ferne Objekte erzeugen kurze Flussvektoren
  • Durch exakte Vermessung der Verschiebungsvektoren ist eine 3D Rekonstruktion möglich (shape from motion)

Vorraussetzung:

  • Man muss homologe Punkte (feste Bezugspunkte) in den einzelnen Bildern finden
  • d.h. Punkte, die man eindeutig einem Objekt oder einer Oberflächenstruktur zuordnen kann (siehe Robotvision Optical Flow)

Probleme:

  • Vektorfelder sind nur bei hinreichend strukturierten Bildern berechenbar
  • bei gleichförmig texturierten Objekten ist es schwer homologe Punkte zu finden
  • Veränderungen bei Lichtquellen

Zeitliche und Räumliche Veränderungen:

  • ruhende Kamera: im Differenzbild nur Grauwertänderungen beim Objekt, d.h. die Ränder der bewegten Objekte werden sichtbar
  • bewegte Kamera: im Differenzbild zeigen sich die Ränder aller Objekte

Zusammenfassung:

  • ist die Relativbewegung der Kamera bekannt, lässt sich die 3D-Form der Szene ermitteln
  • Rekonstruktion ist einfach, wenn sich die Kamera parallel zur xy-Ebene bewegt und z die Tiefe der Szene beschreibt
  • es werden korrepondierende Bildpunkte benötigt
  • Probleme sind Okklusionen (Verdeckungen), das Blendenproblem (?) und zu geringe Grauwertänderungen (zur Bestimmmung homologer Punkte)
Große Stereowinkel Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \alpha} vergrößern die Genauigkeit, aber auch die Gefahr von Verdeckungen

Shape from shading

  • 3D-Form wird aus der Schattierung der Objekte berechnet
  • dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
3D shape from shading.jpg
  • spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(x,y) = \rho \cdot \tau \cdot cos^4 \alpha \cdot \frac{1}{4} \cdot \left({\frac{d}{f}}\right)^2 \cdot E_s \cdot R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right) }
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \rho = } Albedo (sozusagen Helligkeit/Weißheit) der Objektoberfläche
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tau = } Transmission der Atmosphäre
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos^4 \alpha = } Randabfall:
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos \alpha } von Lambertstrahler
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos \alpha } von Bestrahlungsstärke
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos^2 \alpha } aus verlängertem Weg bei schrägem Blick
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d = } Durchmesser der Eintrittspupille
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f = } Brennweite
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left({\frac{d}{f}}\right)^2 } sagt aus, das Bündel von Lichtstraheln auf Sensor trifft und nicht nur 1 Lichtstrahl
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle E_s = } konstante Strahlungsstärke der Lichtquelle mit Richtung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle {\underline {s}} }
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right) = } Einfluss der Objektgeometrie auf das Reflexionsverhalten

Shape from texture

  • 3D-Form wird aus der Veränderung von Texturen, in Abhängigkeit vom Normalenvektor der Oberfläche, gewonnen
  • erfordert homogen texturierte Oberflächen und bekannte Texturierung
  • es werden nicht nur Pixel sondern Regionen zur Schätzung des Normalenvektors benötigt
  • kaum von Bedeutung

Binokulare Verfahren

Stereo

  • beim Stereoverfahren verwendet man 2 Kameras statt nur einer
  • wenn man in den Bildern der beiden Kameras feste Bezugspunkte (homologe Punkte) ermitteln kann, lassen sich die Punktkoordinaten (auch in der Tiefe) berechnen
  • Die Kameraebene wird im gleichen Abstand Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f } vor den Augpunkt gelegt
  • Der Abstand der Kameras beträgt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d } .
  • Daraus ergibt sich folgende Anordnung:
3D stero.png
  • je größer die Differenz der x-Koordinaten, desto näher ist das Objekt
  • daraus ergibt sich der Tiefenwert Z: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Z = \frac{-d \cdot f}{x_1 - x_2} }
  • die Differenz der x-Koordinaten Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left( x_1 - x_2 \right) } wird als Disparität bezeichnet

Stereokalibrierung:

  • Bestimmung der Lage und Blickrichtung der Kameras im Weltkoordinatensystem
  • Herstellen eines Zusammenhangs zwischen den zweidimensionalen Bildkoordinaten und den Raumkoordinaten der Welt

Réseau-Technik

  • vor der Bildebene befindet sich eine Glasplatte mit einem hochgenauen Netz aus Kreuzen, die auf das Bild projeziert werden

Ziele:

  • Ausgleich von Verzerrungen durch Filmunebenheiten oder Digitalisiertablettunstetigkeiten
  • Ausgleich von Kamera-, Scanverzerrungen, Filmverzug und Erwärmungseffekten bei der Entwicklung und Auswertung
  • zur Korrektur der Perspektive, um Orthophotos zu erzeugen
    • in Orthophotos stehen die Objekte genau orthogonal zur Kameraebene
    • damit sind z.B. exakte Breiten- und Längenmessungen im Bild möglich
3D ortho.png

Korrespondenzanalyse (KA-C 1 - 23)

  • Hauptproblem der existierenden Stereosysteme besteht in der automatischen Zuordnung korrespondierender Strukturen

Grundidee der Korrespondenzanalyse:

  • vergleichen von Pixeln eines Bildes mit Pixeln eines anderen Bildes (unter bestimmten Kriterien)
  • Um so mehr gleiche Paare, sprich korrespondierende Pixel, gefunden werden, um so besser können Tiefenwerte ermittelt werden
Intensitätsbasiert Merkmalsbasiert
Idee Annahme, dass korrespondierende Pixel einen ähnlichen Intensitätswert besitzen Extraktion von markanten Bildteilen (Kanten, Pixel auf Kanten)
Problem es gibt eine große Anzahl identischer Intensitätswerte in einem Bild
Lösung
  • Unterteilung in Blöcke (5x5, 8x8)
  • Zuordnung zwischen den Pixeln erfolgt anhand eines Ähnlichkeitsmaßes zwischen den Intensitätswerten der Blöcke
  • sobald Blöcke zugeordnet wurden, kann das Verfahren auch auf die Pixel in diesen Blöcken angewendet werden
  • Beschränkung auf bestimmte Elemente des Bildes ist auch möglich
  • Ähnlichkeitsmaß mit oder ohne Merkmalsextraktion möglich
  • Zuordnung anhand der Merkmale (Kantenpixel, zusätzliche Attribute)
Eigenschaften
  • hohe 3D Punktdichte
  • langsam
  • kein Subpixeling
  • photometrisch sensitiv
  • Qualität abhängig von Fenstergröße und Ähnlichkeitsmaß
  • hochfrequente Bildanteile sehr störanfällig
  • relativ geringe Punktdicht
  • schnell
  • kaum photometrisch sensitiv
  • hohe Genauigkeit durch Subpixeling
  • Merkmale müssen extrahierbar sein
  • Wiederholstrukturen besonders anfällig

Probleme der Korrespondenzanalyse:

  • Mehrdeutigkeiten bei der Bestimmung korrespondierender Bildpunkte
  • Diese Mehrdeutigkeiten müssen reduziert werden durch:
    • Eigenschaften der Objekte
    • Geometrische Einschränkungen (Punkte können nur korrespondieren, wenn sie auf einer epipolaren Linie liegen)


Intensitätsbasierte Verfahren (KA 1 - 27)

  • Suche von homologen Punkten durch Ähnlichkeitsmaße in Bildblöcken
  • Bezugspunkte liegen in einer gemeinsamen Bildzeile oder der zweite liegt auf der Epipolarlinie des Ersten
  • folgende Ähnlichkeitsmaße kommen zum Einsatz:
    • Mean Absolute Difference (MAD)
    • Mean Square Error (MSE)
    • Kreuzkorrelationskoeffizient (KKF)
    • Kreuzkovarianz (KCF)

Mean Absolute Difference - MAD

MAD ist die mittlere pixelweise absolute Differenz zweier Korrelationsfenster. Im Script wird die normierte Variante genannt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MAD(\Delta)=\frac{1}{nm}\sum_i^m\sum_j^n |I_{L}(i,j) - I_{R}(i+\Delta,j)| }

bzw. die folgende allgemeine Variante (keine Scanlinerichtung vorgegeben wie oben)

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MAD(P,P')=\frac{1}{nm}\sum_i^m\sum_j^n |I_{L(P)}(i,j) - I_{R(P')}(i,j)| }

Mean Square Error - MSE

MSE ist die mittlere quadratische Differenz zweier Korrelationsfenster. Im Script wird folgende Variante genannt:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MSE(\Delta)=\frac{1}{nm}\sum_{i=1}^m\sum_{j=1}^n \{I_{L}(i,j) - I_{R}(i+\Delta,j)\}^2 }

Blockmatching - Verfahren

[...]

Kreuzkorrelation und Kreuzkovarianz

Kreuzkorrelation:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle KKF(P,P')=\sum_i^m\sum_j^n I_{L(P)}(i,j) \cdot I_{R(P')}(i,j) }

Kreuzkovarianz:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle KVF(P,P') = \sum_i^m\sum_j^n [I_{L(P)}(i,j) - \bar{I}_{L(P)}] \cdot [I_{R(P')}(i,j) - \bar{I}_{R(P')}] }

ergibt sich nach Umformen zu:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle KVF(P,P') = \sum_i^m\sum_j^n I_{L(P)}(i,j) \cdot I_{R(P')}(i,j) - \frac{1}{nm} \left[ \sum_i^m\sum_j^n {I}_{L(P)} (i,j) \right] \cdot \left[ \sum_i^m\sum_j^n I_{R(P')}(i,j) \right] }

Varianz (für normierte Kreuzkorelation):

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma(P) = \sum_i^m\sum_j^n (I_{L(P)}(i,j) - \bar{I}_{L(P)})^2 } [...]

Normierte Kreuzkorelation:

Ja klar

Merkmalsbasiert

[...]

Weitere Verfahren

unwichtig (denk ich)

Polynokulare Verfahren

[...]

Oberfläschenbestimmung mit strukturiertem Licht (sLi 1 - 20)

sLi 1 - 20

Wie bei Stereokamerasystemen, wird hier mit zwei verschieden Blick-/Projektionsrichtung gearbeitet. Der Unterschied ist nur, dass der Strahlengang hierbei vom Projektor auf die Szene fällt und die remitierte Strahlung von der Kamera aufgenommen wird. [...]


Schnitt-Techniken (STe 1 - 29)

Gewinnung der 3.Dimenenion aus einem Stapel von Schnitten.

  • Nach Kontrast: Hierbei können z.B. nur scharfe Bereiche in ein Gesamtbild übernommen werden (extended fokus). Hier ist eine relativ aufwendige Analyse (z.B. Bestimmung der Gradienten) des Stapels notwendig.
  • Nach Intensität: [...]
  • [...]

Konfokale Mikroskopie

Konfokale Laser-Raster-Mikroskopie

Bei der konfokalen Laser-Raster-Mikroskopie wird der Laserstrahl so in die Optik eingekoppelt, dass der Fokuspunkt des Laserlichtes gleichzeitig der Punkt ist, dessen remittierte Strahlen genau durch die Lochblende fallen.

Fig3 2.png

Man könnte jetzt dem Trugschluß erliegen, dass es doch egal ist, wie weit das Objekt vom Fokuspunkt weg ist, da sich der Strahlengang des Lasers in gleicher Weise wie der der Abbildungsoptik ändert. So bildet sich wenn das Objekt außerhalt des Fokus liegt eine kreisrunde Fläche die beleuchtet wird und alles Licht was in die gleiche Richtung wieder zurückgestrahlt wird, wird durch die Lochblende auf den Sensor fallen. Also könnte man annehmen, dass die gesamte Energie wieder auf dem Sensor ankommt. Das ist aber nur der Fall wenn jede beleuchtete Fläche das gesamte Licht (ähnlich wie bei einem Reflektor) genau zur Lichtquelle zurückwirft. Da aber in diesem Fall auch Licht in andere Richtungen gestreut wird fällt die Lichtausbeute auf dem Sensor geringer aus.

Liegt das Objekt aber im Fokus kann auch ein Großteil des remittierten Lichts eingefangen werden, da es eine Vielzahl von Richtungen gibt die durch die Lochblende führen.

Konfokale Lichtmikroskopie

Gleicher Ansatz wie oben. Nur wird hier das Pinhole verschoben (Nipkow-Scheibe) um die verschieden Positionen abzutasten.

Konfokales Lichtmikroskop.png

[...]

Computer Tomography

Eine Seite mit einem nicht wirklich tollen Verfahren.

Röntgenquelle wird im gleichen Verhältnis wie der Film verschoben. Das folgt dazu, dass ein Punkt immer an die gleiche Stelle abgebildet wird. Alle anderen Punkte werden (abhängig von ihrer Entfernung) breit geschmiert, also auch auf den interessanten Punkt.

Axial Computer Tomography

[...]


Fokusserien (FS 1 - 19)

[...]


Weißlichtinterferometrie (WLI 1 - 22)

Kohärenzläge: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle l_{kohaerenz} = l_c = \frac{\bar{\lambda}^2}{\Delta \lambda}} [Erklärung]

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tau_{kohaerenz} = \tau_c = \frac{l_c}{c_n}}

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Delta f = \frac{1}{\tau_c}}

[...]


Subpixeling (SuPi 1 - 37)

[Allgemeine Definition welche Werte der folgenden Formeln was bedeuten]

MEAN-Algorithmus (Schwerpunkt) für Punktobjekte

Wie bei der physikalischen Bestimmung des Massenmittelpunkt

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vec r_s = \frac{\int \vec r \ dm}{\int dm} = \frac{\int \vec r\, \rho(\vec r) \, dV}{\int \rho(\vec r)\, dV} }

wird hier über ortsabhängig gewichteten Intensitätswert integriert und durch die Gesamtintensität geteilt (normiert). Hinweis: Im Script sind die Integrale in pysikalischen Schreibweise zu lesen. Desweitern wird nur eine Richtung betrachtet (x-Richtung) um die x-Koordinate des Schwerpunktes zu errechen. Analog könnte dann für die y-Richtung verfahren werden (d.h. die Schwerpunktbestimmung ist separierbar).

Ansatz (für die x-Koordinate des Schwerpunktes)

Da nur die x-Richtung betrachtet wird ist das Integral über Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle miny} unabhängig von x und mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle F_x(x_M, y_M) = \int_{winy} dy_M \cdot f(x_M, y_M)} ergibt sich:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_{MS} = \frac{\int\limits_{winx}\int\limits_{winy} dx_M \cdot dy_M \cdot x_m \cdot f(x_M, y_M)}{\int\limits_{winx}\int\limits_{winy} dx_M \cdot dy_M \cdot f(x_M, y_M)} = \frac{\int\limits_{winx} dx_M \cdot x_m \cdot F_x(x_M)}{\int\limits_{winx} dx_M \cdot F_x(x_M)} }

Vereinfachung des Koordinatensystems

(Jetzt wird es lustig) Durch die Substitution mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_M = x_{MF} + kb + x} soll das Ergebnis nur noch die Abweichung des Schwerpunktes von der Mitte des Messfensters angeben. Vergleicht man die resultierende Formel:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \frac{\int\limits_{winx} dx \cdot x \cdot F_x(x)}{\int\limits_{winx} dx \cdot F_x(x)}}

mit der oben stehenden, so fällt auf, dass sich die Formel nicht geändert hat, sondern nur das Koordinatensystem. D.h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S} läßt auch einfach durch nachträgliches Verschieben von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_{MS}} berechen:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = x_{MS} - x_{MF} - kb}

Auswertung der Pixelsignale

Hier wird hergeleitet, wie und unter welchen Vorraussetzungen sich die integrale Form in eine auf das Pixelraster anwendbare Summenform umformen lässt. Hierzu wird angenommen, dass sich die Intensität über dem Pixel nicht ändert (konstant ist). Dann ergibt sich über Zerlegung in ein Pixel breite Teilintervalle und Ersetzen der Integranden durch die jeweilige Pixelintensität Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Q_m} :

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \frac{\sum\limits_{m=-kb}^{kb} m \cdot Q_m}{\sum\limits_{m=-kb}^{kb} Q_m}}

Bewertung

  • systematische Fehler, da der Ladungsschwerpunkts Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Q_m} nicht immer genau im Zentrum liegt
  • Zu großes Fenster führt zu Fehlern, da die Randpixel mit schlechtem SNR auch in die Rechnung eingehen
  • Zu kleines Fenster führt zu Fehlern, da Werte die einen wichtigen Beitrag zum Ergebnis liefern würden wegfallen

Der MEDIAN-Algorithmus

Ansatz

Genau wie mein Median-Algorithmus in der Bildverarbetung wird die Mitte hier so gewählt, dass die links und rechts eingeschlossenen Flächen gleich groß sind. Bei der Bildverarbeitung wäre jetzt der Funktionswert an der Mitte von Interesse, hier ist aber nur die Position der Mitte von Bedeutung.

Auswertung der Pixelsignale

[Konfuse Herleitung - stimmt aber]

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \underbrace{\frac{1}{Q_z} \cdot \underbrace{\left( \frac{1}{2} \cdot \sum\limits_{m = -kb}^{kb} Q_m - \sum\limits_{m = -kb}^{z-1} Q_m \right)}_{\text{Wert zwischen } 0 \text{ und } Q_z}}_{\text{Wert zwischen } 0 \text{ und } 1} + z - \frac{1}{2}}

mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle z} gemäß:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sum\limits_{m = -kb}^{z-1} Q_m \le \frac{1}{1}\cdot\sum\limits_{m = -kb}^{kb} Q_m \le \sum\limits_{m = -kb}^{z} Q_m}

EV3D-SubPixel-Median.png

Bewertung

  • systematische Fehler nur durch die lineare Interpolation zwischen den Mittenpixeln. (der Verlauf muss ja nicht linear sein)
  • Alle Sinale sollen gleich bewertet werden
  • Flache Beschneidung führt zu Fehlern, da die Symmetrieannahme verletzt wird

Parabelalgorithmus

Idee ist die Aproximation der Intensitätsverteilung an der zu analysierenden Stelle durch eine Parabel.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle F^*(x) = a_2 \cdot x^2 + a_1 \cdot x + a_0}

Der Mittelpunkt ist dann am Maximum.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\partial F^*}{\partial x} = 2 \cdot a_2 + a_1 = 0 \Longrightarrow x_s = -\frac{a_1}{2 \cdot a_2}}

Ansatz

Über Fehlerquadratmethode:

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Phi = \sum\limits_{m = -kb}^{kb}\left(a_2 \cdot m^2 + a_1 \cdot m + a_0 - F(m) \right)^2 \overset{!}{=} MIN}

Auswertung der Pixelsignale

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_s = -\frac{a_1}{2 \cdot a_2} = \frac{\sum m \cdot Q_m \cdot [(\sum m^2)^2 - (2 \cdot kb +1) \cdot \sum m^4]}{2 \cdot \sum m^2 [(2 \cdot kb + 1) \cdot \sum m^2 \cdot Q_m - \sum m^2 \cdot \sum Q_m]}}

Bewertung

  • Fenster darf nicht zu groß sein (Abweichung von der Parabelform führt zu Fehlern)
  • Fenster darf nicht zu klein sein (zu viel Rausche)
  • Verletzung des antisymmetrischen Intensitätsverlaufes innerhalb der Pixel fürt zu Fehlern
  • Vorzugsanwendungen:
    • stark gestörte Objektabbildungn
    • stark gestörte Randbereiche der Objektabbildung

Halbpixel-Median

[hab ich nicht verstanden, aber ähnlicher Ansatz wie bei MEDIAN]

Maximum - Likelihood - Prinzip

[...]

[...]


Subpixeling bei Kanten (SuKa 1 - 16)

In Prinzip werden hier auch die Methoden aus dem SuPi-Bereich verwendet.


Punktewolken (PW 1 - 61)

Wurde nicht in der VL behandelt (auskommentiert)

EOF