Erfassung und Verarbeitung dreidimensionaler Daten: Unterschied zwischen den Versionen

Aus II-Wiki
Wechseln zu: Navigation, Suche
K (Monokulare Verfahren)
(Shape from shading: bissl was korrigiert und ergänzt)
Zeile 240: Zeile 240:
  
 
=== Shape from shading ===
 
=== Shape from shading ===
:* 3D-Form wird aus der Shattierung der Objekte berechnet
+
* 3D-Form wird aus der Schattierung der Objekte berechnet
:* dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
+
* dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
::: [[Bild:3D_shape_from_shading.jpg]]
 
  
:* spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen <math>g(x,y) = \rho \cdot \tau \cdot \alpha \cdot \frac{1}{4} \cdot {\frac{d}{f}}^2 \cdot E_s \cdot R ( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y})</math>
+
:[[Bild:3D_shape_from_shading.jpg]]
 +
 
 +
* spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen
 +
 
 +
:<math>
 +
g(x,y) = \rho \cdot \tau \cdot cos^4 \alpha \cdot \frac{1}{4} \cdot \left({\frac{d}{f}}\right)^2 \cdot E_s \cdot R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right)
 +
</math>
 +
 
 +
::*<math> \rho = </math> Albedo (sozusagen Helligkeit/Weißheit) der Objektoberfläche
 +
::*<math> \tau = </math> Transmission der Atmosphäre
 +
::*<math> cos^4 \alpha = </math> Randabfall:
 +
:::* <math> cos \alpha </math> von Lambertstrahler
 +
:::* <math> cos \alpha </math> von Bestrahlungsstärke
 +
:::* <math> cos^2 \alpha </math> aus verlängertem Weg bei schrägem Blick
 +
::*<math> d = </math> Durchmesser der Eintrittspupille
 +
::*<math> f = </math> Brennweite
 +
::*<math> \left({\frac{d}{f}}\right)^2 </math> sagt aus, das Bündel von Lichtstraheln auf Sensor trifft und nicht nur 1 Lichtstrahl
 +
::*<math> E_s = </math> konstante Strahlungsstärke der Lichtquelle mit Richtung <math> {\underline {s}} </math>
 +
::*<math> R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right) = </math> Einfluss der Objektgeometrie auf das Reflexionsverhalten
  
 
=== Shape from texture ===
 
=== Shape from texture ===

Version vom 7. Februar 2008, 11:49 Uhr

Inhaltsverzeichnis

Vorstellung des Fachgebietes (E 1 - 11)

absolut uninteressant ;)


Einführung (1 - 14 & TW 17 - 18)

Anatomie des Auges

sollte weitreichend bekannt sein

Stereosehen

Horopter:

  • imaginäre 3D-Kurve im Raum
  • sie geht durch die Knotenpunkte der beiden Augen und den Fixationspunkt
  • Punkte auf dem Horopter werden stets auf korrespondierende Punkte auf beiden Netzhäuten abgebildet
  • nicht auf dem Horopter liegende Punkte gehören nicht zu korrespondieren Bildpunkten und führen zu Doppelbildern
    • außerhalb: nicht gekreuzte Doppelbilder
    • innerhalb: gekreuzte Doppelbilder

EV3D-Horopter.jpg

Zyklopenauge:

  • liegt auch auf dem Horopter
  • befindet sich in der Mitte der beiden Augen, senkrecht zum Fixationspunkt

EV3D-Zyklopenauge.jpg

Tiefenwahrnehmung

  • Tiefeninformation kann mittels zweier Bilder gewonnen werden (menschliches binokulares Sehen)

Panum-Bereich:

  • der Bereich um den Horopter, in dem eine Fusion der Stereobilder möglich ist
  • wird dieser Bereich überschritten kommt es zu einer binokularen Rivalität, bei der sich eine monokulare Ansicht schließlich durchsetzt

EV3D-Panum.jpg

Disparität:

  • bezeichnet die Differenz zwischen den seitlichen Positionen eines Objektes, welches auf die Retina/Bildebene des linken und rechten Auges abgebildet wird
  • Objekte auf dem Horopter haben stets die Disparität Null

Datei:EV3D-Disparität.jpg

Probleme beim Tiefensehen (Korrespondenproblem)

  • Fehlzuordnung der Schnittpunkte der Sehgeraden, führt zu falscher Objekttiefe
  • bei n Merkmalen pro Auge ergeben sich n! mögliche Zuordnungen
  • aber jede Zuordnung führt zu einer anderen räumlichen Interpretation
  • jedoch nur eine ist richtig

EV3D-Korrespondenzproblem.jpg

Technische Grundsätze der 3D-Datenerfasung (Ü-TGA 1 - 34)

  • größtenteils nur Beispiele gezeigt

optische 3D-Messverfahren

EV3D-optische 3D Messverfahren.jpg

Verarbeitung von 3D-Daten

siehe auch Kapitel 14 - dort werden die Verfahren genauer beschrieben

  1. Detektion von Ausreißern
    • Beseitigung zwingend erforderlich
    • stören Folgeoperationen erheblich
  2. Registrierung von Teilansichten
    • Ganzkörpererfassung erfordert mehrere Teilansichten
    • Marken nur in Ausnahmesituationen möglich
    • Problem: es existieren keine korrespondieren Punkte
  3. Homogenisierung
    • Entfernen oder Zusammenfassen von Punkten unter Beachtung von Objektstruktur und verfügbarer Punktdichte
  4. Regularisierung, Verdichtung
    • Problem: fehlende Messwerte durch Fehlmessung oder hoher räumlicher Gradient in Messrichtung
    • Lösung: Interpolation zur Erzeugung gleichmäßiger Punktdichten
  5. Segmentierung von Regelgeometrien und Randkurven
    • Regelgeometrien z.B. Kugel, Zylinder, Quader, Ebene, etc.
    • Trennung der Objekte/Punktwolken in Freiformanteile (für Weiterverarbeitung wichtig)
    • Handsegmentierung führt zu erheblichen Fehlern
  6. Triangulation
    • bedeutsam für Beschreibung von Freiformflächen
    • 2,5D-Daten leicht triangulierbar
    • bei 3D-Daten schwieriger
  7. Homogenisierung von Triangulationen
  8. Vermessung von Regelgeometrien
    • Extraktion von 3D-Merkmalen
    • Extraktion der Paramter der Regelgeometrien aus segmentierten Teilpunktewolken
    • Vergleich mit CAD-Daten


Geometrische Transformationen (GT 1 - 18)

Bedeutung:

  • affine Transformationen zur Beschreibung der geometrischen Anordnung der Elemente (Messgeräte, Lichtquellen, etc.)
  • planare Projektionen zur Beschreibung der Abbildung in der Kamera
  • beides zusammen bildet Basis für 3D-Rekonstruktion

Affine Transformationen:

  • zur Modellierung komplexer Szenen müssen Objekte verschoben, gedreht, skaliert und gespiegelt werden
  • meist auch Transformation von Koordinatensystemen notwendig
  • deshalb affine Transformationen nutzen:
    • Translation
    • Rotation
    • Skalierung
    • Scherung
    • Spiegelung

Affine Abbildungen

  • Objekte in einer Ebene E1, die auf eine parallele Ebene E2 abgebildet werden sind kongruent

EV3D-Parallelprojektion.jpg

  • wenn E2 aber nicht parallel zu E1 ist ergibt sich eine affine Verwandschaft zwischen den Objekten

EV3D-Affine Verwandschaft.jpg

Eigenschaften:
  • Geraden bleiben Geraden
  • parallele Geraden bleiben parallel
  • Teilverhältnisse der Abstände zwischen entsprechenden Punkten auf einer Geraden bleibt gleich
  • Abstände selbst bleiben nicht gleich
  • Winkel zwischen Geraden bleiben nicht erhalten


Fazit: Eine affine Abbildung lässt sich durch eine lineare Transformation (Rotation, Skalierung, Scherung, Spiegelung) und eine Translation realisieren.

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline {P'} = \underline{\underline{R}} \cdot \underline {P} + \underline {T} }

Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \begin{pmatrix} x' \\ y' \\ z' \end{pmatrix} = \begin{bmatrix} cos {\varphi} & -sin {\varphi} & 0\\ sin {\varphi} & cos {\varphi} & 0\\ 0 & 0 & 1 \end{bmatrix} \cdot \begin{pmatrix} x \\ y \\ z \end{pmatrix} + \begin{pmatrix} t_x \\ t_y \\ t_z \end{pmatrix} }


Beispiele für affine Transformationen

  • Translation: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline T \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline T = \begin{pmatrix} 1 & 0 & 0 & t_x \\ 0 & 1 & 0 & t_y \\ 0 & 0 & 1 & tz \\ 0 & 0 & 0 & 1 \end{pmatrix}} Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P = \begin{pmatrix} x \\ y \\ z \\ 1 \end{pmatrix} }


  • Skalierung: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline S \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline S = \begin{pmatrix} S_x & 0 & 0 & 0 \\ 0 & S_y & 0 & 0 \\ 0 & 0 & S_z & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}}
  • Eine korrekte Skalierung funktioniert nur, wenn sich das zu skalierende Objekt im Ursprung des Koordinatensystems befindet.
  • Wenn sich das Objekt nicht im Ursprung befindet, muss man es zuerst durch eine Translation in den Ursprung verschieben, dann skalieren und wieder zurückschieben: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle P' = \underline T_{-F} \cdot \underline S \cdot \underline T_F \cdot \underline P }
  • Man kann die einzelnen Transformationsmatrizen zusammenfassen Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle M = \underline T_{-F} \cdot \underline S \cdot \underline T_F }


  • Rotation um die z-AchseFehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline P' = \underline R \cdot \underline P }
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \underline T = \begin{pmatrix} cos \varphi & -sin \varphi & 0 & 0 \\ sin \varphi & cos \varphi & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{pmatrix}}

planare Projektionen

  • die planare Transformation macht es möglich aus 2D-Bildern 3D-Daten zu extrahieren
  • dadurch können 3D-Objekte berührungslos vermessen werden
  • benötigt wird hierfür:
    • Parallelprojektion
    • Zentralprojektion
  • für eine einfache Handhabung der Zentralprojektion sind projektive Räume und homogene Koordinaten notwendig

Parallel- & Zentralprojektion

  • Abbildung des Raumes auf die Ebene lässt sich durch Parallel- oder Zentralprojektion realisieren

Parallelprojektion:

  • ähnelt affinen Transformationen
  • mit Dimensionsreduktion verbunden
  • stellt den Grenzfall für den Augpunkt im Unendlichen dar
  • technische Realisierung: telezentrische Abbildung

Zentralprojektion:

  • wesentliche Unterschiede zu affinen Transformationen
  • jeder Objektpunkt wird durch seine Raumtiefe dividiert
  • Parallelität der Geraden und gleiche Teilverhältnisse der Abstände bleiben nicht erhalten

Projektive Räume und homogene Koordinaten

Probleme bei affinen Transformationen:

  • mathematische Operationen können nicht zu einer Matrix zusammengefasst werden
  • Ebene Projektionen sind nicht integrierbar
  • Unendlich ferne Punkte, Geraden, Ebenen etc. sind analytisch nicht beschreibbar

Deshalb Einführung von projektiven Räumen und homogenen Koordinaten

Ziel:

  • Vereinheitlichung der Transformationen
  • Integration der genannten Aspekte

Konstruktion der projektiven Ebene: [...]

// ich habe noch nicht rausgefunden was er uns eigentlich sagen will

3D-Datenerfasung (mbs 1 - 50)

EV3D-3D-Datenerfassung.jpg

Monokulare Verfahren

Shape from motion - Optical Flow

  • Bewegungswahrnehmungen sind wesentliche Elemente zur visuellen Interpretation der Umwelt
  • d.h. durch die Verschiebungsvektoren in aufeinander folgenden Bildern kann man die Szene räumlich interpretieren
  • Nahe Objekte erzeuge große Flussvektoren und ferne Objekte erzeugen kurze Flussvektoren
  • Durch exakte Vermessung der Verschiebungsvektoren ist eine 3D Rekonstruktion möglich (shape from motion)

Vorraussetzung:

  • Man muss homologe Punkte in den einzelnen Bildern finden
  • d.h. Punkte, die man eindeutig einem Objekt oder einer Oberflächenstruktur zuordnen kann (siehe Robotvision Optical Flow)

Probleme:

  • Vektorfelder sind nur bei hinreichend strukturierten Bildern berechenbar
  • bei gleichförmig texturierten Objekten ist es schwer homologe Punkte zu finden
  • Veränderungen bei Lichtquellen

Zeitliche und Räumliche Veränderungen:

  • ruhende Kamera: im Differenzbild nur Grauwertänderungen beim Objekt, d.h. die Ränder der bewegten Objekte werden sichtbar
  • bewegte Kamera: im Differenzbild zeigen sich die Ränder aller Objekte

Zusammenfassung:

  • ist die Relativbewegung der Kamera bekannt, lässt sich die 3D-Form der Szene ermitteln
  • Rekonstruktion ist einfach, wenn sich die Kamera parallel zur xy-Ebene bewegt und z die Tiefe der Szene beschreibt
  • es werden korrepondierende Bildpunkte benötigt
  • Probleme sind Okklusionen (Verdeckungen), das Blendenproblem (?) und zu geringe Grauwertänderungen (zur Bestimmmung homologer Punkte)
Große Stereowinkel Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \alpha} vergrößern die Genauigkeit, aber auch die Gefahr von Verdeckungen

Shape from shading

  • 3D-Form wird aus der Schattierung der Objekte berechnet
  • dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
3D shape from shading.jpg
  • spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen
Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle g(x,y) = \rho \cdot \tau \cdot cos^4 \alpha \cdot \frac{1}{4} \cdot \left({\frac{d}{f}}\right)^2 \cdot E_s \cdot R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right) }
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \rho = } Albedo (sozusagen Helligkeit/Weißheit) der Objektoberfläche
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tau = } Transmission der Atmosphäre
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos^4 \alpha = } Randabfall:
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos \alpha } von Lambertstrahler
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos \alpha } von Bestrahlungsstärke
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle cos^2 \alpha } aus verlängertem Weg bei schrägem Blick
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d = } Durchmesser der Eintrittspupille
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f = } Brennweite
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \left({\frac{d}{f}}\right)^2 } sagt aus, das Bündel von Lichtstraheln auf Sensor trifft und nicht nur 1 Lichtstrahl
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle E_s = } konstante Strahlungsstärke der Lichtquelle mit Richtung Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle {\underline {s}} }
  • Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle R \left( \frac{\delta Z}{\delta X} , \frac{\delta Z}{\delta Y} \right) = } Einfluss der Objektgeometrie auf das Reflexionsverhalten

Shape from texture

  • 3D- Form aus der Veränderung von Texturen in Abhängigkeit vom Normalenvektor der Oberfläche
  • erfordert homogen texturierte Oberflächen
  • kaum von Bedeutung

Binokulare Verfahren

Stereo

  • beim Stereoverfahren verwendet man 2 statt einer Kamera. Wenn man in den Bildern der beiden Kameras feste Bezugspunkte (homologe Punkte) ermitteln kann, lassen sich die Punktkoordinaten (auch in der Tiefe) berechnen.
  • Die Kameraebene wird im gleichen Abstand Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle f } vor den Augpunkt gelegt. Der Abstand der Kameras beträgt Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle d} .
  • Daraus ergibt sich folgende Anordnung:
3D stero.png
  • je größer die Differenz der x-Koordinaten, desto näher ist das Objekt. Daraus ergibt sich der Tiefenwert Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Z = \frac{-d \cdot f}{x_1 - x_2} } , der als Disparität bezeichnet wird

Stereokalibrierung

  • Bestimmung der Lage und Blickrichtung der Kameras im Weltkoordinatensystem
  • Herstellen eines Zusammenhangs zwischen den zweidimensionalen Bildkoordinaten und den Raumkoordinaten der Welt

Réseau-Technik

  • vor der Bildebene befindet sich eine Glasplatte einen hochgenauen Netz aus Kreuzen, die auf das Bild projeziert werden
  • Ziele:
    • Ausgleich von Verzerrungen durch Filmunebenheiten oder Digitalisiertablettunstetigkeiten
    • zur Korrektur der Perspektive, um Orthophotos zu erzeugen
      • in Orthophotos stehen die Objekte genau orthogonal zur Kameraebene
      • damit sind z.B. exakte Breiten- und Längenmessungen im Bild möglich
3D ortho.png

Korrespondenzanalyse (KA-C 1 - 23)

Intensitätsbasiert Merkmalsbasiert
Pixel reichen (nicht??) aus Extraktion von markanten Bildteilen (Kanten, Pixel auf Kanten)
Blöcke (5x5, 8x8) Zuordnung anhand der Merkmale (Kantenpixel, Attributen)
Ähnlichkeitsmaß mit oder ohne Merkmalsextraktion
Eigenschaften Eigenschaften
  • hohe 3D Punktdichte
  • langsam
  • kein Subpixeling
  • photometisch sensitiv
  • Qualität Abhängig von Fenstergröße und Ähnlichkeitsmaß
  • hochfrequente Bildanteile störanfällig
  • rel. geringe Punktdicht
  • schnell
  • kaum photometisch sensitiv
  • hohe Genauigkeit durch Subpixeling
  • Merkmale müssen extrahierbar sein
  • Wiederholstrukturen besonders anfällig

Probleme

  • Mehrdeutigkeiten bei korrespondierenden Bildpunkten (homologen Punkten)
  • Diese Mehrdeutigkeiten müssen reduziert werden durch :
    • Geometische Einschränkungen (Punkt können nur korrespondieren, wenn sie auf einer epipolaren Linie liegen)
  • Korrespondenzanalyse
  • 1. Linkes Bild mit markanten Punkten.

  • 2. Rechtes Bild mit markanten Punkten.

  • 3. Mutmaßliche Korrespondenzen

  • 4. Extraktion der Epipolarlinien

    • Eigenschaften der Objekte

    Intensitätsbasierte Verfahren (KA 1 - 27)

    [...]

    Titel Seite
    MAD 2
    Blockmatching - Verfahren 3 - 5
    Kreuzkorrelation und Kreuzkovarianz 6 - 10
    Polynokulare Verfahren KA 26 - 27

    MAD

    Mean Absolute Difference (MAD) ist die Mittlere pixelweise absolute Differenz zweier Korrelationsfenster. Im Script wird die normierte Variante genannt:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MAD(\Delta)=\frac{1}{nm}\sum_i^m\sum_j^n |I_{L}(i,j) - I_{R}(i+\Delta,j)| }

    bzw. die folgende allgemeine Variante (keine Scanlinerichtung vorgegeben wie oben)

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MAD(P,P')=\frac{1}{nm}\sum_i^m\sum_j^n |I_{L(P)}(i,j) - I_{R(P')}(i,j)| }

    MSE

    Mean Square Error (MSE) ist die mittlere quadratische Differenz zweier Korrelationsfenster. Im Script wird folgende Variante genannt:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle MSE(\Delta)=\frac{1}{m \cdot n}\sum_{i=1}^m\sum_{j=1}^n \{I_{L}(i,j) - I_{R}(i+\Delta,j)\}^2 }

    Blockmatching - Verfahren

    [...]

    Kreuzkorrelation und Kreuzkovarianz

    Kreuzkorrelation:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle KKF(P,P')=\sum_i^m\sum_j^n I_{L(P)}(i,j) \cdot I_{R(P')}(i,j) }

    Kreuzkovarianz:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle KVF(P,P') = \sum_i^m\sum_j^n [I_{L(P)}(i,j) - \bar{I}_{L(P)}] \cdot [I_{R(P')}(i,j) - \bar{I}_{R(P')}] } [...]

    Varianz (für normierte Kreuzkorelation):

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sigma(P) = \sum_i^m\sum_j^n (I_{L(P)}(i,j) - \bar{I}_{L(P)})^2 } [...]

    Normierte Kreuzkorelation:

    Ja klar

    Merkmalsbasiert

    [...]

    Weitere Verfahren

    unwichtig (denk ich)

    Polynokulare Verfahren

    [...]

    Oberfläschenbestimmung mit strukturiertem Licht (sLi 1 - 20)

    sLi 1 - 20

    Wie bei Stereokamerasystemen, wird hier mit zwei verschieden Blick-/Projektionsrichtung gearbeitet. Der Unterschied ist nur, dass der Strahlengang hierbei vom Projektor auf die Szene fällt und die remitierte Strahlung von der Kamera aufgenommen wird. [...]

    Schnitt-Techniken (STe 1 - 29)

    Gewinnung der 3.Dimenenion aus einem Stapel von Schnitten.

    • Nach Kontrast: Hierbei können z.B. nur scharfe Bereiche in ein Gesamtbild übernommen werden (extended fokus). Hier ist eine relativ aufwendige Analyse (z.B. Bestimmung der Gradienten) des Stapels notwendig.
    • Nach Intensität: [...]
    • [...]

    Konfokale Mikroskopie

    Konfokale Laser-Raster-Mikroskopie

    Bei der konfokalen Laser-Raster-Mikroskopie wird der Laserstrahl so in die Optik eingekoppelt, dass der Fokuspunkt des Laserlichtes gleichzeitig der Punkt ist, dessen remittierte Strahlen genau durch die Lochblende fallen.

    Fig3 2.png

    Man könnte jetzt dem Trugschluß erliegen, dass es doch egal ist, wie weit das Objekt vom Fokuspunkt weg ist, da sich der Strahlengang des Lasers in gleicher Weise wie der der Abbildungsoptik ändert. So bildet sich wenn das Objekt außerhalt des Fokus liegt eine kreisrunde Fläche die beleuchtet wird und alles Licht was in die gleiche Richtung wieder zurückgestrahlt wird, wird durch die Lochblende auf den Sensor fallen. Also könnte man annehmen, dass die gesamte Energie wieder auf dem Sensor ankommt. Das ist aber nur der Fall wenn jede beleuchtete Fläche das gesamte Licht (ähnlich wie bei einem Reflektor) genau zur Lichtquelle zurückwirft. Da aber in diesem Fall auch Licht in andere Richtungen gestreut wird fällt die Lichtausbeute auf dem Sensor geringer aus.

    Liegt das Objekt aber im Fokus kann auch ein Großteil des remittierten Lichts eingefangen werden, da es eine Vielzahl von Richtungen gibt die durch die Lochblende führen.

    Konfokale Lichtmikroskopie

    Gleicher Ansatz wie oben. Nur wird hier das Pinhole verschoben (Nipkow-Scheibe) um die verschieden Positionen abzutasten.

    Konfokales Lichtmikroskop.png

    [...]

    Computer Tomography

    Eine Seite mit einem nicht wirklich tollen Verfahren.

    Röntgenquelle wird im gleichen Verhältnis wie der Film verschoben. Das folgt dazu, dass ein Punkt immer an die gleiche Stelle abgebildet wird. Alle anderen Punkte werden (abhängig von ihrer Entfernung) breit geschmiert, also auch auf den interessanten Punkt.

    Axial Computer Tomography

    [...]

    Fokusserien (FS 1 - 19)

    [...]

    Weißlichtinterferometrie (WLI 1 - 22)

    Kohärenzläge: Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle l_{kohaerenz} = l_c = \frac{\bar{\lambda}^2}{\Delta \lambda}} [Erklärung]

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \tau_{kohaerenz} = \tau_c = \frac{l_c}{c_n}}

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Delta f = \frac{1}{\tau_c}}

    [...]

    Subpixeling (SuPi 1 - 37)

    [Allgemeine Definition welche Werte der folgenden Formeln was bedeuten]

    MEAN-Algorithmus (Schwerpunkt) für Punktobjekte

    Wie bei der physikalischen Bestimmung des Massenmittelpunkt

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \vec r_s = \frac{\int \vec r \ dm}{\int dm} = \frac{\int \vec r\, \rho(\vec r) \, dV}{\int \rho(\vec r)\, dV} }

    wird hier über ortsabhängig gewichteten Intensitätswert integriert und durch die Gesamtintensität geteilt (normiert). Hinweis: Im Script sind die Integrale in pysikalischen Schreibweise zu lesen. Desweitern wird nur eine Richtung betrachtet (x-Richtung) um die x-Koordinate des Schwerpunktes zu errechen. Analog könnte dann für die y-Richtung verfahren werden (d.h. die Schwerpunktbestimmung ist separierbar).

    Ansatz (für die x-Koordinate des Schwerpunktes)

    Da nur die x-Richtung betrachtet wird ist das Integral über Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle miny} unabhängig von x und mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle F_x(x_M, y_M) = \int_{winy} dy_M \cdot f(x_M, y_M)} ergibt sich:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_{MS} = \frac{\int\limits_{winx}\int\limits_{winy} dx_M \cdot dy_M \cdot x_m \cdot f(x_M, y_M)}{\int\limits_{winx}\int\limits_{winy} dx_M \cdot dy_M \cdot f(x_M, y_M)} = \frac{\int\limits_{winx} dx_M \cdot x_m \cdot F_x(x_M)}{\int\limits_{winx} dx_M \cdot F_x(x_M)} }

    Vereinfachung des Koordinatensystems

    (Jetzt wird es lustig) Durch die Substitution mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_M = x_{MF} + kb + x} soll das Ergebnis nur noch die Abweichung des Schwerpunktes von der Mitte des Messfensters angeben. Vergleicht man die resultierende Formel:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \frac{\int\limits_{winx} dx \cdot x \cdot F_x(x)}{\int\limits_{winx} dx \cdot F_x(x)}}

    mit der oben stehenden, so fällt auf, dass sich die Formel nicht geändert hat, sondern nur das Koordinatensystem. D.h. Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S} läßt auch einfach durch nachträgliches Verschieben von Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_{MS}} berechen:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = x_{MS} - x_{MF} - kb}

    Auswertung der Pixelsignale

    Hier wird hergeleitet, wie und unter welchen Vorraussetzungen sich die integrale Form in eine auf das Pixelraster anwendbare Summenform umformen lässt. Hierzu wird angenommen, dass sich die Intensität über dem Pixel nicht ändert (konstant ist). Dann ergibt sich über Zerlegung in ein Pixel breite Teilintervalle und Ersetzen der Integranden durch die jeweilige Pixelintensität Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Q_m} :

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \frac{\sum\limits_{m=-kb}^{kb} m \cdot Q_m}{\sum\limits_{m=-kb}^{kb} Q_m}}

    Bewertung

    • systematische Fehler, da der Ladungsschwerpunkts Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle Q_m} nicht immer genau im Zentrum liegt
    • Zu großes Fenster führt zu Fehlern, da die Randpixel mit schlechtem SNR auch in die Rechnung eingehen
    • Zu kleines Fenster führt zu Fehlern, da Werte die einen wichtigen Beitrag zum Ergebnis liefern würden wegfallen

    Der MEDIAN-Algorithmus

    Ansatz

    Genau wie mein Median-Algorithmus in der Bildverarbetung wird die Mitte hier so gewählt, dass die links und rechts eingeschlossenen Flächen gleich groß sind. Bei der Bildverarbeitung wäre jetzt der Funktionswert an der Mitte von Interesse, hier ist aber nur die Position der Mitte von Bedeutung.

    Auswertung der Pixelsignale

    [Konfuse Herleitung - stimmt aber]

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_S = \underbrace{\frac{1}{Q_z} \cdot \underbrace{\left( \frac{1}{2} \cdot \sum\limits_{m = -kb}^{kb} Q_m - \sum\limits_{m = -kb}^{z-1} Q_m \right)}_{\text{Wert zwischen } 0 \text{ und } Q_z}}_{\text{Wert zwischen } 0 \text{ und } 1} + z - \frac{1}{2}}

    mit Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle z} gemäß:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \sum\limits_{m = -kb}^{z-1} Q_m \le \frac{1}{1}\cdot\sum\limits_{m = -kb}^{kb} Q_m \le \sum\limits_{m = -kb}^{z} Q_m}

    EV3D-SubPixel-Median.png

    Bewertung

    • systematische Fehler nur durch die lineare Interpolation zwischen den Mittenpixeln. (der Verlauf muss ja nicht linear sein)
    • Alle Sinale sollen gleich bewertet werden
    • Flache Beschneidung führt zu Fehlern, da die Symmetrieannahme verletzt wird

    Parabelalgorithmus

    Idee ist die Aproximation der Intensitätsverteilung an der zu analysierenden Stelle durch eine Parabel.

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle F^*(x) = a_2 \cdot x^2 + a_1 \cdot x + a_0}

    Der Mittelpunkt ist dann am Maximum.

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \frac{\partial F^*}{\partial x} = 2 \cdot a_2 + a_1 = 0 \Longrightarrow x_s = -\frac{a_1}{2 \cdot a_2}}

    Ansatz

    Über Fehlerquadratmethode:

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle \Phi = \sum\limits_{m = -kb}^{kb}\left(a_2 \cdot m^2 + a_1 \cdot m + a_0 - F(m) \right)^2 \overset{!}{=} MIN}

    Auswertung der Pixelsignale

    Fehler beim Parsen (MathML mit SVG- oder PNG-Rückgriff (empfohlen für moderne Browser und Barrierefreiheitswerkzeuge): Ungültige Antwort („Math extension cannot connect to Restbase.“) von Server „https://wikimedia.org/api/rest_v1/“:): {\displaystyle x_s = -\frac{a_1}{2 \cdot a_2} = \frac{\sum m \cdot Q_m \cdot [(\sum m^2)^2 - (2 \cdot kb +1) \cdot \sum m^4]}{2 \cdot \sum m^2 [(2 \cdot kb + 1) \cdot \sum m^2 \cdot Q_m - \sum m^2 \cdot \sum Q_m]}}

    Bewertung

    • Fenster darf nicht zu groß sein (Abweichung von der Parabelform führt zu Fehlern)
    • Fenster darf nicht zu klein sein (zu viel Rausche)
    • Verletzung des antisymmetrischen Intensitätsverlaufes innerhalb der Pixel fürt zu Fehlern
    • Vorzugsanwendungen:
      • stark gestörte Objektabbildungn
      • stark gestörte Randbereiche der Objektabbildung

    Halbpixel-Median

    [hab ich nicht verstanden, aber ähnlicher Ansatz wie bei MEDIAN]

    Maximum - Likelihood - Prinzip

    [...]

    [...]

    Subpixeling bei Kanten (SuKa 1 - 16)

    In Prinzip werden hier auch die Methoden aus dem SuPi-Bereich verwendet.

    Punktewolken (PW 1 - 61)

    Wurde nicht in der VL behandelt (auskommentiert)

    EOF