Erfassung und Verarbeitung dreidimensionaler Daten
Vorstellung des Fachgebietes (E 1 - 11)
absolut uninteressant ;)
Einführung (1 - 14 & TW 17 - 18)
Anatomie des Auges
sollte weitreichend bekannt sein
Stereosehen
Horopter:
- imaginäre 3D-Kurve im Raum
- sie geht durch die Knotenpunkte der beiden Augen und den Fixationspunkt
- Punkte auf dem Horopter werden stets auf korrespondierende Punkte auf beiden Netzhäuten abgebildet
- nicht auf dem Horopter liegende Punkte gehören nicht zu korrespondieren Bildpunkten und führen zu Doppelbildern
- außerhalb: nicht gekreuzte Doppelbilder
- innerhalb: gekreuzte Doppelbilder
Zyklopenauge:
- liegt auch auf dem Horopter
- befindet sich in der Mitte der beiden Augen, senkrecht zum Fixationspunkt
Tiefenwahrnehmung
- Tiefeninformation kann mittels zweier Bilder gewonnen werden (menschliches binokulares Sehen)
Panum-Bereich:
- der Bereich um den Horopter, in dem eine Fusion der Stereobilder möglich ist
- wird dieser Bereich überschritten kommt es zu einer binokularen Rivalität, bei der sich eine monokulare Ansicht schließlich durchsetzt
Disparität:
- bezeichnet die Differenz zwischen den seitlichen Positionen eines Objektes, welches auf die Retina/Bildebene des linken und rechten Auges abgebildet wird
- Objekte auf dem Horopter haben stets die Disparität Null
Epipolarlinie:
- die Linie die korrespondierende Punkte zweier Bilder verbindet
Probleme beim Tiefensehen (Korrespondenproblem)
- Fehlzuordnung der Schnittpunkte der Sehgeraden, führt zu falscher Objekttiefe
- bei n Merkmalen pro Auge ergeben sich n! mögliche Zuordnungen
- aber jede Zuordnung führt zu einer anderen räumlichen Interpretation
- jedoch nur eine ist richtig
Technische Grundsätze der 3D-Datenerfasung (Ü-TGA 1 - 34)
- größtenteils nur Beispiele gezeigt
optische 3D-Messverfahren
Verarbeitung von 3D-Daten
siehe auch Kapitel 14 - dort werden die Verfahren genauer beschrieben
- Detektion von Ausreißern
- Beseitigung zwingend erforderlich
- stören Folgeoperationen erheblich
- Registrierung von Teilansichten
- Ganzkörpererfassung erfordert mehrere Teilansichten
- Marken nur in Ausnahmesituationen möglich
- Problem: es existieren keine korrespondieren Punkte
- Homogenisierung
- Entfernen oder Zusammenfassen von Punkten unter Beachtung von Objektstruktur und verfügbarer Punktdichte
- Regularisierung, Verdichtung
- Problem: fehlende Messwerte durch Fehlmessung oder hoher räumlicher Gradient in Messrichtung
- Lösung: Interpolation zur Erzeugung gleichmäßiger Punktdichten
- Segmentierung von Regelgeometrien und Randkurven
- Regelgeometrien z.B. Kugel, Zylinder, Quader, Ebene, etc.
- Trennung der Objekte/Punktwolken in Freiformanteile (für Weiterverarbeitung wichtig)
- Handsegmentierung führt zu erheblichen Fehlern
- Triangulation
- bedeutsam für Beschreibung von Freiformflächen
- 2,5D-Daten leicht triangulierbar
- bei 3D-Daten schwieriger
- Homogenisierung von Triangulationen
- Vermessung von Regelgeometrien
- Extraktion von 3D-Merkmalen
- Extraktion der Paramter der Regelgeometrien aus segmentierten Teilpunktewolken
- Vergleich mit CAD-Daten
Geometrische Transformationen (GT 1 - 18)
Bedeutung:
- affine Transformationen zur Beschreibung der geometrischen Anordnung der Elemente (Messgeräte, Lichtquellen, etc.)
- planare Projektionen zur Beschreibung der Abbildung in der Kamera
- beides zusammen bildet Basis für 3D-Rekonstruktion
Affine Transformationen:
- zur Modellierung komplexer Szenen müssen Objekte verschoben, gedreht, skaliert und gespiegelt werden
- meist auch Transformation von Koordinatensystemen notwendig
- deshalb affine Transformationen nutzen:
- Translation
- Rotation
- Skalierung
- Scherung
- Spiegelung
Affine Abbildungen
- Objekte in einer Ebene E1, die auf eine parallele Ebene E2 abgebildet werden sind kongruent
- wenn E2 aber nicht parallel zu E1 ist ergibt sich eine affine Verwandschaft zwischen den Objekten
- Eigenschaften:
- Geraden bleiben Geraden
- parallele Geraden bleiben parallel
- Teilverhältnisse der Abstände zwischen entsprechenden Punkten auf einer Geraden bleibt gleich
- Abstände selbst bleiben nicht gleich
- Winkel zwischen Geraden bleiben nicht erhalten
Fazit: Eine affine Abbildung lässt sich durch eine lineare Transformation (Rotation, Skalierung, Scherung, Spiegelung) und eine Translation realisieren.
Beispiele für affine Transformationen
- Translation:
- Skalierung:
-
- Eine korrekte Skalierung funktioniert nur, wenn sich das zu skalierende Objekt im Ursprung des Koordinatensystems befindet.
- Wenn sich das Objekt nicht im Ursprung befindet, muss man es zuerst durch eine Translation in den Ursprung verschieben, dann skalieren und wieder zurückschieben:
- Man kann die einzelnen Transformationsmatrizen zusammenfassen
- Rotation um die z-Achse
planare Projektionen
- die planare Transformation macht es möglich aus 2D-Bildern 3D-Daten zu extrahieren
- dadurch können 3D-Objekte berührungslos vermessen werden
- benötigt wird hierfür:
- Parallelprojektion
- Zentralprojektion
- für eine einfache Handhabung der Zentralprojektion sind projektive Räume und homogene Koordinaten notwendig
Parallel- & Zentralprojektion
- Abbildung des Raumes auf die Ebene lässt sich durch Parallel- oder Zentralprojektion realisieren
Parallelprojektion:
- ähnelt affinen Transformationen
- mit Dimensionsreduktion verbunden
- stellt den Grenzfall für den Augpunkt im Unendlichen dar
- technische Realisierung: telezentrische Abbildung
Zentralprojektion:
- wesentliche Unterschiede zu affinen Transformationen
- jeder Objektpunkt wird durch seine Raumtiefe dividiert
- Parallelität der Geraden und gleiche Teilverhältnisse der Abstände bleiben nicht erhalten
Projektive Räume und homogene Koordinaten
Probleme bei affinen Transformationen:
- mathematische Operationen können nicht zu einer Matrix zusammengefasst werden
- Ebene Projektionen sind nicht integrierbar
- Unendlich ferne Punkte, Geraden, Ebenen etc. sind analytisch nicht beschreibbar
Deshalb Einführung von projektiven Räumen und homogenen Koordinaten
Ziel:
- Vereinheitlichung der Transformationen
- Integration der genannten Aspekte
Konstruktion der projektiven Ebene: [...]
// ich habe noch nicht rausgefunden was er uns eigentlich sagen will
3D-Datenerfasung (mbs 1 - 50)
Monokulare Verfahren
Shape from motion - Optical Flow
- Bewegungswahrnehmungen sind wesentliche Elemente zur visuellen Interpretation der Umwelt
- d.h. durch die Verschiebungsvektoren in aufeinander folgenden Bildern kann man die Szene räumlich interpretieren
- Nahe Objekte erzeuge große Flussvektoren und ferne Objekte erzeugen kurze Flussvektoren
- Durch exakte Vermessung der Verschiebungsvektoren ist eine 3D Rekonstruktion möglich (shape from motion)
Vorraussetzung:
- Man muss homologe Punkte (feste Bezugspunkte) in den einzelnen Bildern finden
- d.h. Punkte, die man eindeutig einem Objekt oder einer Oberflächenstruktur zuordnen kann (siehe Robotvision Optical Flow)
Probleme:
- Vektorfelder sind nur bei hinreichend strukturierten Bildern berechenbar
- bei gleichförmig texturierten Objekten ist es schwer homologe Punkte zu finden
- Veränderungen bei Lichtquellen
Zeitliche und Räumliche Veränderungen:
- ruhende Kamera: im Differenzbild nur Grauwertänderungen beim Objekt, d.h. die Ränder der bewegten Objekte werden sichtbar
- bewegte Kamera: im Differenzbild zeigen sich die Ränder aller Objekte
Zusammenfassung:
- ist die Relativbewegung der Kamera bekannt, lässt sich die 3D-Form der Szene ermitteln
- Rekonstruktion ist einfach, wenn sich die Kamera parallel zur xy-Ebene bewegt und z die Tiefe der Szene beschreibt
- es werden korrepondierende Bildpunkte benötigt
- Probleme sind Okklusionen (Verdeckungen), das Blendenproblem (?) und zu geringe Grauwertänderungen (zur Bestimmmung homologer Punkte)
Shape from shading
- 3D-Form wird aus der Schattierung der Objekte berechnet
- dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
- spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen
- Albedo (sozusagen Helligkeit/Weißheit) der Objektoberfläche
- Transmission der Atmosphäre
- Randabfall:
- von Lambertstrahler
- von Bestrahlungsstärke
- aus verlängertem Weg bei schrägem Blick
- Durchmesser der Eintrittspupille
- Brennweite
- sagt aus, das Bündel von Lichtstraheln auf Sensor trifft und nicht nur 1 Lichtstrahl
- konstante Strahlungsstärke der Lichtquelle mit Richtung
- Einfluss der Objektgeometrie auf das Reflexionsverhalten
Shape from texture
- 3D-Form wird aus der Veränderung von Texturen, in Abhängigkeit vom Normalenvektor der Oberfläche, gewonnen
- erfordert homogen texturierte Oberflächen und bekannte Texturierung
- es werden nicht nur Pixel sondern Regionen zur Schätzung des Normalenvektors benötigt
- kaum von Bedeutung
Binokulare Verfahren
Stereo
- beim Stereoverfahren verwendet man 2 Kameras statt nur einer
- wenn man in den Bildern der beiden Kameras feste Bezugspunkte (homologe Punkte) ermitteln kann, lassen sich die Punktkoordinaten (auch in der Tiefe) berechnen
- Die Kameraebene wird im gleichen Abstand vor den Augpunkt gelegt
- Der Abstand der Kameras beträgt .
- Daraus ergibt sich folgende Anordnung:
- je größer die Differenz der x-Koordinaten, desto näher ist das Objekt
- daraus ergibt sich der Tiefenwert Z:
- die Differenz der x-Koordinaten wird als Disparität bezeichnet
Stereokalibrierung:
- Bestimmung der Lage und Blickrichtung der Kameras im Weltkoordinatensystem
- Herstellen eines Zusammenhangs zwischen den zweidimensionalen Bildkoordinaten und den Raumkoordinaten der Welt
Réseau-Technik
- vor der Bildebene befindet sich eine Glasplatte mit einem hochgenauen Netz aus Kreuzen, die auf das Bild projeziert werden
Ziele:
- Ausgleich von Verzerrungen durch Filmunebenheiten oder Digitalisiertablettunstetigkeiten
- Ausgleich von Kamera-, Scanverzerrungen, Filmverzug und Erwärmungseffekten bei der Entwicklung und Auswertung
- zur Korrektur der Perspektive, um Orthophotos zu erzeugen
- in Orthophotos stehen die Objekte genau orthogonal zur Kameraebene
- damit sind z.B. exakte Breiten- und Längenmessungen im Bild möglich
Korrespondenzanalyse (KA-C 1 - 23)
- Hauptproblem der existierenden Stereosysteme besteht in der automatischen Zuordnung korrespondierender Strukturen
Grundidee der Korrespondenzanalyse:
- vergleichen von Pixeln eines Bildes mit Pixeln eines anderen Bildes (unter bestimmten Kriterien)
- Um so mehr gleiche Paare, sprich korrespondierende Pixel, gefunden werden, um so besser können Tiefenwerte ermittelt werden
Intensitätsbasiert | Merkmalsbasiert | |
---|---|---|
Idee | Annahme, dass korrespondierende Pixel einen ähnlichen Intensitätswert besitzen | Extraktion von markanten Bildteilen (Kanten, Pixel auf Kanten) |
Problem | es gibt eine große Anzahl identischer Intensitätswerte in einem Bild | |
Lösung |
|
|
Eigenschaften |
|
|
Probleme der Korrespondenzanalyse:
- Mehrdeutigkeiten bei der Bestimmung korrespondierender Bildpunkte
- Diese Mehrdeutigkeiten müssen reduziert werden durch:
- Eigenschaften der Objekte
- Geometrische Einschränkungen (Punkte können nur korrespondieren, wenn sie auf einer epipolaren Linie liegen)
Intensitätsbasierte Verfahren (KA 1 - 27)
- Suche von homologen Punkten durch Ähnlichkeitsmaße in Bildblöcken
- Bezugspunkte liegen in einer gemeinsamen Bildzeile oder der zweite liegt auf der Epipolarlinie des Ersten
- folgende Ähnlichkeitsmaße kommen zum Einsatz:
- Mean Absolute Difference (MAD)
- Mean Square Error (MSE)
- Kreuzkorrelationskoeffizient (KKF)
- Kreuzkovarianz (KCF)
Mean Absolute Difference - MAD
MAD ist die mittlere pixelweise absolute Differenz zweier Korrelationsfenster. Im Script wird die normierte Variante genannt:
bzw. die folgende allgemeine Variante (keine Scanlinerichtung vorgegeben wie oben)
- kann beschleunigt werden durch Verzicht auf Mittelung
- mit zunehmender Übereinstimmung zwischen beiden Teilbildern geht
- bleibt MAD hinreichend klein, kann homologes Punktpaar geschätzt werden
- läuft dadurch ca. 15 mal schneller als KKF
- Problem: sehr empfindlich gegenüber Helligkeitsschwankungen
Mean Square Error - MSE
MSE ist die mittlere quadratische Differenz zweier Korrelationsfenster. Im Script wird folgende Variante genannt:
Blockmatching - Verfahren
[...]
Kreuzkorrelation und Kreuzkovarianz
Kreuzkorrelation:
Kreuzkovarianz:
ergibt sich nach Umformen zu:
Varianz (für normierte Kreuzkorrelation):
ergibt sich nach Umformen zu:
Normierte Kreuzkorrelation:
- anwendbar bei hinreichender Strukturierung der Objekte
- inavriant gegen Helligkeitsschwankungen der beiden Teilbilder zueinander
- Teilbilder sind identisch (gilt für homologe Punkte)
- Teilbilder sind unabhängig
- Teilbilder sind invers
Sequential Similarity Detection Algoritm - SSDA
- die Pixel in den Teilbildern werden nicht in geordneter Reihenfolge, sondern zufällig, durchlaufen
- z = Wert eines Zufallsgenerators, der die zu verwendenden Indexpaare adressiert
- Berechnung wird abgebrochen wenn definierter Schwellwert überschritten wird
- d.h. wenn Schwellwert nach nur wenigen Schritten überschritten wird, sind Punkte nicht homolog
- Schwellwert kann fest oder variabel sein
fester Schwellwert:
variabler Schwellwert:
- zu große Unterschiede zwischen Teilbildern werden frühzeitig abgebrochen
- N = Anzahl der erfolgten Vergleiche
Merkmalsbasiert
[...]
Weitere Verfahren
unwichtig (denk ich)
Polynokulare Verfahren
[...]
Oberfläschenbestimmung mit strukturiertem Licht (sLi 1 - 20)
sLi 1 - 20
Wie bei Stereokamerasystemen, wird hier mit zwei verschieden Blick-/Projektionsrichtung gearbeitet. Der Unterschied ist nur, dass der Strahlengang hierbei vom Projektor auf die Szene fällt und die remitierte Strahlung von der Kamera aufgenommen wird. [...]
Schnitt-Techniken (STe 1 - 29)
Gewinnung der 3.Dimenenion aus einem Stapel von Schnitten.
- Nach Kontrast: Hierbei können z.B. nur scharfe Bereiche in ein Gesamtbild übernommen werden (extended fokus). Hier ist eine relativ aufwendige Analyse (z.B. Bestimmung der Gradienten) des Stapels notwendig.
- Nach Intensität: [...]
- [...]
Konfokale Mikroskopie
Konfokale Laser-Raster-Mikroskopie
Bei der konfokalen Laser-Raster-Mikroskopie wird der Laserstrahl so in die Optik eingekoppelt, dass der Fokuspunkt des Laserlichtes gleichzeitig der Punkt ist, dessen remittierte Strahlen genau durch die Lochblende fallen.
Man könnte jetzt dem Trugschluß erliegen, dass es doch egal ist, wie weit das Objekt vom Fokuspunkt weg ist, da sich der Strahlengang des Lasers in gleicher Weise wie der der Abbildungsoptik ändert. So bildet sich wenn das Objekt außerhalt des Fokus liegt eine kreisrunde Fläche die beleuchtet wird und alles Licht was in die gleiche Richtung wieder zurückgestrahlt wird, wird durch die Lochblende auf den Sensor fallen. Also könnte man annehmen, dass die gesamte Energie wieder auf dem Sensor ankommt. Das ist aber nur der Fall wenn jede beleuchtete Fläche das gesamte Licht (ähnlich wie bei einem Reflektor) genau zur Lichtquelle zurückwirft. Da aber in diesem Fall auch Licht in andere Richtungen gestreut wird fällt die Lichtausbeute auf dem Sensor geringer aus.
Liegt das Objekt aber im Fokus kann auch ein Großteil des remittierten Lichts eingefangen werden, da es eine Vielzahl von Richtungen gibt die durch die Lochblende führen.
Konfokale Lichtmikroskopie
Gleicher Ansatz wie oben. Nur wird hier das Pinhole verschoben (Nipkow-Scheibe) um die verschieden Positionen abzutasten.
[...]
Computer Tomography
Eine Seite mit einem nicht wirklich tollen Verfahren.
Röntgenquelle wird im gleichen Verhältnis wie der Film verschoben. Das folgt dazu, dass ein Punkt immer an die gleiche Stelle abgebildet wird. Alle anderen Punkte werden (abhängig von ihrer Entfernung) breit geschmiert, also auch auf den interessanten Punkt.
Axial Computer Tomography
[...]
Fokusserien (FS 1 - 19)
[...]
Weißlichtinterferometrie (WLI 1 - 22)
Kohärenzläge: [Erklärung]
[...]
Subpixeling (SuPi 1 - 37)
[Allgemeine Definition welche Werte der folgenden Formeln was bedeuten]
MEAN-Algorithmus (Schwerpunkt) für Punktobjekte
Wie bei der physikalischen Bestimmung des Massenmittelpunkt
wird hier über ortsabhängig gewichteten Intensitätswert integriert und durch die Gesamtintensität geteilt (normiert). Hinweis: Im Script sind die Integrale in pysikalischen Schreibweise zu lesen. Desweitern wird nur eine Richtung betrachtet (x-Richtung) um die x-Koordinate des Schwerpunktes zu errechen. Analog könnte dann für die y-Richtung verfahren werden (d.h. die Schwerpunktbestimmung ist separierbar).
Ansatz (für die x-Koordinate des Schwerpunktes)
Da nur die x-Richtung betrachtet wird ist das Integral über unabhängig von x und mit ergibt sich:
Vereinfachung des Koordinatensystems
(Jetzt wird es lustig) Durch die Substitution mit soll das Ergebnis nur noch die Abweichung des Schwerpunktes von der Mitte des Messfensters angeben. Vergleicht man die resultierende Formel:
mit der oben stehenden, so fällt auf, dass sich die Formel nicht geändert hat, sondern nur das Koordinatensystem. D.h. läßt auch einfach durch nachträgliches Verschieben von berechen:
Auswertung der Pixelsignale
Hier wird hergeleitet, wie und unter welchen Vorraussetzungen sich die integrale Form in eine auf das Pixelraster anwendbare Summenform umformen lässt. Hierzu wird angenommen, dass sich die Intensität über dem Pixel nicht ändert (konstant ist). Dann ergibt sich über Zerlegung in ein Pixel breite Teilintervalle und Ersetzen der Integranden durch die jeweilige Pixelintensität :
Bewertung
- systematische Fehler, da der Ladungsschwerpunkts nicht immer genau im Zentrum liegt
- Zu großes Fenster führt zu Fehlern, da die Randpixel mit schlechtem SNR auch in die Rechnung eingehen
- Zu kleines Fenster führt zu Fehlern, da Werte die einen wichtigen Beitrag zum Ergebnis liefern würden wegfallen
Der MEDIAN-Algorithmus
Ansatz
Genau wie mein Median-Algorithmus in der Bildverarbetung wird die Mitte hier so gewählt, dass die links und rechts eingeschlossenen Flächen gleich groß sind. Bei der Bildverarbeitung wäre jetzt der Funktionswert an der Mitte von Interesse, hier ist aber nur die Position der Mitte von Bedeutung.
Auswertung der Pixelsignale
[Konfuse Herleitung - stimmt aber]
mit gemäß:
Bewertung
- systematische Fehler nur durch die lineare Interpolation zwischen den Mittenpixeln. (der Verlauf muss ja nicht linear sein)
- Alle Sinale sollen gleich bewertet werden
- Flache Beschneidung führt zu Fehlern, da die Symmetrieannahme verletzt wird
Parabelalgorithmus
Idee ist die Aproximation der Intensitätsverteilung an der zu analysierenden Stelle durch eine Parabel.
Der Mittelpunkt ist dann am Maximum.
Ansatz
Über Fehlerquadratmethode:
Auswertung der Pixelsignale
Bewertung
- Fenster darf nicht zu groß sein (Abweichung von der Parabelform führt zu Fehlern)
- Fenster darf nicht zu klein sein (zu viel Rausche)
- Verletzung des antisymmetrischen Intensitätsverlaufes innerhalb der Pixel fürt zu Fehlern
- Vorzugsanwendungen:
- stark gestörte Objektabbildungn
- stark gestörte Randbereiche der Objektabbildung
Halbpixel-Median
[hab ich nicht verstanden, aber ähnlicher Ansatz wie bei MEDIAN]
Maximum - Likelihood - Prinzip
[...]
[...]
Subpixeling bei Kanten (SuKa 1 - 16)
In Prinzip werden hier auch die Methoden aus dem SuPi-Bereich verwendet.
Punktewolken (PW 1 - 61)
Wurde nicht in der VL behandelt (auskommentiert)
EOF