Erfassung und Verarbeitung dreidimensionaler Daten

Aus II-Wiki
Zur Navigation springen Zur Suche springen

Klausuraufgaben (WS2009/10)

(60min (für 2-0er Veranstaltung), absoluter Schreibstress für die Menge von Aufgaben!)

  1. Frankes lustige Fragestunde (typische Ankreuzfragen):
    • Monokulare Verfahren ankreuzen
      • Shape from Motion, Shape from Shading, CT, Moiré, Shape from Color
    • Was ist vorteilhaft für richtige Auswahl von Fokusbildern einer Fokusserie (Frage so, oder ähnlich)
      • geringe Schärfentiefe, große Schärfentiefe, telezentriertes Objekt, ...
    • Frage zu retinotoper Ordnung und wie die Abbildung benachtbarter Bildpunkte zueinander ausschaut
      • rechte Seite beider Augen zur rechten Retina, Linkes auge zur rechten Retina, ...
    • minimale und maximale Disparität beim menschlichen Auge
  2. Homogene Koordinaten & Transformationen
    • Vorteile von homogenen Koordinaten erklären
    • Interpretation der Matrixelemente (Submatrizen) ->siehe Skript, Folie EV3D_2-17
  3. Weißlichtinterferometrie
    • Verfahren kurz erklären mit Skizze
    • Warum ist die Längenmessung bei WLI absolut möglich und bei LaserInterferometrie nicht?
    • Warum sind mit WLI rauhe Oberflächen vermessbar?
  4. Subpixeling
    • photometrische Mitte erklären (Skizze, Der Median-Algorithmus EV3D_8_1-6), mit Integralgleichungen
    • Übergang von Integralgleichungen zu Ladungen darstellen
    • Aussagen zur Größe des Auswertefensters machen
    • Welche Voraussetzungen durch das Modell werden an die Objektabbildung getroffen? (->Antwort: Symmetrie)
  5. Epipolar-Constraint
    • Welche Bedingungen ergeben sich? erklären
    • Bild wie bei EV3D_4_1-4 , Konstruktion der Epipolarlinie einzeichnen/verdeutlichen und mit Mathematik hinterlegen (auch ein verbale Beschreibung war möglich)
  6. Blockmatching & Standardstereo
    • Standardstereo erklären mit Skizze und Benennung
    • Bild EV3D_4_2-11 (Intensitätsbasierte Verfahren) gegeben und Unterschiede erklären
    • Erklärung von Blockmatching-Verfahren und auf Pixelselektionsverfahren (enhanced Blockmatching) eingehen
    • Wie wird der MSE berechnung und daraus die Disparität bestimmt?
  7. Computer Tomographie
    • Konventionelle CT kurz erklären mit auszufüllender Grafik (EV3D_6_2-1)
    • Wie funktioniert das mit der Aufsammelung der Dichtewerte d (Integralgleichung gegeben und Deltafunktion-eigenschaften zusammen mit Bild EV3D_6_2-f erklären)
    • Zusammenhang zwischen Dichtewerte und Intensität darstellen (mit Verweis auf Lambert-Beersches Gesetz)

Vorstellung des Fachgebietes (E 1 - 11)

absolut uninteressant ;)


Einführung (1 - 14 & TW 17 - 18)

Anatomie des Auges

sollte weitreichend bekannt sein

Stereosehen

Horopter:

  • imaginäre 3D-Kurve im Raum
  • sie geht durch die Knotenpunkte der beiden Augen und den Fixationspunkt
  • Punkte auf dem Horopter werden stets auf korrespondierende Punkte auf beiden Netzhäuten abgebildet
  • nicht auf dem Horopter liegende Punkte gehören nicht zu korrespondieren Bildpunkten und führen zu Doppelbildern
    • außerhalb: nicht gekreuzte Doppelbilder
    • innerhalb: gekreuzte Doppelbilder

EV3D-Horopter.jpg

Zyklopenauge:

  • liegt auch auf dem Horopter
  • befindet sich in der Mitte der beiden Augen, senkrecht zum Fixationspunkt

EV3D-Zyklopenauge.jpg

Tiefenwahrnehmung

  • Tiefeninformation kann mittels zweier Bilder gewonnen werden (menschliches binokulares Sehen)

Panum-Bereich:

  • der Bereich um den Horopter, in dem eine Fusion der Stereobilder möglich ist
  • wird dieser Bereich überschritten kommt es zu einer binokularen Rivalität, bei der sich eine monokulare Ansicht schließlich durchsetzt

EV3D-Panum.jpg

Disparität:

  • bezeichnet die Differenz zwischen den seitlichen Positionen eines Objektes, welches auf die Retina/Bildebene des linken und rechten Auges abgebildet wird
  • Objekte auf dem Horopter haben stets die Disparität Null

EV3D-Disparität.jpg

Epipolarlinie:

  • die Linie die korrespondierende Punkte zweier Bilder verbindet

EV3D-Epipolarlinie.jpg

Probleme beim Tiefensehen (Korrespondenproblem)

  • Fehlzuordnung der Schnittpunkte der Sehgeraden, führt zu falscher Objekttiefe
  • bei n Merkmalen pro Auge ergeben sich n! mögliche Zuordnungen
  • aber jede Zuordnung führt zu einer anderen räumlichen Interpretation
  • jedoch nur eine ist richtig

EV3D-Korrespondenzproblem.jpg

Technische Grundsätze der 3D-Datenerfasung (Ü-TGA 1 - 34)

  • größtenteils nur Beispiele gezeigt

optische 3D-Messverfahren

EV3D-optische 3D Messverfahren.jpg

Verarbeitung von 3D-Daten

siehe auch Kapitel 14 - dort werden die Verfahren genauer beschrieben

  1. Detektion von Ausreißern
    • Beseitigung zwingend erforderlich
    • stören Folgeoperationen erheblich
  2. Registrierung von Teilansichten
    • Ganzkörpererfassung erfordert mehrere Teilansichten
    • Marken nur in Ausnahmesituationen möglich
    • Problem: es existieren keine korrespondieren Punkte
  3. Homogenisierung
    • Entfernen oder Zusammenfassen von Punkten unter Beachtung von Objektstruktur und verfügbarer Punktdichte
  4. Regularisierung, Verdichtung
    • Problem: fehlende Messwerte durch Fehlmessung oder hoher räumlicher Gradient in Messrichtung
    • Lösung: Interpolation zur Erzeugung gleichmäßiger Punktdichten
  5. Segmentierung von Regelgeometrien und Randkurven
    • Regelgeometrien z.B. Kugel, Zylinder, Quader, Ebene, etc.
    • Trennung der Objekte/Punktwolken in Freiformanteile (für Weiterverarbeitung wichtig)
    • Handsegmentierung führt zu erheblichen Fehlern
  6. Triangulation
    • bedeutsam für Beschreibung von Freiformflächen
    • 2,5D-Daten leicht triangulierbar
    • bei 3D-Daten schwieriger
  7. Homogenisierung von Triangulationen
  8. Vermessung von Regelgeometrien
    • Extraktion von 3D-Merkmalen
    • Extraktion der Paramter der Regelgeometrien aus segmentierten Teilpunktewolken
    • Vergleich mit CAD-Daten


Geometrische Transformationen (GT 1 - 18)

Bedeutung:

  • affine Transformationen zur Beschreibung der geometrischen Anordnung der Elemente (Messgeräte, Lichtquellen, etc.)
  • planare Projektionen zur Beschreibung der Abbildung in der Kamera
  • beides zusammen bildet Basis für 3D-Rekonstruktion

Affine Transformationen:

  • zur Modellierung komplexer Szenen müssen Objekte verschoben, gedreht, skaliert und gespiegelt werden
  • meist auch Transformation von Koordinatensystemen notwendig
  • deshalb affine Transformationen nutzen:
    • Translation
    • Rotation
    • Skalierung
    • Scherung
    • Spiegelung

Affine Abbildungen

  • Objekte in einer Ebene E1, die auf eine parallele Ebene E2 abgebildet werden sind kongruent

EV3D-Parallelprojektion.jpg

  • wenn E2 aber nicht parallel zu E1 ist ergibt sich eine affine Verwandschaft zwischen den Objekten

EV3D-Affine Verwandschaft.jpg

Eigenschaften:
  • Geraden bleiben Geraden
  • parallele Geraden bleiben parallel
  • Teilverhältnisse der Abstände zwischen entsprechenden Punkten auf einer Geraden bleibt gleich
  • Abstände selbst bleiben nicht gleich
  • Winkel zwischen Geraden bleiben nicht erhalten

Fazit: Eine affine Abbildung lässt sich durch eine lineare Transformation (Rotation, Skalierung, Scherung, Spiegelung) und eine Translation realisieren.

Beispiele für affine Transformationen

  • Translation:
  • Skalierung:
  • Eine korrekte Skalierung funktioniert nur, wenn sich das zu skalierende Objekt im Ursprung des Koordinatensystems befindet.
  • Wenn sich das Objekt nicht im Ursprung befindet, muss man es zuerst durch eine Translation in den Ursprung verschieben, dann skalieren und wieder zurückschieben:
  • Man kann die einzelnen Transformationsmatrizen zusammenfassen
  • Rotation um die z-Achse

planare Projektionen

  • die planare Transformation macht es möglich aus 2D-Bildern 3D-Daten zu extrahieren
  • dadurch können 3D-Objekte berührungslos vermessen werden
  • benötigt wird hierfür:
    • Parallelprojektion
    • Zentralprojektion
  • für eine einfache Handhabung der Zentralprojektion sind projektive Räume und homogene Koordinaten notwendig

Parallel- & Zentralprojektion

  • Abbildung des Raumes auf die Ebene lässt sich durch Parallel- oder Zentralprojektion realisieren

Parallelprojektion:

  • ähnelt affinen Transformationen
  • mit Dimensionsreduktion verbunden
  • stellt den Grenzfall für den Augpunkt im Unendlichen dar
  • technische Realisierung: telezentrische Abbildung

Zentralprojektion:

  • wesentliche Unterschiede zu affinen Transformationen
  • jeder Objektpunkt wird durch seine Raumtiefe dividiert
  • Parallelität der Geraden und gleiche Teilverhältnisse der Abstände bleiben nicht erhalten

Projektive Räume und homogene Koordinaten

Probleme bei affinen Transformationen:

  • mathematische Operationen können nicht zu einer Matrix zusammengefasst werden
  • Ebene Projektionen sind nicht integrierbar
  • Unendlich ferne Punkte, Geraden, Ebenen etc. sind analytisch nicht beschreibbar

Deshalb Einführung von projektiven Räumen und homogenen Koordinaten

Ziel:

  • Vereinheitlichung der Transformationen
  • Integration der genannten Aspekte

Konstruktion der projektiven Ebene: [...]

// ich habe noch nicht rausgefunden was er uns eigentlich sagen will


3D-Datenerfasung (mbs 1 - 50)

EV3D-3D-Datenerfassung.jpg

Monokulare Verfahren

Shape from motion - Optical Flow

  • Bewegungswahrnehmungen sind wesentliche Elemente zur visuellen Interpretation der Umwelt
  • d.h. durch die Verschiebungsvektoren in aufeinander folgenden Bildern kann man die Szene räumlich interpretieren
  • Nahe Objekte erzeuge große Flussvektoren und ferne Objekte erzeugen kurze Flussvektoren
  • Durch exakte Vermessung der Verschiebungsvektoren ist eine 3D Rekonstruktion möglich (shape from motion)

Vorraussetzung:

  • Man muss homologe Punkte (feste Bezugspunkte) in den einzelnen Bildern finden
  • d.h. Punkte, die man eindeutig einem Objekt oder einer Oberflächenstruktur zuordnen kann (siehe Robotvision Optical Flow)

Probleme:

  • Vektorfelder sind nur bei hinreichend strukturierten Bildern berechenbar
  • bei gleichförmig texturierten Objekten ist es schwer homologe Punkte zu finden
  • Veränderungen bei Lichtquellen

Zeitliche und Räumliche Veränderungen:

  • ruhende Kamera: im Differenzbild nur Grauwertänderungen beim Objekt, d.h. die Ränder der bewegten Objekte werden sichtbar
  • bewegte Kamera: im Differenzbild zeigen sich die Ränder aller Objekte

Zusammenfassung:

  • ist die Relativbewegung der Kamera bekannt, lässt sich die 3D-Form der Szene ermitteln
  • Rekonstruktion ist einfach, wenn sich die Kamera parallel zur xy-Ebene bewegt und z die Tiefe der Szene beschreibt
  • es werden korrepondierende Bildpunkte benötigt
  • Probleme sind Okklusionen (Verdeckungen), das Blendenproblem (?) und zu geringe Grauwertänderungen (zur Bestimmmung homologer Punkte)
Große Stereowinkel vergrößern die Genauigkeit, aber auch die Gefahr von Verdeckungen

Shape from shading

  • 3D-Form wird aus der Schattierung der Objekte berechnet
  • dabei setzten einige frühe Verfahren eine unendlich weit entfernte, orthogonale Beleuchtung voraus
3D shape from shading.jpg
  • spätere Verfahren auch mit perspektivischer Projektion und beliebigen Beleutungen
  • Albedo (sozusagen Helligkeit/Weißheit) der Objektoberfläche
  • Transmission der Atmosphäre
  • Randabfall:
  • von Lambertstrahler
  • von Bestrahlungsstärke
  • aus verlängertem Weg bei schrägem Blick
  • Durchmesser der Eintrittspupille
  • Brennweite
  • sagt aus, das Bündel von Lichtstraheln auf Sensor trifft und nicht nur 1 Lichtstrahl
  • konstante Strahlungsstärke der Lichtquelle mit Richtung
  • Einfluss der Objektgeometrie auf das Reflexionsverhalten

Shape from texture

  • 3D-Form wird aus der Veränderung von Texturen, in Abhängigkeit vom Normalenvektor der Oberfläche, gewonnen
  • erfordert homogen texturierte Oberflächen und bekannte Texturierung
  • es werden nicht nur Pixel sondern Regionen zur Schätzung des Normalenvektors benötigt
  • kaum von Bedeutung

Binokulare Verfahren

Stereo

  • beim Stereoverfahren verwendet man 2 Kameras statt nur einer
  • wenn man in den Bildern der beiden Kameras feste Bezugspunkte (homologe Punkte) ermitteln kann, lassen sich die Punktkoordinaten (auch in der Tiefe) berechnen
  • Die Kameraebene wird im gleichen Abstand vor den Augpunkt gelegt
  • Der Abstand der Kameras beträgt .
  • Daraus ergibt sich folgende Anordnung:
3D stero.png
  • je größer die Differenz der x-Koordinaten, desto näher ist das Objekt
  • daraus ergibt sich der Tiefenwert Z:
  • die Differenz der x-Koordinaten wird als Disparität bezeichnet

Stereokalibrierung:

  • Bestimmung der Lage und Blickrichtung der Kameras im Weltkoordinatensystem
  • Herstellen eines Zusammenhangs zwischen den zweidimensionalen Bildkoordinaten und den Raumkoordinaten der Welt

Réseau-Technik

  • vor der Bildebene befindet sich eine Glasplatte mit einem hochgenauen Netz aus Kreuzen, die auf das Bild projeziert werden

Ziele:

  • Ausgleich von Verzerrungen durch Filmunebenheiten oder Digitalisiertablettunstetigkeiten
  • Ausgleich von Kamera-, Scanverzerrungen, Filmverzug und Erwärmungseffekten bei der Entwicklung und Auswertung
  • zur Korrektur der Perspektive, um Orthophotos zu erzeugen
    • in Orthophotos stehen die Objekte genau orthogonal zur Kameraebene
    • damit sind z.B. exakte Breiten- und Längenmessungen im Bild möglich
3D ortho.png

Korrespondenzanalyse (KA-C 1 - 23)

  • Hauptproblem der existierenden Stereosysteme besteht in der automatischen Zuordnung korrespondierender Strukturen

Grundidee der Korrespondenzanalyse:

  • vergleichen von Pixeln eines Bildes mit Pixeln eines anderen Bildes (unter bestimmten Kriterien)
  • Um so mehr gleiche Paare, sprich korrespondierende Pixel, gefunden werden, um so besser können Tiefenwerte ermittelt werden
Intensitätsbasiert Merkmalsbasiert
Idee Annahme, dass korrespondierende Pixel einen ähnlichen Intensitätswert besitzen Extraktion von markanten Bildteilen (Kanten, Pixel auf Kanten)
Problem es gibt eine große Anzahl identischer Intensitätswerte in einem Bild
Lösung
  • Unterteilung in Blöcke (5x5, 8x8)
  • Zuordnung zwischen den Pixeln erfolgt anhand eines Ähnlichkeitsmaßes zwischen den Intensitätswerten der Blöcke
  • sobald Blöcke zugeordnet wurden, kann das Verfahren auch auf die Pixel in diesen Blöcken angewendet werden
  • Beschränkung auf bestimmte Elemente des Bildes ist auch möglich
  • Ähnlichkeitsmaß mit oder ohne Merkmalsextraktion möglich
  • Zuordnung anhand der Merkmale (Kantenpixel, zusätzliche Attribute)
Eigenschaften
  • hohe 3D Punktdichte
  • langsam
  • kein Subpixeling
  • photometrisch sensitiv
  • Qualität abhängig von Fenstergröße und Ähnlichkeitsmaß
  • hochfrequente Bildanteile sehr störanfällig
  • relativ geringe Punktdicht
  • schnell
  • kaum photometrisch sensitiv
  • hohe Genauigkeit durch Subpixeling
  • Merkmale müssen extrahierbar sein
  • Wiederholstrukturen besonders anfällig

Probleme der Korrespondenzanalyse:

  • Mehrdeutigkeiten bei der Bestimmung korrespondierender Bildpunkte
  • Diese Mehrdeutigkeiten müssen reduziert werden durch:
    • Eigenschaften der Objekte
    • Geometrische Einschränkungen (Punkte können nur korrespondieren, wenn sie auf einer epipolaren Linie liegen)


Intensitätsbasierte Verfahren (KA 1 - 27)

  • Suche von homologen Punkten durch Ähnlichkeitsmaße in Bildblöcken
  • Bezugspunkte liegen in einer gemeinsamen Bildzeile oder der zweite liegt auf der Epipolarlinie des Ersten
  • folgende Ähnlichkeitsmaße kommen zum Einsatz:
    • Mean Absolute Difference (MAD)
    • Mean Square Error (MSE)
    • Kreuzkorrelationskoeffizient (KKF)
    • Kreuzkovarianz (KCF)

Mean Absolute Difference - MAD

MAD ist die mittlere pixelweise absolute Differenz zweier Korrelationsfenster. Im Script wird die normierte Variante genannt:

bzw. die folgende allgemeine Variante (keine Scanlinerichtung vorgegeben wie oben)

  • kann beschleunigt werden durch Verzicht auf Mittelung
  • mit zunehmender Übereinstimmung zwischen beiden Teilbildern geht
  • bleibt MAD hinreichend klein, kann homologes Punktpaar geschätzt werden
  • läuft dadurch ca. 15 mal schneller als KKF
  • Problem: sehr empfindlich gegenüber Helligkeitsschwankungen

Mean Square Error - MSE

MSE ist die mittlere quadratische Differenz zweier Korrelationsfenster. Im Script wird folgende Variante genannt:

Blockmatching - Verfahren

  • für Bewegungsschätzung bei der Bildkodierung
  • für unregelmäßige Texturen und inhomogene Regionen geeignet
  • Voraussetzung: alle Pixel eines Blockes besitzen (näherungsweise) gleiche Disparität
  • richtige Wahl der Blockgröße bedeutsam (4x4, 8x8, 16x16, etc.)
  • Schritt 1: Einteilung eines Bildes in Blöcke
  • Schritt 2: Suche des entsprechendes Blockes im anderen Bild mit MAD / MSE
  • Schritt 3: Berechnung der Diparität durch

[...]

Kreuzkorrelation und Kreuzkovarianz

Kreuzkorrelation:

Kreuzkovarianz:

ergibt sich nach Umformen zu:

Varianz (für normierte Kreuzkorrelation):

ergibt sich nach Umformen zu:

Normierte Kreuzkorrelation:

  • anwendbar bei hinreichender Strukturierung der Objekte
  • inavriant gegen Helligkeitsschwankungen der beiden Teilbilder zueinander
  • Teilbilder sind identisch (gilt für homologe Punkte)
  • Teilbilder sind unabhängig
  • Teilbilder sind invers

Sequential Similarity Detection Algoritm - SSDA

  • die Pixel in den Teilbildern werden nicht in geordneter Reihenfolge, sondern zufällig, durchlaufen
  • z = Wert eines Zufallsgenerators, der die zu verwendenden Indexpaare adressiert
  • Berechnung wird abgebrochen wenn definierter Schwellwert überschritten wird
    • d.h. wenn Schwellwert nach nur wenigen Schritten überschritten wird, sind Punkte nicht homolog
    • Schwellwert kann fest oder variabel sein

fester Schwellwert:

variabler Schwellwert:

  • zu große Unterschiede zwischen Teilbildern werden frühzeitig abgebrochen
  • N = Anzahl der erfolgten Vergleiche

Verfahren nach Shirai

einfach augedrückt:

  • alle Kanten in einem der beiden Bilder extrahieren
  • Pixel entlang der Kanten anhand eines Ähnlichkeitsmaßes zuordnen
  • Ergebnis ist eine Disparitätenkarte, die Einträge für zugeordnete Pixel entlang der Kanten enthält

Merkmalsbasiert

Verfahren nach Marr-Poggio-Grimson

  • entspricht der merkmalsbasierten Farbstereoanalyse
  • aus Einfachheitsgründen verweise ich auf: TU-Cottbus
(Seiten 7-8)

Verfahren nach Kass

  • entspricht der histogrammbasierten Stereoanalyse
  • aus Einfachheitsgründen verweise ich auf: TU-Cottbus
(Seiten 5-7)

Weitere Verfahren

es gibt weite Verfahren, werden hier aber nicht betrachtet

Polynokulare Verfahren

  • es werden mehr als 2 Kameras verwendet
  • zu beachten sind:
  • Positionierung der Kameras
  • unter Umständen Verbesserung bei Abschattung aber keine Verringerung von Mehrdeutigkeiten
  • unter Umständen erhöhter Rechenaufwand

Oberflächenbestimmung mit strukturiertem Licht (sLi 1 - 20)

  • wie bei Stereokamerasystemen, wird hier mit zwei verschieden Blick-/Projektionsrichtungen gearbeitet
  • Unterschied: Strahlengang fällt hierbei vom Projektor auf die Szene und die remitierte Strahlung wird von der Kamera aufgenommen
  • Mittels Projektor wird eine Textur auf texturarme Regionen gebracht
  • damit ist eine bessere Identifikation homologer Punkte beim Stereoverfahren möglich
  • projeziert werden häußig Zufallsmuster, damit sich keine Musterstellen wiederholen
  • Vorteil: hohe Messpunktdichet erreichbar
  • Nachteil: relativ aufwendige Bildzuordnungsalgorithmen notwendig

Topometrische Verfahren

Dazu gehören:

  • Lichtschnittverfahren
  • erweiterter Lichtschnitt
  • Kodierter Lichtansatz
  • Phasenshift-Verfahren
  • Moiré-Verfahren

Lichtschnittverfahren

  • beim Lichtschnittverfahren wird mit dem Projektor eine einzele Linie auf das Objekt projeziert
  • dabei wird die Linie durch die Oberflächenbeschaffenheit des Objektes verformt
  • die verformte Linie wird von einer Kamera aufgenommen und mittels Triangulation können die z-Werte der Punkte auf der Linie berechnet werden
3D Lichtschnitt.png
  • schnelle Linienverschiebung und schnelle Aufnahmefolge (eine Line , n Aufnahmen) Scannes des Objektes
  • Nachteil: kann mehrere Sekunden dauern, daher nur statische Szenen auswertbar

Erweiterter Lichtschnitt

  • statt Abscannes des Objektes, werden alle Linien auf einmal projeziert (n Linien, eine Aufnahme)
  • Vorteil: schnellere Auswertung, deshlab auch dynamische Szenen auswertbar
  • Nachteile:
    • nur nahezu ebene Objekte ohne Verdeckungsbereiche erfassbar
    • Probleme bei der Linienverfolgung bei Überdeckungen oder tiefen Sprüngen
      • lösbar durch farbige Linien (Farbkamera erforderlich)

Kodierter Lichtansatz

  • ähnlich wie Erweiterter Lichtschnitt, nur statt einer Aufnahme werden mehrere gemacht
  • Vorteil: bessere Zuordbarkeit der Linien möglich
  • hohe Messpunktzahl in kurzer Zeit extrahierbar
  • um den Fehler zu minimieren, wird der Gray-Code verwendet
3D kodLicht.png

Phasenshiftverfahren

  • kleine Höhenänderungen sind mit Linienstruktur nicht detektierbar
  • ebenfalls können Grauwertunterschiede auch durch unterschiedlichen Überdeckungsgrad von Pixel und Licht zustande kommen (Beleuchtungskanten)
  • deswegen Beleuchtung mit einem sinusförmigen Streifenmuster
  • Höhe ist dann in der Phase kodiert
3D phasen.png

Phasogrammetrie

  • Kombination von kodiertem Licht, Phasenshift und klassischer Photogrammetrie
  • Beleuchtung durch Liniensequenzen die um 90° gedreht sind (Graycode und - modulierte Muster)
  • jeder Punkt wird aus zwei unterschiedlichen Richtungen beleuchtet
  • simultane Aufnahme der Beleuchtungsmuster durch mehrere, frei platzierte Kameras (müssen nicht stabilisiert werden)
  • System kann sich selbst kalibrieren

Moiré Techniken

  • Das Messobjekt wird von 2 Lichtprojektoren über ein Liniengitter beleuchtet
  • jeder Projektor erzeugt somit ein Linienbündel
  • Die schneidenen Linienbündel treten mit der Objektoberfläche in Wechselwirkung (Schattenebenen Moirélinien)
  • Es entstehen höhenlinienartige Strukturen, die man quantitativ zum 3D-Messen benutzen kann
  • Auswertung durch Verfolgen der Linien und Zählen der Höhenniveaus
  • Probleme:
    • ich flachen und steilen Bereichen verfolgen der Linien schwierig
    • an Sprungstellen sind Linien unterbrochen
    • Tal-Hügel-Problem: ich kann aus Bild nicht sagen ob Objekt nach unten oder oben gewölbt ist

Schnitt-Techniken (STe 1 - 29)

Gewinnung der 3.Dimenenion aus einem Stapel von Schnitten.

  • Nach Kontrast: Hierbei können z.B. nur scharfe Bereiche in ein Gesamtbild übernommen werden (extended fokus). Hier ist eine relativ aufwendige Analyse (z.B. Bestimmung der Gradienten) des Stapels notwendig.
  • Nach Intensität: Hierbei wird Licht nur für fokusierte Elemente eines Schnittes durchgelassen (konfokale Mikroskopie)
  • Durchstrahlen des Volumens: Durchstrahle Objekt, messe Projektionen, projeziere zurück zur Schnitterzeugung (Computertomographie)

Konfokale Mikroskopie

Konfokale Laser-Raster-Mikroskopie

Bei der konfokalen Laser-Raster-Mikroskopie wird der Laserstrahl so in die Optik eingekoppelt, dass der Fokuspunkt des Laserlichtes gleichzeitig der Punkt ist, dessen remittierte Strahlen genau durch die Lochblende fallen.

Fig3 2.png

Man könnte jetzt dem Trugschluß erliegen, dass es egal ist, wie weit das Objekt vom Fokuspunkt weg ist, da sich der Strahlengang des Lasers in gleicher Weise wie der der Abbildungsoptik ändert. So bildet sich wenn das Objekt außerhalt des Fokus liegt eine kreisrunde Fläche die beleuchtet wird und alles Licht was in die gleiche Richtung wieder zurückgestrahlt wird, wird durch die Lochblende auf den Sensor fallen. Also könnte man annehmen, dass die gesamte Energie wieder auf dem Sensor ankommt. Das ist aber nur der Fall wenn jede beleuchtete Fläche das gesamte Licht (ähnlich wie bei einem Reflektor) genau zur Lichtquelle zurückwirft. Da aber in diesem Fall auch Licht in andere Richtungen gestreut wird fällt die Lichtausbeute auf dem Sensor geringer aus. Liegt das Objekt aber im Fokus kann auch ein Großteil des remittierten Lichts eingefangen werden, da es eine Vielzahl von Richtungen gibt die durch die Lochblende führen.

Konfokale Lichtmikroskopie

Gleicher Ansatz wie oben. Nur wird hier das Pinhole verschoben (Nipkow-Scheibe) um die verschieden Positionen abzutasten.

Konfokales Lichtmikroskop.png

Computer Tomography

  • Röntgenquelle wird im gleichen Verhältnis wie der Film verschoben
  • das führt dazu, dass ein Punkt immer an die gleiche Stelle abgebildet wird
  • alle anderen Punkte werden (abhängig von ihrer Entfernung) breit geschmiert, also auch auf den interessanten Punkt
  • Nachteil: Strahlungsdosis erheblich höher als bei normaler Röntgentechnik

Axial Computer Tomography

  • Bestrahlung durch Röntgenstrahlung auf einer Seite und messen der gedämpften Strahlen durch eine Sensorzeile auf der anderen Seite
Projektion auf die Sensorzeile
  • Das ganze wird für unterschiedliche Winkel durchgeführt
  • aus den einzelnen Intensitätsfunktionen, kann ein Querschnittsbild berechnet werden
  • Bildrekonstruktion erfolgt über Fouriertransformation
Rekonstruiertes Bild
  • verschiede Gewebe im Körper (Muskeln, Knochen, Organe) haben unterschiedliche Abschwächungseigenschaften
  • weil die Auflösung der erforderlichen A/D-Wandlung die Farbtiefe von PC-Monitoren übersteigt, müssen spezielle Fenster über aufgenommenes Bild gelegt werden (z.B. für Knochen, Weichteile etc. )

Kernspin- oder Magnetresonanz Tomographie (MRT)

  • Wasser besteht aus zahlreichen magnetischen Dipolen, deren Richtung zufällig ist und sich im Mittel kompensiert
  • wird ein starkes, zeitlich konstantes, Magnetfeld angelegt, richten sich die Spins aus , so dass sich eine Magnetisierung ergibt
    • parallele Ausrichtung der Spins: haben wenig Energie (Mehrheit)
    • antiparallele Ausrichtung der Spins: haben viel Energie (Minderheit)
  • durch Zuführung hochfrequenter Energie einer bestimmten Frequenz (sogenannte Lamorfrequenz) werden immer mehr antiparallele Ausrichtungen erzeugt, bis Magnetisierung in Richtung des Magnetfeldes verschwindet
  • Energie wird exponentiell abfallend von Spins wieder abgegeben FID-Signal (Free Induction Decay)
  • Größe des FID-Signals ist ein Maß für die Dichte der fraglichen Atome (Protonendichte) kann über Antennen registriert werden
  • unterschiedliches Relaxationsverhalten (Zeit die verstreicht, bis Spins zugeführte Energie wieder abgegeben haben) von unterschiedlichen Geweben ist, neben FID-Signal, Hauptursache für den MR-Konstrast
  • Ortskodierung:
    • durch Abstufung des Magnetfeldes, wird die Tiefe (z-Koordinate) in der Lamorfrequenz kodiert
    • durch breitbandige Anregung (über alle Lamorfrequenzen) werden alle Kerne ausgelenkt
    • noch bissl Mathematik dazu und man erhält ein Voxelbild
3D MRT.jpg

Emissionscomputertomographie

Es gibt:

  • SPECT (Single-Photon-Emissions-Computertomographie)
    • emittierende Photonen instabiler Isotope werden aus verschiedenen Winkelpositionen aufgenommen
    • Rekonstruktion wie beim Röntgen-CT
  • PET (Positronen-Emissions-Tomographie)
    • Isotope emittieren Positronen, die sich beim Wandern durch Gewebe mit Elektronen rekombinieren und dabei zwei -Quanten frei setzen
    • diese laufen in genau entgegengesetzte Richtungen auseinander
    • wenn zwei gegenüberliegende Detektoren diese Quanten zeitgleich erfassen, kann daraus Position des Positrons bestimmt werden

Fokusserien (FS 1 - 19)

  • in der digitalen Bildverarbeitung gibt es häufig automatische Inspektionssysteme im mikroskopischen Bereich (z.B. in der Halbleiterindustrie)
  • Probleme treten auf, wenn die Höhenunterschiede im Messobjekt zu gering sind (im nm Bereich) und damit im Kohärenzbereich des Lichtes liegen
  • d.h. es entstehen Phasenverschiebungen, die durch die verschiedenen Wellenlängen des Lichtes bei der Reflextion mit der Oberfläche entstehen
  • die Aussagekraft eines Bildeinzuges einer Szene ist begrenzt in den defokusierten Bereichen steht das erforderliche Auflösungsvermögen nicht zur Verfügung
  • deswegen: Auswahl einer optimalen Zwischenrepräsentation der Szene aus einer Bildfolge

Es gibt zwei Möglichkeiten:

  • globale Fokusbewertung zur Auswahl eines "optimal" fokussierten Bildes. Dabei wird einfach das Bild ausgewählt, dass den größen Informationsgehalt besitzt.
  • lokale Fokussuche zur Gewinnung von Tiefeninformation. Dabei wird von den verschiedenen Bildern immer der Bereich segmentiert, der scharf ist, anschließend wird alles zu einen Gesammtbild zusammengefasst.

Methodenspektrum:

  • Auswertung des Kontrastes als Schärfe- bzw. Fokusäquivalent und a-priori Wissen ergeben einen Fokusoperator

EV3D-Fokusserien.jpg

Interferometrie (WLI 1 - 22)

Grundprinzip

  • basiert auf Überlagerung von Lichtwellen, die bei Kohärenz interferieren
  • Die Kohärenzlänge ist der maximale Weglängenunterschied, den zwei Lichtstrahlen, die derselben Quelle entstammen, haben dürfen, damit bei ihrer Überlagerung noch ein Interferenzmuster entsteht.
  • die Kohärenzläge hängt von der spektralen Bandbreite der Lichtquelle ab:
  • Laserquellen haben wegen der geringen Bandbreite eine große Kohärenzlänge (20 km)
  • Weißlicht hat wegen der großen spektralen Bandbreite eine kurze Kohärenzlänge (3 µm)
  • Kohärenzzeit:

Laserinterferometer

3D laser.png

  • beim Laser ist die Einhüllende im Korrelogramm wegen der großen Kohärenzlänge praktisch unendlich breit.
  • Deshalb kann man nur die Phase für die Messung benutzten (nur relative Messung möglich)
3D interferenz.png
  • im Interferometer überlagern sich zwei Teilwellen.
  • eine Weglängendifferenz führt zu einer Phasenverschiebung
  • der Messbereich ist
  • bei rauen Oberflächen ist die Phase zufällig, daher ist das Laserinterferometer nicht einsetztbar

Weißlichtinterferometrie

Aufbau

3D weiss.jpg

  • man kann wegen der kurzen Kohärenzlänge das Maximum im Korrelogramm ermitteln und damit die Wegdifferenz
  • Vorteile:
    • man kann absolut messen
    • raue Flächen messbar

Subpixeling (SuPi 1 - 37)

Folgende Variablen werden verwendet:

  • absolute, kontinuirliche Bildkoordinaten:
  • relative, kontinuirliche Bildkoordinaten:
  • Messfensterposition:
  • kontinuirliche Messfensterkooordinaten:
  • diskrete Messfensterkooordinaten:
  • Messfensterbreite:
  • Koppelbreite:

MEAN-Algorithmus (Schwerpunkt) für Punktobjekte

Wie bei der physikalischen Bestimmung des Massenmittelpunkt

wird hier über ortsabhängig gewichteten Intensitätswert integriert und durch die Gesamtintensität geteilt (normiert).

Hinweis: Im Script sind die Integrale in pysikalischen Schreibweise zu lesen. Desweitern wird nur eine Richtung betrachtet (x-Richtung) um die x-Koordinate des Schwerpunktes zu errechen. Analog könnte dann für die y-Richtung verfahren werden (d.h. die Schwerpunktbestimmung ist separierbar).

Ansatz (für die x-Koordinate des Schwerpunktes)

Da nur die x-Richtung betrachtet wird ist das Integral über unabhängig von x.

Mit ergibt sich:

Vereinfachung des Koordinatensystems

Durch die Substitution mit soll das Ergebnis nur noch die Abweichung des Schwerpunktes von der Mitte des Messfensters angeben. Vergleicht man die resultierende Formel

mit der oben stehenden, so fällt auf, dass sich die Formel nicht geändert hat, sondern nur das Koordinatensystem.

D.h. läßt sich auch einfach durch nachträgliches Verschieben von berechen:

Auswertung der Pixelsignale

Hier wird hergeleitet, wie und unter welchen Vorraussetzungen sich die integrale Form in eine auf das Pixelraster anwendbare Summenform umformen lässt. Hierzu wird angenommen, dass sich die Intensität über dem Pixel nicht ändert (konstant ist). Dann ergibt sich über Zerlegung in ein Pixel breite Teilintervalle und Ersetzen der Integranden durch die jeweilige Pixelintensität :

Bewertung

  • systematische Fehler, da der Ladungsschwerpunkt nicht immer genau im Zentrum liegt
  • Zu großes Fenster führt zu Fehlern, da die Randpixel mit schlechtem SNR auch in die Rechnung eingehen
  • Zu kleines Fenster führt zu Fehlern, da Werte die einen wichtigen Beitrag zum Ergebnis liefern würden wegfallen

Der MEDIAN-Algorithmus

Ansatz

Genau wie mein Median-Algorithmus in der Bildverarbetung wird die Mitte hier so gewählt, dass die links und rechts eingeschlossenen Flächen gleich groß sind. Bei der Bildverarbeitung wäre jetzt der Funktionswert an der Mitte von Interesse, hier ist aber nur die Position der Mitte von Bedeutung.

Auswertung der Pixelsignale

[Konfuse Herleitung - stimmt aber]

mit gemäß:

EV3D-SubPixel-Median.png

Bewertung

  • systematische Fehler entstehen nur durch die lineare Interpolation zwischen den Mittenpixeln (der Verlauf muss ja nicht linear sein)
  • Alle Signale sollen gleich bewertet werden
  • Flache Beschneidung führt zu Fehlern, da die Symmetrieannahme verletzt wird

Parabelalgorithmus

Idee ist die Aproximation der Intensitätsverteilung an der zu analysierenden Stelle durch eine Parabel.

Der Mittelpunkt ist dann am Maximum.

Ansatz

Über Fehlerquadratmethode:

Auswertung der Pixelsignale

Bewertung

  • Fenster darf nicht zu groß sein (Abweichung von der Parabelform führt zu Fehlern)
  • Fenster darf nicht zu klein sein (zu viel Rauschen)
  • Verletzung des antisymmetrischen Intensitätsverlaufes innerhalb der Pixel fürt zu Fehlern
  • Vorzugsanwendungen:
    • stark gestörte Objektabbildungn
    • stark gestörte Randbereiche der Objektabbildung

Halbpixel-Median

  • Strukturort kann bis aufs halbe Pixel genau bestimmt werden, durch Tests
  • danach erfolgt zwischen den Subpixeln eine Interpolation
  • Vorteile:
    • Vergleiche und Interpolation sind schnell und leicht in Hardware implementierbar
    • Genauigkeit ist oft ausreichend

Maximum - Likelihood - Prinzip

[...]

[...]

Subpixeling bei Kanten (SuKa 1 - 16)

Punktalgorithmen - Kantenalgorithmen

  • es ist sinnvoll in x- und y- Richtung mit getrennten Linienbildfunktionen zu arbeiten
  • daraus folgt das die Beschreibungsfunktion (das Modell) bezüglich x und y separierbar ist
  • Mittelwerte und Varianz sind in allen Zeilen und Spalten konstant
  • Eigenschaften eines Kantenübergangs hängen sowohl von der PSF (Point Spread Function) und der Pixelappertur, als auch von der Orientierung der 2D-Kante ab

Ansatz für Subpixelalgorithmen

Möglichkeit 1:

  • durchlaufen jeder Zeile bzw. Spalte und Suche nach Kantenübergang
  • Markieren der möglichen Kante
  • alle Markierungen verbinden und eventuell mit a-priori Wissen Kante korrigieren
    • wenn man z.B. weiß das Kante gerade sein müsste

Möglichkeit 2:

  • 2D-Subpixelalgorithmen, z.B. Maximum-Likelihood-Schätzung der Parameter in einem 2D-Kantenmodell

MEAN-Algorithmus

Ansatz:

  • Schwerpunkt der differenzierten Kante wird gesucht
  • Symmetrisches Kantenbild wird vorausgesetzt

führt am Ende zu:

Bewertung:

  • breite Objekte führen zu systematischen Fehlern
  • schmale Objekte sind störanfällig
  • Fehler durch Objektbeschneidung durch hinreichend großes Fenster umgehen

Vorzugsanwendung:

  • geringes Rauschen
  • kein Objektanschnitt
  • hohe Verarbeitungsgeschwindigkeit

MEDIAN-Algorithmus

Ansatz:

führt am Ende zu:

Optimalalgorithmus für Kanten

// Doof

Punktewolken (PW 1 - 61)

Wurde nicht in der VL behandelt (auskommentiert)