Grundlagen der Bildverarbeitung und Mustererkennung: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
Zeile 174: | Zeile 174: | ||
= Bildvorverarbeitung (GT 1 - 33) = | = Bildvorverarbeitung (GT 1 - 33) = | ||
+ | * Bilder sind meist stark gestört | ||
+ | * Mögliche Ursachen für Störungen sind: | ||
+ | ** Inhomogene Beleuchtung | ||
+ | ** Verunreinigungen in der Kamera (Streulicht und ähnliches) | ||
+ | ** Nicht perfekte Optik (Randabfall, Verzerrungen) | ||
+ | ** Nichlinearitäten des Bildsensors (Vorallem beim CMOS und Röhren) | ||
+ | ** Rauschen der Elektronik | ||
+ | ** Einkopplungen | ||
+ | * Ziel der Bildvorverarbeitung ist es: | ||
+ | ** Normierung des Graustufen und Bildgeometrie | ||
+ | ** Korrektur und Unterdrückung der Störungen | ||
+ | ** Extraktion von Merkmalen für die Steuerung/ Parametrisierung von Algorithmen | ||
+ | ** Erzielen von Invarianzeingenschaften | ||
+ | |||
+ | == Geometrische Bildtransformation == | ||
+ | * Ziel ist es das entzerrte Zielbild aus einem verzerrten Quellbild zu erhalten | ||
+ | * Wenn die Verzerrungseigenschaften des Systems bekannt sind kann die Transformation analytisch Beschrieben werden | ||
+ | * Bei unbekannten Verzerrungseingeschaften muss die Transformationsfunktion approximiert werden | ||
+ | ** Passiert meist mit polynimialen Ansätzen | ||
+ | ** Markieren von Passpunkten für die Approximation | ||
+ | * Vorwärtstransformation | ||
+ | ** Das Zielbild wird direkt aus dem Quellbildberechnet in dem jedes Pixel des Quellbildes durchgegangen wird und ins Zielbild übertragen wird | ||
+ | ** Problem ist das im Zielbild "Lücken" entstehen können aufgrund von Rundung der transformierten Koordinaten | ||
+ | * Rückwärtstransformation | ||
+ | ** Das Zielbild wird aus dem Quellbild berechnet in dem jedes Pixel im Zielbild durchgegangen wird und geschaut wird welcher wert aus dem Quellbild eingetragen werden muss | ||
+ | ** Es entstehen keine Lücken mehr im Zielbild | ||
+ | ** Die zurücktransformierten Koordinaten müssen nicht genau auf ein Pixel im Quellbild treffen → Interpolation der Pixelwerte notwendig | ||
+ | |||
+ | == Interpolationsverfahren zum Resampling == | ||
+ | * gegeben ist ein Bild mit diskreten werten an bestimmten stellen | ||
+ | * Gesucht sind nun Werte an beliebigen stellen → als Wiederabtastung oder auch Resampling bezeichnet | ||
+ | * Dabei soll für die Interpolationsfunktion gelten das sollte genau ein Abtastwert getroffen werden so darf nur dieser den Wert des Zielpixels bestimmen | ||
+ | |||
+ | === Ideale Interpolationsfunktion === | ||
+ | * Wenn das Originalbild hinreichend Bandbegrenzt war läßt sich mit Hilfe von einer Summe si-Funktionen das koninuierliche Originalbild rekonstruieren | ||
+ | * Dazu wird in dem unendlichgroßen Bild auf jedes Pixel eine si-Funktion gesetzt mit dem gewicht des Grauwertes an dieser Stelle | ||
+ | * Multiplikation des Spektrums des Bildes mit einem Rechteck ... Rückgängigmachen der Periodifizierung durch die Abtastung | ||
+ | |||
+ | === Nearest Neighbour Resampling === | ||
+ | * wähle den nächsten Nachbarn als Funktionswert an dieser Stelle | ||
+ | * Führt zu Artefakten da der Funktionswert schlichtweg falsch ist | ||
+ | |||
+ | === Bilineare Interpolation === | ||
+ | * lineare Interpolation des Pixelwertes an der geünschten Stelle aus den vier benachbarten Pixeln (Abstand zu den Stützwerten geht mit in die Interpolation ein !!!) | ||
+ | * Immer noch sehr schnell | ||
+ | * besser als Runden aber immer noch Fehlerbehaftet | ||
+ | * Im Frequenzbereich wird das Spektrum des Bildes mit einer si²- Funktion multipliziert | ||
+ | ** Verunschärfung von Kanten | ||
+ | ** mögliche Aliasing Probleme durch Nebenmaxima | ||
+ | |||
+ | === Kubische Interpolation === | ||
+ | * Verwenden von 4x4 Pixeln zu Bestimmung des Interpolationspolynoms | ||
+ | * Unstetigkeitstelle nach der ersten Ableitung (Polynom wird für jede 4x4 Region unabhängig berechnet) | ||
+ | |||
+ | === Kubische Spline Interpolation === | ||
+ | * Bilden der gewichteten Summe aller Interpolationskoeffizienten | ||
+ | ** imprinzip ist es eine diskrete Faltung | ||
+ | ** Damit muss man nicht unbedingt das Gleichungssystem lösen man kann mit Hilfe der Faltungsinversen (so sie denn existiert) die Koeffizienten berechnen | ||
+ | * Geringe breite | ||
+ | * Stetigkeit | ||
+ | |||
+ | === Lineare Bildtransformation === | ||
+ | * nichtlineare Bildtransformationen können durch lineare Approximiert werden wenn diese auf kleine Elemente angewendet wird | ||
+ | * mit Hilfe von homogenen Koordinaten lässt sich die Transformation schreiben als Zielkoordinaten = Transformationsmatrix * Quellkoordinaten | ||
+ | * Durch umstellen kann man mit Hilfe von Passpunkten die Transformationsmatrix einfach berechnen | ||
+ | ** Lieber mehr Puntke als nötig nehmen (Fehlerquadratmethode zum verbessern verwenden) und darauf achten das die Punkte nicht alle auf einer Gerade liegen | ||
+ | * Nach Fehlerquadratmethode: <math> A = P'P^T ( P P^T)^{-1} </math> | ||
+ | ** A ... Transformationsmatrix | ||
+ | ** P 3xn Matrix für n Passpunkte (Quellkoordinaten) | ||
+ | ** P' Zielkoordinaten | ||
= Grauwertstatistik (GwSt 1 - 25) = | = Grauwertstatistik (GwSt 1 - 25) = |
Version vom 7. März 2009, 16:57 Uhr
Folien aus der Vorlesung
<hiddenlogin linktext="Passwort für die Folien">gdlmu</hiddenlogin>
Vorlesung 1 Vorlesung 2 Vorlesung 3 Vorlesung 4 Vorlesung 5 Vorlesung 6 Vorlesung 7 Vorlesung 8 Vorlesung 9 Vorlesung 10 Vorlesung 11 Vorlesung 12 Vorlesung 13 Vorlesung 14 Teil 1 Vorlesung 14 Teil 2 Vorlesung 15
Einführung und Vorbemerkungen (WTE 8 - 24)
Primäre Wahrnehmung (PWa 1 - 22)
- digitale Bildverarbeitung setzt Umsetzung von 2D-Strahlungsverteilungen in elektrische Signale voraus
- bei der Primärwahrnehmung erfolgt bereits beträchtliche Reduzierung der Information
- Beschränkung der örtlichen Auflösung Feinstrukturen nicht mehr sichtbar (PSF,MTF)
- Diskretisierung des Definitionsbereichs Rasterung, Abtastung, Aliasing
- Diskretisierung des Wertevorrats AD-Wandlung, Triggerung, Quantisierung
- Beschränkung des Spektralbereichs
Strahlung, Bestrahlung, Licht, Beleuchtung
Radiometrische Größen
- radiometrische Größen: absolute Bewertung elektromagnetischer Stahlung (strahlungsphysikalisch)
- photometrische Größen: drücken spezifische Einwirkung der Lichtstrahlung auf das menschliche Auge über ein Vergleichsnormal aus
- Umrechnung von radiometrischen in photometrische Größen erfordert Kenntnis der spektralen Zusammensetzung der Strahlung
- Das Auge nimmt Leuchtdichten als photometrisches Äquivalent der Strahldichte war
- Messtechnisch: wellenlängenabhängige Bewertung durch Filter
Raumwinkel:
- Der Raumwinkel einer Fläche ist die Zentralprojektion dieser Fläche auf die um den Beobachtungspunkt gelegte Einheitskugel
- Der Winkel zwischen Geraden und Ebenen ist als Streckenabschnitt auf dem Umfang des Einheitskreises definiert
- Der Raumwinkel wird analog definiert nur das es sich jetzt um einen Flächenauschnitt auf der Einheitskugel handelt
- Der Wertebereich des Raumwinkels liegt zwischen 0 und (gesamte Oberfläche der Einheitskugel)
Strahlungsphysikalische Größen:
- sind vom menschlichen Auge unabhängige physikalische Größen
Zeichen | Beschreibung | Formel | Einheit | |
---|---|---|---|---|
Strahlungsfluss | im Zeitmittel pro Zeiteinheit durch die Fläche hindurchgehende Energie | |||
Strahlungsmenge |
Beschreibung von Strahlungsquellen:
Zeichen | Beschreibung | Formel | Einheit | |
---|---|---|---|---|
Strahlstärke | ist der in ein Raumwinkelelement
einfallende Strahlungsanteil |
|||
Strahldichte | Flächenbezug des Strahlungsanteils
der von einem Punkt ausgeht |
Senkrecht zum Flächenelement:
schräge Blickrichtung:
|
||
Lambert-Strahler | ideal diffus strahlende Fläche |
Bestrahlte Flächen:
Zeichen | Beschreibung | Formel | Einheit | |
---|---|---|---|---|
Bestrahlungsstärke | Radiometrisches
Entfernungsgesetz |
senkrechtes Auftreffen der Strahlung:
schräg auftreffende Strahlung:
|
||
Radiometrisches Grundgesetz | Konkretisierung des
radiometrischen Entfernungsgesetzes |
Photometrische Größen
- unter Berücksichtigung der Menschlichenwahrnehmung bewertete Größen
- Die Umrechnung von radiometrischen Größen in photometrische Größen kann nur monocromatisch erfolgen da jede Wellenlänge mit der Wahrnehmungskurve des Auges gewichtet werden muss
- dazu ist die Kenntnis der Leistungsdichte notwendig
- Kann berechnet werden (bei Temperaturstrahlern nach Planckschem Strahlungsgesetz)
- Muss mit einem geeigneten Sensor erfasst werden
Bildtransformationen, -repräsentationen - Grundlagen (BR 1 - 27)
Bildrepräsentation
- alle Werte eines Signals lassen sich durch Wichtung von orthogonalen Basisvektoren darstellen
- Die für einen Wert notwendigen Gewichte kann man durch Projektion dieses Wertes auf die Basisvektoren ermitteln (inneres Produkt der Vektoren bilden)
- Jedes Bild lässt sich somit aus orthogonalen Basisbildern zusammensetzen
- Die Basisbilder haben die gleichen Abmessungen wie das gewünschte Bild
- Die Fourier Transformation ist lediglich die Umwandlung zwischen zwei verschiedenen Basisbildertypen
- Basisbilder setzen sich aus Sinus und Cosinus Schwingungen zusammen die beliebig orientiert sein können
- Eigenschaften: Mittelwert ist Rotations- und Translationsinvariant, Verschiebungssatz, Faltung ←→ Multiplikation, Drehung ←→ Drehung, Abtastung ←→ Periodifizierung
- Cos bzw Sin Transformation
- Basisbilder setzen sich aus zwei senkrecht aufeinanderstehenden Cos bzw. Sinus Schwingungen zusammen
- Hadamard bzw Haar- Transformation
- Basisbilder setzen sich aus orthogonalen Binärfunktionen zusammen
- Bei der Haar-Transformation werden aufgrund der lokalen Basismuster lokale Strukturen besser abgebildet
Bildpyramiden
- Siehe auch Auflösungsprymiden in RoboVis
- Bilder werden in verschiedenen Auflösungen betrachtet
- Ziele:
- Überwindung der lokalen Sicht der meisten Operatoren
- Anwendung kleiner Operatoren ist wesentlich schneller als große Operatoren
- Abtasttheorem muss beachtet werden → Tiefpassfilterung vor jeder Verkleinerung
- Laplace-Pyramiden können genutzt werden um die Informationsunterschiede zwische den beiden Auflösungen zu speichern um so das Bild aus einer kleineren Auflösung rekonstruieren zu können (Komprimierte Speicherung der Bilder)
- Dafür müssen die Bilder vor der Differenzbildung gleich groß gemacht werden → Interpolation der Fehlenden Pixel notwendig
- Siehe auch Interpolation und Resampling
Primäre Wahrnehmung - Grenzen der örtlichen Auflösung(PWb 1 - 18)
- Begrenzung erfolgt durch
- Beugungserscheinungen an den Blenden
- Abbildungsfehler
- Durch den Sensor (endliche kleine Sensorflächen)
PSF - Point Spread Function
- Punktantwort des Systems
- OTF (Optische Transferfunktion) ist die Fouriertrasnformierte der PSF
- Der Betrag der OTF ist die MTF (Modulationstransferfunktion)
- Die Aufglösungsgrenze ist erreicht wenn die MTF auf 10% das Maximums abgesunken ist
- Die PSF wird mit dem Bild im Ortsbereich gefaltet → Wichtung der Frequenzen im Frequenzbereich → "Modulation"
- Das Auge hat Bandpasscharakter
- zu langsame Änderungen werden nicht wahrgenommen genausowenig wie zu schnelle Änderungen
- Bei gesättigten Farben ist die Empfindluchkeit des Auges schlechter als z.B. bei Grauwerten
Sensorapertur
- Bildsignal ist im eine kontinuierliche zweidimensionale Funktion
- Abtastung des Bildes durch den Sensor mit endlichgroßen Aufnahmeflächen
- Faltung des Bildes mit Sensoraptertur
- anschließende Abtastung an den Pixelmitten
- Das führt zur Wichtung der Frequenzen mit einer si-Funktion (sinc beim Franke !!) und anschließender Periodifizierung des Bildfrequenzspektrums
- bei nicht aussreichender Bandbegrenzung führt das zu Aliasing
- Originalbild kann mit Hilfe der si-Interpolation wiedergewonnen werden (Multiplikation mit einem Rechteck im Frequenzbereich)
Farbe (GF 1 - 69)
Farbmessung (GF_FM 1 - 18)
Farbräume (F_CM 1 - 20)
Kameras (GF_Ka 1 - 12)
Bildvorverarbeitung (GT 1 - 33)
- Bilder sind meist stark gestört
- Mögliche Ursachen für Störungen sind:
- Inhomogene Beleuchtung
- Verunreinigungen in der Kamera (Streulicht und ähnliches)
- Nicht perfekte Optik (Randabfall, Verzerrungen)
- Nichlinearitäten des Bildsensors (Vorallem beim CMOS und Röhren)
- Rauschen der Elektronik
- Einkopplungen
- Ziel der Bildvorverarbeitung ist es:
- Normierung des Graustufen und Bildgeometrie
- Korrektur und Unterdrückung der Störungen
- Extraktion von Merkmalen für die Steuerung/ Parametrisierung von Algorithmen
- Erzielen von Invarianzeingenschaften
Geometrische Bildtransformation
- Ziel ist es das entzerrte Zielbild aus einem verzerrten Quellbild zu erhalten
- Wenn die Verzerrungseigenschaften des Systems bekannt sind kann die Transformation analytisch Beschrieben werden
- Bei unbekannten Verzerrungseingeschaften muss die Transformationsfunktion approximiert werden
- Passiert meist mit polynimialen Ansätzen
- Markieren von Passpunkten für die Approximation
- Vorwärtstransformation
- Das Zielbild wird direkt aus dem Quellbildberechnet in dem jedes Pixel des Quellbildes durchgegangen wird und ins Zielbild übertragen wird
- Problem ist das im Zielbild "Lücken" entstehen können aufgrund von Rundung der transformierten Koordinaten
- Rückwärtstransformation
- Das Zielbild wird aus dem Quellbild berechnet in dem jedes Pixel im Zielbild durchgegangen wird und geschaut wird welcher wert aus dem Quellbild eingetragen werden muss
- Es entstehen keine Lücken mehr im Zielbild
- Die zurücktransformierten Koordinaten müssen nicht genau auf ein Pixel im Quellbild treffen → Interpolation der Pixelwerte notwendig
Interpolationsverfahren zum Resampling
- gegeben ist ein Bild mit diskreten werten an bestimmten stellen
- Gesucht sind nun Werte an beliebigen stellen → als Wiederabtastung oder auch Resampling bezeichnet
- Dabei soll für die Interpolationsfunktion gelten das sollte genau ein Abtastwert getroffen werden so darf nur dieser den Wert des Zielpixels bestimmen
Ideale Interpolationsfunktion
- Wenn das Originalbild hinreichend Bandbegrenzt war läßt sich mit Hilfe von einer Summe si-Funktionen das koninuierliche Originalbild rekonstruieren
- Dazu wird in dem unendlichgroßen Bild auf jedes Pixel eine si-Funktion gesetzt mit dem gewicht des Grauwertes an dieser Stelle
- Multiplikation des Spektrums des Bildes mit einem Rechteck ... Rückgängigmachen der Periodifizierung durch die Abtastung
Nearest Neighbour Resampling
- wähle den nächsten Nachbarn als Funktionswert an dieser Stelle
- Führt zu Artefakten da der Funktionswert schlichtweg falsch ist
Bilineare Interpolation
- lineare Interpolation des Pixelwertes an der geünschten Stelle aus den vier benachbarten Pixeln (Abstand zu den Stützwerten geht mit in die Interpolation ein !!!)
- Immer noch sehr schnell
- besser als Runden aber immer noch Fehlerbehaftet
- Im Frequenzbereich wird das Spektrum des Bildes mit einer si²- Funktion multipliziert
- Verunschärfung von Kanten
- mögliche Aliasing Probleme durch Nebenmaxima
Kubische Interpolation
- Verwenden von 4x4 Pixeln zu Bestimmung des Interpolationspolynoms
- Unstetigkeitstelle nach der ersten Ableitung (Polynom wird für jede 4x4 Region unabhängig berechnet)
Kubische Spline Interpolation
- Bilden der gewichteten Summe aller Interpolationskoeffizienten
- imprinzip ist es eine diskrete Faltung
- Damit muss man nicht unbedingt das Gleichungssystem lösen man kann mit Hilfe der Faltungsinversen (so sie denn existiert) die Koeffizienten berechnen
- Geringe breite
- Stetigkeit
Lineare Bildtransformation
- nichtlineare Bildtransformationen können durch lineare Approximiert werden wenn diese auf kleine Elemente angewendet wird
- mit Hilfe von homogenen Koordinaten lässt sich die Transformation schreiben als Zielkoordinaten = Transformationsmatrix * Quellkoordinaten
- Durch umstellen kann man mit Hilfe von Passpunkten die Transformationsmatrix einfach berechnen
- Lieber mehr Puntke als nötig nehmen (Fehlerquadratmethode zum verbessern verwenden) und darauf achten das die Punkte nicht alle auf einer Gerade liegen
- Nach Fehlerquadratmethode:
- A ... Transformationsmatrix
- P 3xn Matrix für n Passpunkte (Quellkoordinaten)
- P' Zielkoordinaten