Skript zur Vorlesung Technische Bildverarbeitung Prof. Dr.
Transcrição
Skript zur Vorlesung Technische Bildverarbeitung Prof. Dr.
Skript zur Vorlesung Technische Bildverarbeitung Machine Vision Prof. Dr.-Ing. Reiner Dudziak Dipl.-Ing. Dirk Mohr Kapitel 1 Seite 14.09.2015 1 Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung“. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 1 Seite 2 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Inhaltsverzeichnis 1. Biologische Bildverarbeitungssysteme 1.1 Aufbau und Funktionsweise des menschlichen Auges 1.2 Besondere Merkmale und Eigenschaften des menschlichen Bildverarbeitungssystem 1.3 Aufbau und Funktionsweise eines Facettenauges 2. Technische Bildverarbeitung 2.1 Begriffsdefinition 2.2 Übersicht 2.3 Beleuchtungssysteme 2.3.1 Technologie 2.3.1.1 Glühlampen, Glühfadenlampe, Glühbirne 2.3.1.2 Halogenlampe 2.3.1.3 Leuchtstofflampe, Leuchtstoffröhre 2.3.1.4 LED (Light Emitting Diode), Leuchtdiode, Lumineszenz-Diode 2.3.1.5 LASER, Laserdioden 2.3.2 Anordnung von Beleuchtung und Kamerasystem in Bezug auf das zu betrachtende Objekt 2.3.2.1 Durchlicht 2.3.2.2 Auflicht 2.3.2.2.1 Gerichtetes Licht (Hell- und Dunkelfeld) 2.3.2.2.2 Diffuses Licht 2.3.2.3 Weitere Beispiele 2.4 Technische Optik 2.4.1 Abbildung 2.4.2 Berechnungsbeispiel 2.4.3 Entozentrische- und Telezentrische Objektive 2.4.4 Spezielle Objektive 2.4.5 Technische Daten von Objektiven (exemplarisch) 2.4.6 Objektivfehler 2.5 Bildaufnahme 2.5.1 Funktionsweise und Merkmale der CCD - Bildwandler Technologie 2.5.2 Funktionsweise und Merkmale der CMOS - Bildwandler Technologie 2.5.3 Gegenüberstellung CCD und CMOS Technologie in der Technischen Bildverarbeitung 2.5.4 Geometrische Anordnung von Bildwandlern 2.5.5 Abbildung und räumliche Auflösung Kapitel 1 Seite 3 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Inhaltsverzeichnis 2.5.6 Farbkamerasysteme 2.5.6.1 Drei-CCD/CMOS Farbkamerasysteme 2.5.6.2 Ein-CCD/CMOS Farbkamerasysteme 2.5.6.3 Foveon X3 Image Sensor 2.6 Bildübertragung 2.6.1 Analoge Bildübertragung 2.6.1.1 Beispiel für eine analoge Kamera, die JAI A1 2.6.1.2.1 Beispiel für einen analogen Framegrabber, der TIS DFG-SV1 2.6.1.2.2 Beispiel für einen analogen Framegrabber, der Matrox Imaging Odyssey XA 2.6.2 Digitale Bildübertragung 2.6.2.1 CameraLink 2.6.2.1.1 Beispiel für eine CameraLink – Kamera, die Basler A400 2.6.2.1.2 Beispiel für einen CameraLink – Framegrabber, der Coreco Imaging X64CL 2.6.2.2 Universal Serial Bus (USB) 2.6.2.2.1 Beispiel für eine USB-Kamera, die IDS µEye UI-1480-C 2.6.2.3 FireWire, IEEE-1394 2.6.2.3.1 Beispiel für eine IEEE-1394 Kamera, die TIS DMK 21BF04 2.6.2.4 Gigabit Ethernet Vision GigE 2.6.2.4.1 Beispiel für eine GigE – Kamera, die DALSA Spyder3 2.6.3 Bildübertragung über herstellerspezifische (proprietäre) Schnittstellen 2.6.3.1 Beispiel für ein Bildverarbeitungssystem mit herstellerspezifischer Schnittstelle – der OMRON ZFV 2.6.4 Intelligente Bildverarbeitungssysteme „smart sensor“ 2.6.4.1 Beispiel für ein Intelligentes Bildverarbeitungssystem – NANOview 2.6.4.2 Beispiel für ein Intelligentes Bildverarbeitungssystem – DVT Vision Sensor Familie 2.7 Bildauswertung 2.7.1 Funktionen zur Bildauswertung 2.7.1.1 Histogramm 2.7.1.2 Grauwertbereich spreizen 2.7.1.3 Binarisierung 2.7.1.4 Filteroperation 2.7.1.5 Morphologische Operationen 2.7.1.6 Linienprofile 2.7.1.7 Blob Analyse 2.7.1.8 Vermessung 2.7.1.9 Lagebestimmung 2.7.1.10 Mustervergleich, Mustererkennung (Pattern Matching, Pattern Recognition) Kapitel 2 Seite 4 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Inhaltsverzeichnis 2.7.1.11 Farbbildverarbeitung 2.7.2 Erstellung von Software zur Technischen Bildverarbeitung 2.8 Mechanische Komponenten für die Technische Bildverarbeitung 2.9 Bildverarbeitungsapplikationen 2.10 Die Deutsche Bildverarbeitungstechnologie als Branche Kapitel 2 Seite 5 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 1. Biologische Bildverarbeitungssysteme 1.1 Aufbau und Funktionsweise des menschlichen Auges Abb. 1.1 Schnitt durch das menschliche Auge (schematisiert) Abb. 1.2 Augenhintergrund bei der Augenspiegelung Quelle : http://de.wikipedia.org/wiki/Netzhaut Kapitel 1 Seite 6 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Bestandteile und Aufbau des menschlichen Auges (Oculus) (s. Abb. 1.1 und Abb. 1.2) Hornhaut (Cornea) - Glasklarer, gewölbter und von Tränenflüssigkeit benetzter vorderer Teil der äußeren Augenhaut - Lichteintrittsöffnung, Hauptanteil der Lichtbrechung zur Bildfokussierung (43 Dioptrien von ges. ca. 60 dpt) Augenkammern (Camera bulbi) - Mit Kammerwasser (spez. Flüssigkeit, die u. a. Nährstoffe enthält) gefüllte Hohlräume Pupille - Kreisförmige Öffnung der farbigen Regenbogenhaut (Iris) - Größenänderung der Pupille durch Muskeln zur Steuerung der Lichtmenge, die in das Innere des Auges einfallen kann (Adaption) Linse - Kristallklarer und elastischer Körper der konvex gekrümmt ist - Wirkt als Sammellinse, die das einfallende Licht an der Hinterseite des Auges (Netzhaut) bündelt Durch “verstellbare“ Krümmung (Akkomodation) wird die Brechkraft verändert und somit eine Nah- und Ferneinstellung möglich Netzhaut (Retina) - Enthält die Lichtsinneszellen und wandelt Licht in Nervenimpulse; zwei Arten von Lichtsinneszellen - Stäbchen (1,25 * 108) : - Sehr lichtempfindlich (Max. bei ca. 500 nm) - keine Farbunterscheidung; “Sehen in der Dämmerung“ - Zapfen (7 * 106) : - Drei Arten (Blau-, Grün- und Rotrezeptor) - Weniger empfindlich als Stäbchen - Ermöglichen Farbwahrnehmung und Kontrastunterscheidung Sehnerv (Nervus opticus) (1,2 * 106) - Ausstülpung des Zwischenhirns, zweiter Hirnnerv - Fortsetzung der Ganglienzellen der Netzhaut (Datenreduktion) - Sehnerven kreuzen, so dass der rechte Sehnerv zur linken Gehirnhälfte verläuft und umgekehrt Gelber Fleck (Macula lutea) - Stelle des “schärfsten Sehens“ Papille - Stelle, an der der Sehnerv das Auge verlässt; Keine Lichtsinneszellen; Blinder Fleck des Gesichtsfeld Kapitel 1 Seite 7 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 1.3 Helligkeitsempfindung des menschlichen Sehsystems Abb. 1.4 Modulationsübertragungsfunktion (MTF) des menschlichen Sehsystems für das Farb- und das Grauwertsehen Abb. 1.5 Spektrale Empfindlichkeit der Lichtsinneszellen Abb. 1.6 Wellenlängenbereiche Kapitel 1 Seite 8 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 1.2 Besondere Merkmale und Eigenschaften des menschlichen Bildverarbeitungssystems - Durch die Zusammenarbeit von Auge und Gehirn “entstehen“ Bilder bzw. Wahrnehmungen - Wahrnehmungen sind subjektiv - Menschliches Bildverarbeitungssystem als Ergebnis der Evolution mit dem Optimierungskriterium ÜBERLEBEN Abb. 1.7 Besondere Fähigkeiten des menschlichen Bildverarbeitungssystem wie z.B. das “Autovervollständigen“ haben das Überleben ermöglicht, können aber in einem anderen Zusammenhang zu “Fehlinformationen“ bzw. “Fehlinterpretationen“ sogenannte optische Täuschungen führen. Kapitel 1 Seite 9 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Das menschliche Sehsystem verfügt über zwei deutlich unterschiedliche Auflösungen : mit dem hochauflösenden Netzhautbereich der Fovea centralis wird die interessierende Region erfasst (region-of-interest, ROI); das Umfeld wird grob gerastert mit niedrigem Informationsgehalt als Warnzone (Bewegungsdetektion) und als Steuerzone (Nachführung des Augapfels) eher unbewußt gesehen. Kapitel 1 Seite 10 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Funktionen des menschlichen Sehsystems versus Technische Bildverarbeitung Menschliches Sehsystem Technische Bildverarbeitung Realisierungsgrad Optische Abbildung durch Hornhautlinse Linsen - Objektive Steuerung der Belichtung durch muskelbetriebene Pupille Motorische Blenden Fokussierung durch muskelgesteuerte Veränderung der Brennweite Mechanisch-motorische Blenden Selbständige Fokussierung Mechanisch-motorische Fokussierung Hochmobiler Augapfel Mechanisch nachgeführte Kameras niedrig Netzhaut mit Sehrezeptoren Sensoren mit diskreten Bildpunkten hoch In der Netzhaut integrierte Signal/Informationsverarbeitung “Intelligente“ Sensoren Grob/fein Rasterung der lichtempfindlichen Sensorelemente Ortsvariante Auflösung Dynamik 1:100 bei fester Blende / Pupille (!) Quantisierung 8 Bit hoch Trennung von Grauwert- und Farbsehen Schwarz/weiß- und Farbkameras hoch Bandpassverhalten des Farbkanals Bildgebende Sensoren praktisch immer mit Tiefpasseigenschaften hoch Wellenlängenbereich Blau bis Rot Wesentlich weiterer Wellenlängenbereich hoch hoch hoch hoch sehr niedrig sehr niedrig sehr hoch Kapitel 1 Seite 11 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 1.3 Aufbau und Funktion eines Facettenauges - Halbkugelförmiger Augentyp, bei dem ein Auge aus mehreren (bis zu einigen Zehntausend) Einzelaugen besteht - Jedes Einzelauge blickt in eine geringfügig andere Richtung - Facettenauge ist starr mit dem Kopf verbunden - Bild der Umgebung aus einzelnen Bildpunkten - Räumliche Auflösung weit geringer als beim menschlichen Auge, aber sehr großes Blickfeld - Zeitliche Auflösung sehr hoch mit bis zu 300 Bildern / sek (Mensch ca. 25 Bilder / sek) Abb. 1.8 Facettenauge Aufnahme Rasterelektronenmikroskop Mit frdl. Genehmigung von Univ. Prof. Dr.Paul Walther Universität Ulm, Zentr. Einrichtung Elektronenmikroskopie Abb. 1.9 Durch die geringe räumliche Auflösung des Facettenauges nimmt die Stechmücke das Zebra nicht als “Ganzes“ wahr ! Kapitel 1 Seite 12 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : Auge :http://de.wikipedia.org/wiki/Auge Optische Täuschungen : http://www.michaelbach.de/ot/ Kapitel 1 Seite 13 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2. Technische Bildverarbeitung 2.1 Begriffsdefinition 2.2 Übersicht 2.3 Beleuchtungssysteme Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2 Seite 14 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2. Technische Bildverarbeitung 2.1 Begriffsdefinition Inhalt dieser Lehrveranstaltung ist die Technische Bildverarbeitung / Machine Vision wie sie vom VDMA (Verband Deutscher Maschinen- und Anlagenbau e.V.) definiert ist : Technische (Industrielle) Bildverarbeitung ist die Technologie des künstlichen Sehens. Kamera und Computer verleihen Maschinen die Fähigkeit, zu sehen, zu erkennen und die richtigen Entscheidungen zu treffen. Die von der Kamera aufgenommenen Daten werden von einem Rechner ausgewertet, die relevanten Informationen und die Ergebnisse an die Steuerung weitergegeben, die entsprechend reagieren kann. Typische Aufgabenstellungen der Technischen Bildverarbeitung sind - Oberflächenkontrolle z.B. Untersuchung von Blechen auf Kratzer und Beschichtungsfehler - Vollständigkeitskontrolle z.B. Vorhandensein von Bauteilen auf elektronischen Platinen (komplette Bestückung) - Messtechnik z.B. Ermittlung der Durchmesser und der Fasenwinkel bei Edelstahlrohren - Identifikation z.B. Unterscheidung von Werkstückvarianten zur Prozesslenkung - Positionserkennung (Robot Vision) z.B. Identifikation und Lageerkennung von Schrauben in einem ungeordneten Schraubenvorrat zur montagegerechten Roboterlenkung Kapitel 2 Seite 15 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.2 Übersicht Ein Technisches Bildverarbeitungssystem besteht in der Regel aus folgenden Komponenten: Kapitel 2 Seite 16 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3 Beleuchtungssysteme Übersicht Kapitel 2.3 Seite 17 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3 Beleuchtungssysteme 2.3.1 Technologie 2.3.1.1 Glühlampen, Glühfadenlampe, Glühbirne -Elektrischer Leiter wird durch elektrischen Strom aufgeheizt und emittiert, dadurch thermische Strahlung mit Komponenten im sichtbaren Bereich - Günstiger Einkaufspreis, hohe Verfügbarkeit aber entscheidende Nachteile für die TBV : - schlechter Wirkungsgrad (<10%, max. 15 lm*/W) - große Wärmeentwicklung - keine großen Formvarianten - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - kaum triggerbar - erschütterungsempfindlich - relativ kurze Lebensdauer (max. 1000h) * Lichtstrom Lumen lm : Gesamte von einer Strahlungsquelle ausgesandte sichtbare Strahlung Abb. 2.3.1 Glühlampe 230 V, 60 W, 720 lm, E27-Sockel http://de.wikipedia.org/wiki/ Halogenlampe Kapitel 2.3 Seite 18 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.1.2 Halogenlampe - Aufbau und Funktion ähnlich Glühlampe. Zusatz der Halogene Brom oder Jod steigert die Lebensdauer und verbessert den Wirkungsgrad - Günstiger Einkaufspreis, hohe Verfügbarkeit aber entscheidende Nachteile für die TBV : - schlechter Wirkungsgrad (< 16%, max. 25 lm/W) - große Wärmeentwicklung - keine großen Formvarianten - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - kaum triggerbar - erschütterungsempfindlich - Lebensdauer max. 4000h Abb. 2.3.2 Halogen - Glühlampe http://de.wikipedia.org/wiki/Halogenlampe Kapitel 2.3 Seite 19 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.1.3 Leuchtstofflampe, Leuchtstoffröhre - Niederdruck – Gasentladungslampe, die innen mit einem fluoreszierenden Leuchtstoff beschichtet ist. Beim Anlegen einer Zündspannung wird die Gasfüllung ionisiert und somit leitfähig, es entsteht ein Plasma. Das Plasma emittiert überwiegend UV – Strahlung. Der Leuchtstoff leuchtet bei UV – Bestrahlung im sichtbaren Bereich. Eigenschaften : - Günstiger Einkaufspreis, hohe Verfügbarkeit (eingeschränkt) - Wirkungsgrad (bis 100 lm / W), Leistung von Baulänge abhängig - geringe Wärmeentwicklung - in verschiedenen Formen erhältlich - abgegebenes Licht hat keine Zeitkonstanz bzgl. Helligkeit und Wellenlänge - nicht triggerbar - Lebensdauer deutlich höher als bei Glühlampen max. 20.000h (stark abhängig von Umgebungstemp.) - Vorschaltgerät erforderlich - mit Elektronischem Vorschaltgerät (EVG) kaum Lichtschwankungen bei Zündfrequenz von 40 KHz Abb. 2.3.3 Leuchtstoffröhren, Stab- und Ringform Abb. 2.3.4 Runde Leuchtstoffröhren mit Fassung zur direkten Objektivmontage Kapitel 2.3 Seite 20 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.1.4 LED (Light Emitting Diode), Leuchtdiode, Lumineszenz-Diode - Halbleiter-Bauelement, das bei Stromdurchfluss Licht in einem zum Teil eng begrenzten Spektralbereich abstrahlt. Eigenschaften : - kein Temperaturstrahler, sehr hoher Wirkungsgrad (max. 100 lm / W ) - geringe Wärmeentwicklung (bezogen auf die Lichtleistung) - sehr schmalbandiger Spektralbereich - Spektralbereich des emittierten Lichts lässt sich durch Herstellungsprozess bestimmen z. B. rot, infrarot, grün, Mischfarbe weiß - schmalbandiges Licht erlaubt effektiven Einsatz von optischen Komponenten wie z.B. Filter - sehr gut triggerbar (Modulationsfrequenz bis zu 100 MHz) - bei geeigneten Impulspausenzeiten und Maßnahmen zur Ableitung der Verlustwärme lassen sich LED‘s mit einem mehrfachen des Nominalstroms betreiben (Blitzbetrieb) - unempfindlich gegen Erschütterung - Lebensdauer sehr hoch max. 100.000h - lässt sich in fast beliebiger Bauform kombinieren / anordnen - keine “Baumarktware“, meist anbieterspezifisch Abb. 2.3.5 Spektren von LED‘s Quelle : http://de.wikipedia.org/wiki/Leuchtdiode Kapitel 2.3 Seite 21 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Bauform 4TE IR Aktive Fläche 224 * 25mm mm bei max. 10% Inhomogenität Farbe IR 880 nm 16 LED‘s Preis ca. 340 EUR <- Abb. 2.3.6 Verschiedene Bauformen von LED - Beleuchtungssystemen Quelle : Büchner Lichtsysteme GmbH Kapitel 2.3 Seite 22 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.3.7 Modulares Beleuchtungssystem mit segmentweiser Beschaltung Quelle : Büchner Lichtsysteme GmbH Abb. 2.3.8 Beleuchtungssystem mit LED – Tunnelkonzept für homogene Ausleuchtung von z.B. Rohren und Bolzen Quelle : Büchner Lichtsysteme GmbH Kapitel 2.3 Seite 23 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.1.5 Laserdioden Verwandt mit LEDs mit folgenden zusätzlichen Eigenschaften: - Licht mit sehr schmalbandigem Spektrum (monochromatisch) - Licht kohärent. Kohärente Lichtwellen schwingen alle in die gleiche Richtung, mit gleicher Frequenz und mit gleicher Phase. Dies ergibt einen sehr intensiven Strahl mit sehr “reinem“ Licht - Licht polarisiert (schwingt nur in einer Richtung), dadurch lassen sich störende Reflexionen leicht ausfiltern - Punktstrahler mit Kollimator, sehr hohe Strahlbündelung - sehr hohe max. Einspeiseleistung , dadurch bei sehr gutem Wirkungsgrad sehr hohe Lichtleistung - monochromes Licht erlaubt sehr effektiven Einsatz von optischen Komponenten wie z.B. Filter - sehr gut triggerbar (Modulationsfrequenz bis zu >10 GHz) - Lebensdauer sehr hoch max. 100.000h - keine “Baumarktware“, anbieterspezifisch Abb. 2.3.9 Gegenüberstellung des Spektralbereichs einer LED und einer Laserdiode gleicher Nennwellenlänge Kapitel 2.3 Seite 24 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Eine typische Anwendung von Laserdioden ist die sog. Lasertriangulation. Dabei projiziert ein Laser unter einem bekannten Winkel eine Linie auf ein Objekt, dessen Oberfläche vermessen werden soll. Eine CCD- oder CMOS-Kamera registriert das Streulicht. Kennt man die Strahlrichtung und den Abstand zwischen Kamera und Laser, kann damit der Abstand Objektoberfläche zu Kamera bestimmt werden. Die Verbindung Kamera-Laser sowie die beiden Strahlen vom und zum Objekt bilden ein Dreieck, daher der Begriff Triangulation. Zur flächigen Vermessung wird das Verfahren “Codierter Lichtansatz“ bzw. Lichtschnittverfahren angewendet. Dabei wird eine große Anzahl von Linien als engmaschiges Netzmuster auf ein Objekt projiziert und von einer Kamera aufgenommen. Über eine spezielle Software lässt sich das Abbild auswerten und sehr genau Höhenunterschiede detektieren. Abb. 2.3.10 Lasertriangulation zur Vermesssung von Werkstücken Kapitel 2.3 Seite 25 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.3.11 3D - Bodyscanner Kapitel 2.3 Seite 26 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.3 Seite Abb. 2.3.12 Entwicklung von Größentabellen 27 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Dreidimensionale Erfassung von Objekten durch projizierte Farbmuster Verfahren zur dreidimensionalen Erfassung von Objekten, bei dem - auf das zu erfassende Objekt ein Farbmuster mit bekannten Projektionsdaten projiziert wird, - das auf das Objekt projizierte Farbmuster mit einer Kamera erfasst wird, und - das von der Kamera erzeugte Abbild in einer Auswerteeinheit zu dreidimensionalen Objektkoordinaten des Objekts verarbeitet wird (Projektionsdaten sind im Farbmuster mit Hilfe eines redundanten Codes codiert). Quelle und Patent : Siemens AG (DE) Kapitel 2.3 Seite 28 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2 Anordnung von Beleuchtung und Kamerasystem in Bezug auf das zu betrachtende Objekt Je nach Aufgabenstellung ist es nötig, eine geeignete Anordnung der verwendeten Komponenten Lichtquelle und Kamerasystem zu finden. Bei der Erstellung einer Lösung in der Technischen Bildverarbeitung ist oftmals die Anordnung der Komponenten entscheidender als die Komponenten selbst. Im Folgenden werden Varianten aufgezeigt und mit Aufnahmen dokumentiert. Die hierbei verwendeten Komponenten sind : Abb. 2.3.13 Kamerasystem DVT Legend 520 mit integrierter ringförmiger roter LED - Beleuchtung Abb. 2.3.14 LED Beleuchtung mit blauen LED‘s Büchner Lichtsysteme TopLight L Abb. 2.3.15 2 EUR Stück und Alublech mit Folie beklebt Kapitel 2.3 Seite 29 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2.1 Durchlicht Das zu betrachtende Objekt befindet sich zwischen Lichtquelle und Kamera. Das Licht wird im Bereich des Objekts “unterbrochen“. Es wird ein Schatten (Kontur) abgebildet. Sehr gut bei Vermessungsaufgaben, da eindeutige Trennung von Objekt und Hintergrund. Die Oberfläche wird nicht abgebildet Abb. 2.3.16 Durchlicht - Anordnung Abb. 2.3.17 Durchlicht – Abbild Schatten, Kontur Kapitel 2.3 Seite 30 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2.2 Auflicht Lichtquelle und Kamera befinden sich in Bezug auf das zu betrachtende Objekt auf der gleichen Seite . Das Licht wird von der Oberfläche des Objekts und des Hintergrunds reflektiert. Es wird ein Abbild des Objektes in verschiedenen Grautönen erzeugt. Die Oberfläche ist zu erkennen, die Kontur wird nicht so klar dargestellt. Anwendung bei z. B. Oberflächeninspektionen. Abb. 2.3.18 Auflicht – Anordnung mit Ringbeleuchtung Abb. 2.3.19 Auflicht – Abbild, Oberfläche, Struktur zu erkennen Kapitel 2.3 Seite 31 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2.2.1 Gerichtetes Licht (Hell- und Dunkelfeld) . Die Lichtquelle strahlt das Licht in einer Vorzugsrichtung ab. Das Objekt wird aus einer Vorzugsrichtung beleuchtet. Durch die Oberflächenstruktur (Erhöhung bzw. Vertiefung) des Objekts bilden sich Schatten bzw. hellere Bereiche, die bestimmte Merkmale deutlich hervortreten lassen. Verstärkung dieses Zusammenhangs durch Anwendung von Hell- bzw. Dunkelfeldanordnungen. Hellfeld Das Kamerasystem befindet sich im Strahlengang (Einfallswinkel = Ausfallswinkel) des reflektierten Lichts Abb. 2.3.20 Auflicht – Hellfeld Anordnung mit LED – Leuchte Abb. 2.3.19 wurde unter kleinerem Winkel aufgenommen, deshalb kleine Elipse Abb. 2.3.21 Auflicht – Hellfeld Abbild Oberfläche, Strukturelemente betont Kapitel 2.3 Seite 32 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Dunkelfeld Das Kamerasystem befindet sich nicht im Strahlengang (Einfallswinkel != Ausfallswinkel) des reflektierten Lichts. Abb. 2.3.23 Auflicht – Dunkelfeld Abbild Strukturelemente kaum sichtbar Abb. 2.3.22 Auflicht – Dunkelfeld Anordnung mit LED - Leuchte Kapitel 2.3 Seite 33 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2.2.2 Diffuses Licht . Das Objekt wird aus allen Richtungen (möglichst) gleichmäßig beleuchtet. Es treten kaum Schatten auf. Es entsteht ein Abbild, dessen Graustufen durch Oberflächeneigenschaften und nicht durch Höhenunterschiede verursacht werden. Als Beleuchtungsquelle z.B. Raumlicht (schwer ,oftmals unmöglich, gleichmäßig auszuleuchten) oder spezielle Beleuchtungssysteme z.B. Abb. 2.3.8 Leuchttunnel. Abb. 2.3.25 Auflicht – Diffus Abbild Deutliche Reflexionsunterscheidung Abb. 2.3.24 Auflicht – Diffus Anordnung mit “Raumlicht“ Kapitel 2.3 Seite 34 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.3.2.3 Weitere Beispiele Abb. 2.3.26 Alu – Blech mit integriertem Ringlicht beleuchtet. Einzelne LED‘s werden gespiegelt. Abhilfe durch Diffusorscheibe vor LED‘s Kapitel 2.3 Seite 35 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.3.27 Alu – Blech mit blauer LED - Leuchte beleuchtet (Dunkelfeld). Beide Bilder wurden unter genau gleichen Bedingungen (Belichtungszeit, Anordnung ...) aufgenommen. Das Blech wurde lediglich um 900 Grad gedreht. Da das Blech vom Walzen eine (mit dem menschlichen Auge kaum wahrnehmbare) Struktur hat, wird das Licht unterschiedlich reflektiert. Dass die Parameter nicht verändert wurden, ist auch an dem Barcode zu sehen, der in fast gleicher Intensität dargestellt wird. Kapitel 2.3 Seite 36 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : http://www.buechner-lichtsysteme.de/ http://www.theimagingsource.com/de/resources/whitepapers/ http://www.zlaser.de http://de.wikipedia.org/wiki/Leuchtdiode Kapitel 2.3 Seite 37 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4 Technische Optik Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.4 Seite 38 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4 Technische Optik 2.4.1 Abbildung In der Technischen Bildverarbeitung (wie z.B. auch in der Fotografie) muss auf einem Bildwandler ein reelle optische Abbildung eines Gegenstandes erzeugt werden. Von einem Objekt, das sich in endlicher Entfernung von dem Bildwandler befindet, gehen von jedem Punkt unzählige Lichtstrahlen in alle Richtungen aus (Strahler oder Reflektion). Diese treffen auf alle Punkte des Wandlers. Es entsteht keine reelle Abbildung. Um trotzdem eine reelle Abbildung zu bekommen, kann man die Anzahl der Lichtstrahlen, die auf den Wandler treffen, begrenzen. Das ist das Prinzip der Lochkamera (camera obscura). Hierbei erhält man eine (auf dem Kopf stehende) Abbildung des Objekts. Die Abbildung lässt bei geeignetem Abstand von dem Objekt, geeigneter Lochgröße und passender Gehäusetiefe Details des Objekts erkennen. Die Abbildung zeigt eine gewisse “Schärfe“. Abb. 2.4.1 Prinzip Lochkamera Quelle : http://de.wikipedia.org/wiki/Lochkamera Kapitel 2.4 Seite 39 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Die Schärfe, also die Genauigkeit des mit der Lochkamera erzielten Abbildes, reicht nicht für die Technische Bildverarbeitung aus. Um die Schärfe zu verbessern, muss eine “Komponente“ verwendet werden, die die Lichtstrahlen so lenkt, das die Strahlen, die von einem Punkt des Gegenstandes ausgehen, auch wieder in einem Punkt des Bildwandlers zusammengeführt werden. Solch eine Komponente ist eine Sammellinse. Diese bündelt die Lichtstrahlen in einer Ebene. Legt man in diese Ebene den Bildwandler, so bekommt man ein scharfes Abbild des Objekts. Um den Anforderungen der TBV gerecht zu werden, verwendet man mehrere Linsen, die in einem Objektiv kombiniert sind. Dabei sind folgende Größen zu beachten. G – Gegenstandsgröße : Größe des abzubildenden Objekts g – Gegenstandsweite : Abstand des Objekts von der “Mitte“ des Linsensystems (Objektiv) f – Brennweite : Kenngröße des Objektivs B – Bildgröße : Größe des Abbilds, oftmals eine Dimension des Bildwandlers b – Bildabstand : Kameraauszug Der Bildabstand b wird vom sog. Auflagemaß mitbestimmt. Das Auflagemaß ist der Abstand zwischen dem Bildwandler und dem Ende des Objektivgewindes. In der Industrie haben sich Standards für diese Abstände etabliert. C – Mount : 17.5 mm CS – Mount : 12.5 mm Abb. 2.4.2 Auflagemaß Quelle : The Imaging Source Europe GmbH Kapitel 2.4 Seite 40 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.4.3 Linsenformel nach Descartes Kapitel 2.4 Seite 41 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4.2 Berechnungsbeispiel Eine rechteckige Aluminiumplatte von 100 * 50 mm soll auf einem 1/3“ Bildwandler (formatfüllend) abgebildet werden. Der Arbeitsabstand beträgt 1m. Welche Brennweite muss das zu verwendende Objektiv haben ? -Gegeben : G1 = 100 mm, G2 = 50 mm, g = 1000 mm, B1 = 4.8 mm, B2 = 3.6 mm -Ges : f f = g / ( 1 + G / B) = 1000 mm / (1 + 100 mm / 4.8 mm) = 45 mm Kontrolle für andere Wandlerseite : Verhältnis B1 / B2 = 1,33 Auf der Seite B2 werden also 100 mm / 1.33 = 75 mm abgebildet. Das sind mehr als die geforderten 50 mm. Kapitel 2.4 Seite 42 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4.3 Entozentrische- und Telezentrische Objektive Die bisher besprochenen Objektive haben die Eigenschaft, dass sich bei Änderung der Gegenstandsweite (trotz konstanter Gegenstandsgröße) auch die Bildgröße ändert (entozentrische Perspektive). Dieser Sachverhalt ist in Abbildung 2.4.4 dargestellt. Zusatz Kapitel 2.4 Seite Abb. 2.4.4 Entozentrische Perspektive 43 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Nähert sich der Gegenstand dem Objektiv von g1 auf g2, so wird der Gegenstand in der Ebene b2 scharf abgebildet. Da sich der Bildwandler aber fest auf Position b1 befindet, ergibt sich hier eine unscharfe Abbildung. Dies hat meist auch eine Größenänderung der Bildgröße zur Folge. Wenn also in der Praxis ein Objekt abgebildet wird und sich der Abstand zum Bildverarbeitungssystem ändert (z.B. durch den Materialtransport), ändert sich bei gleichbleibender Objektgrösse die Bildgrösse. Welche Änderung der Gegenstandsweite zulässig ist, ohne das die Messung verfälscht wird, beschreibt die sog. Schärfentiefe. Ebenfalls Einfluss auf die Tiefenschärfe hat die Blende des Objektivs. Diese ist meist verstellbar und im Strahlengang vor dem Linsensystem angebracht. Durch konzentrische Verstellung lässt sich die einfallende Lichtmenge reduzieren und so das optische System an die Lichtverhältnisse anpassen. Wie in Abb. 2.4.4 zu erkennen ist, sind die achsparallelen Lichtstrahlen kaum an der Bildung der entozentrischen Perspektive beteiligt. Durch eine weiter geschlossenes Blende können nur achsparallele Strahlen passieren. So hat eine weiter geschlossene Blende (neben einer geringeren Helligkeit) eine größere Schärfentiefe zur Folge. Abb. 2.4.5 Prinzip der Blende Kapitel 2.4 Seite 44 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Um die Änderung der Gegenstandsweite (Abb. 2.4.4) “auszugleichen“, müsste die Bildweite ebenfalls verändert werden. Da der Bildwandler in der Regel fest montiert ist, lässt sich der Kameraauszug bei Objektiven meist ändern und so auf veränderte Gegenstandsweiten einstellen. Die Einstellung ist durch die Bauart begrenzt. So geht der Einstellbereich meist von ∞ (minimaler Abstand Wandler Linsensystem) bis zur sog. Minimalen Objekt Distanz (MOD). Die MOD legt also die kleinste Gegenstandsweite fest, bei der ein Objekt noch scharf abgebildet wird. Reicht diese nicht aus, lässt sich durch Zwischenringe, die zwischen Kamera und Objektiv geschraubt werden, die MOD verkleinern. In der praktischen Anwendung lässt sich der Kameraauszug nicht immer an wechselnde Abstände anpassen. Wird z. B ein Blech kontrolliert, das sich auf Grund des Transportsystems und einer “Eigendynamik“ wellenförmig bewegt (Hub in Richtung Bildverarbeitung), so ist eine Nachführung des Kameraauszugs oftmals nicht möglich. Für solche Anwendungsfälle wurden die sog. Telezentrischen Objektive entwickelt. Dies sind komplexe Linsensysteme, die einen erweiterten Schärfentiefenbereich haben. Dies wird allerdings mit einer geringen Lichtdurchlässigkeit, einer großen Bauform und einem höheren Preis erkauft. Abb. 2.4.6 Versuchsaufbau mit telezentrischem Objektiv Kapitel 2.4 Seite 45 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abbildung gleichgroßer Werkstücke mit entozentrischem (oben) und telezentrischem Objektiv Quelle : tm 4/ 98 Dr. Rainer Schuhmann, Thomas Thöniß Spindler & Hoyer GmbH, 37070 Göttingen Kapitel 2.4 Seite 46 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4.4 Spezielle Objektive Perizentrische Objektive Durch spezielle Optiken 360-Grad-Bild in einer Aufnahme Keine Multi-Kamera-Systeme nötig Abb. 2.4.9 Perizentrisches Objektiv Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 47 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.4.10 Aufnahme mit perizentrischem Objektiv Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 48 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Multi-Spiegel-Objektiv Betrachtung des Prüfteils mit telezentrischem Objektiv durch eine Anordnung von Spiegeln Mehrere Seitenansichten des Prüfteils in einer Aufnahme Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 49 Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 50 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Objektive zur Lochinspektion Inspektion tiefer Objekte (Hohlräume) Durch großen Blickwinkel detaillierte Aufnahmen von z.B. Innenseiten von Bohrlöchern Hohlrauminspektion Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 51 Quelle : Opto Engineering srl www.opto-engineering.com Kapitel 2.4 Seite 52 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4.5 Technische Daten von Objektive (exemplarisch) Bezeichnung : COSMICAR B5014A(KA) Die Ergänzung KA bedeutet, dass die Blende und der Fokus mit jeweils einer Schraube feststellbar sind. Dies ist sehr wichtig in der industriellen Anwendung ! Format : 2/3“ Da die Objektivfehler in den Randbereichen verstärkt auftreten, sollten die Objektive mindestens das Format des Wandlers haben. Brennweite : 50.0 mm s. S. 29ff – Blendenbereich : 1.8 – closed Beschreibt die relative Öffnung der Blende, auch Blendenzahl k k = f / d (d : wirksame Öffnung des Objektivs) kleines k -> große Öffnung -> viel Licht Eintauchtiefe : 3.5 mm Gewindelänge des Objektivs s. Abb. 2.4.2 Abb. 2.4.7 COSMICAR B5014A(KA) Mount : C : s. Abb. 2.4.2 Kapitel 2.4 Seite 53 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Horizontaler Blickwinkel : 10 0 Eigenschaft, die die Unterteilung der Objektive in Weitwinkel, Tele ... usw ermöglicht (in der Technischen BV nicht klar abgegrenzt). Kurze Brennweite <-> großer Blickwinkel MOD : 1m Minimale Objekt Distanz s. S. - 34 Filter Durchmesser : 40.5 mm Angabe des frontseitigen Gewindes für die Filterbefestigung. Bei Verwendung z.B. einer LED -Beleuchtung kann ein optisches Bandpassfilter mit genau bestimmter Durchlasscharakteristik verwendet werden -> Verringerung von Fremdlichteinfluss Durchmesser : 42 mm Länge : 52.5 mm Gewicht : 130 g Preis : 300 EUR Kapitel 2.4 Seite 54 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Bezeichnung : Sill Optics Telezentrisches Objektiv S5LPJ9046/M42 Dieses Telezentrische Objektiv wurde speziell für die Verwendung mit großformatigen Bildwandlern (z.B. Zeile 30 mm) entwickelt. Diese haben meist keine C / oder CS Mount Anschlüsse, sondern eigene “Normen“ wie z.B. M42. Länge 150.6 mm Wegen der sehr aufwändigen Linsenkonstruktion haben Telezentrische Objektive meist eine relativ große Länge (Objektive bis 1000 mm). Arbeitsabstand : 139.0 mm Telezentrische Objektive arbeiten meist mit einem festen Arbeitsabstand. Ein “scharf stellen“ am Objektiv entfällt. Vor und hinter diesem Abstand findet sich der Telezentriebereich. Nach Abgaben des Herstellers bei diesem Objektiv +/- 2 mm. Ein Gegenstand, der sich in diesem Bereich findet, wird immer scharf abgebildet. Numerische Apertur : 0.16 Einige Hersteller geben nicht die Blendenzahl, sondern die numerische Apertur an. Näherungsweise lassen sich die Werte nach folgender Formel umrechnen : k = 1 / 2NA. Telezentrische Objektive haben meist keine verstellbare Blende. Wegen der speziellen Konstruktion und Wirkungsweise (s. vorherige Seiten) sind diese Objektive “lichtschwach“. Die hier angegebene NA von 0.16 entspricht einer Blendenzahl von 3.1. Kapitel 2.4 Seite 55 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abbildungsmaßstab : 0.46 Der Abbildungsmaßstab m = B / G ist der Quotient aus Bildgröße und Gegenstandsgröße. Daraus ergeben sich dann die maximalen Objektfelder: bei ½“ Chip -> 13 mm * 10mm, bei 28 mm Zeile -> 60 mm Preis : 2500 EUR Kapitel 2.4 Seite Abb. 2.4.8 Telezentrisches Objektiv Sill Optics S5LPJ9046/M42 56 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.4.6 Objektivfehler Auch bei der Verwendung hochwertiger Objektive kommt es Fehlern bei der Erzeugung einer Abbildung durch das optische System. Im Folgenden sind einige dieser Fehler beschrieben. Die Bilder wurden der Veröffentlichung “Anwendungsbezogene Grundlagen der Optik für die industrielle Bildverarbeitung“, Fa. PENTAX Europe GmbH entnommen. Vignettierung Beschreibung : Lichtabfall in den Bildecken durch mechanische und physikalische Effekte. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden Copyright TU Berlin Kapitel 2.4 Seite 57 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Chromatische Aberration (Farblängsfehler und Farbquerfehler) Beschreibung : Lichtbrechung einer ist Linse von der Wellenlänge des Lichts abhängig. Farben des Spektrums haben keinen gemeinsamen Brennpunkt. Es treten Unschärfen im Bild auf. Beseitigung bzw. Optimierung : - Optimierte Objektive - Abblenden - Verwenden von schmalbandigen Lichtquellen (LED‘s, Laserdioden) Kapitel 2.4 Seite 58 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Sphärische Abberation Beschreibung : Sphärische Linsen haben im Zentrum und am Rand unterschiedliche Brennweiten Es treten Unschärfen im Bild auf. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden Verzeichnung (Distorsion) Beschreibung : Nichtsymmetrischer Aufbau der Optik mit Blende vor oder hinter dem optischen Zentrum der Optik. Beseitigung bzw. Optimierung : - Format Objektiv größer Format Bildwandler - Abblenden - geometrische Entzerrung mittels Bildverarbeitung Kapitel 2.4 Seite 59 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : http://de.wikipedia.org/wiki/Geometrische_Optik http://www.filmscanner.info/Strahlenoptik.html http://www.theimagingsource.com/de/resources/whitepapers/ http://www.schneiderkreuznach.com/knowhow.htm http://www.pentax.de/_de/cctv/products/rechner.php?cctv&products&rechner http://www.opto-engineering.com Kapitel 2.4 Seite 60 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5 Bildaufnahme Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.5 Seite 61 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5 Bildaufnahme 2.5.1 Funktionsweise und Merkmale der CCD – Bildwandler Technologie Ein Charge-coupled Device (CCD, ladungsgekoppeltes Bauteil) ist ein Halbleiterelement, das wie ein analoges Schieberegister arbeitet. Eigentlich zur Datenspeicherung entwickelt (Boyle, Smith Bell Laboratories, 1969) stellte sich heraus, dass diese Bauteile lichtempfindlich sind. Sie “wandeln“ eingestrahltes Licht (proportional) in elektrische Signale. Abb. 2.5.1 Prinzip CCD 3-Phasen-Charge-coupled Device Durch einfallendes Licht werden in bestimmten Bereichen (den Pixeln) aus der Halbleiterschicht Elektronen gelöst. Die Anzahl dieser Elektronen sind proportional (linear) der einfallenden Lichstärke und der Einwirkdauer des Lichts (Belichtungszeit). Nach Beendigung der Belichtungszeit müssen die Elektronen von einem ‚Rechner‘ ausgelesen und bearbeitet werden. Dazu werden die Elektronen hintereinander, also zeitseriell, als Spannung (Ladung) zur Verfügung gestellt. Die Elektronen werden von den Pixeln zu dem Ausgangsregister durch das sog. Eimerkettenprinzip transportiert. Die Elektronen sammeln sich dabei in Potentialtöpfen. Diese werden durch Anlegen einer Spannung an die Gate-Elektroden weitertransportiert. Quelle : http://de.wikipedia.org/wiki/CCD-Sensor Kapitel 2.5 Seite 62 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.2 Full – Frame – Transfer – CCD (FF – CCD) Die in den Pixel erzeugten Ladungen werden zeilenweise parallel und dann spaltenweise seriell dem Ausgangsverstärker zugeführt. Da der Transport durch lichtempfindliche Bereiche geht werden die Ladungen verfälscht. Es kommt zum sog. Smear – Effekt (s. u.). Um dies zu vermeiden, müssen die Pixel während des Ladungsträgertransport z.B. mit einem mech. Shutter abgedeckt werden. Demonstration auf http://www.micro.magnet.fsu.edu/primer/java/digitalimagin g/ccd/fullframe/index.html Kapitel 2.5 Seite 63 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.3 Frame – Transfer – CCD (FT CCD) Bei dieser Architektur wird der komplette Bildbereich sehr schnell parallel in einen Speicherbereich verschoben. Von dort kann das Bild dann ausgelesen werden. Vorteil : Ganze Bildbereich ist lichtempfindlich -> Hoher Füllgrad Nachteil : Großer Chip, meist mech. Shutter erforderlich Demonstration auf http://www.micro.magnet.fsu.edu/primer/java/digitalimagin g/ccd/frametransfer/index.html Kapitel 2.5 Seite 64 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.4 Interline – Transfer CCD (IT – CCD) Bei dieser Architektur gehört zu jedem lichtaktiven Pixel eine abgedeckte Speicher- bzw. Transportzelle. Nach Ablauf der Belichtungszeit (auch Integrationszeit) werden die Ladungen in die Transportzellen transferiert. Während die Transportzellen die Ladungen zum Ausgang befördern kann eine neue Belichtung durchgeführt werden. Vorteil : Meist kein Shutter nötig Nachteil : Schlechter Füllgrad Bei Hochgeschwindigkeitsanwendungen noch “Rest-Smear“ Kapitel 2.5 Seite 65 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.5 Frame Interline – Transfer CCD (FIT – CCD) Kombination aus FT und IT. Vorteil : Sehr schneller Ladungsträgertransport; kein Shutter nötig Nachteil : Schlechter Füllgrad Großer Chip Aufwändig in der Herstellung Kapitel 2.5 Seite 66 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.2 Funktionsweise und Merkmale der CMOS – Bildwandler Technologie Die heutigen CMOS – Bildwandler basieren auf den sog. APS – Wandlern (active pixel sensor). Diese basieren – wie die CCD Wandler – auf dem inneren fotoelektrischen Effekt. Im Gegensatz zu CCDs werden die in der Belichtungszeit erzeugten Ladungen aber nicht zu einem einzigen Verstärker verschoben, sondern in jedem Pixel ist ein Verstärker vorhanden. Dieser erzeugt aus dem Ladungspaket direkt eine analoge Spannung. Die Analog – Digitalwandlung kann ebenso auf dem Pixel durchgeführt werden, wie weitere Bildkorrekturen. Da auf der Chip – Fläche neben den lichtempfindlichen Pixeln auch die Verstärker untergebracht werden müssen, ist der Füllgrad nicht sehr hoch. Abb. 2.5.6 Prinzip CMOS – Bildwandler und CMOS - Pixel Schema Über den Reset – FET wird eine Vorladung aufgebracht. Der Photostrom durch die Diode reduziert diese Ladung (deshalb auch kein Blooming möglich). Über den Shutter kann diese Entladung ‘abgekoppelt‘ werden. Die Ladung wird dann über den Kondensator bereitgestellt und kann über die FETs als Spannung ausgelesen werden. Kapitel 2.5 Seite 67 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durch den Aufbau der CMOS Bildwandler ergeben sich Eigenschaften, die sich teilweise sowohl als Vor- auch Nachteile gegenüber der CCD - Technik aufweisen bzw. bei näherer Betrachtung relativiert werden müssen : Aufbau in CMOS - Halbleitertechnik • Durch die Herstellung in Produktionsanlagen, die für die Fertigung von Halbleiternbausteinen (z.B. RAM) in hohen Stückzahlen ausgelegt sind, ergibt sich ein theoretischer Kostenvorteil. Durch die Selektion der Halbleiter wg. der wünschenswerten Rauscharmut entstehen aber wieder Kosten. • geringer Energieverbrauch Verwendung der APS - Technologie (Active Pixel Sensor Spannungsausgang für jedes Pixel) + direkter Zugriff auf jedes Pixel + durch ‘Windowing‘ extreme Steigerung der Bildrate (frame rate, frames per second fps) + A/D - Wandlung auf dem Chip möglich + Bildverarbeitung direkt am Pixel (Chip-On-Lens) z.B. Kennlinienanpassung, Empfindlichkeitseinstellung ... + kein Blooming, kaum Smear - Verstärker verursachen immer Rauschen; mehr Verstärker bedeuten also mehr Rauschen - Füllrate wird geringer - Herstellungsprozess wird aufwändiger (Bonding) Kapitel 2.5 Seite 68 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak CMOS - Sensoren der Fa. Pixim DPS Verfahren (digital pixel system) A/D-Wandlung auf dem Chip; für jedes Pixel ein A/D-Wandler; Wandlung simultan ein Pixel besteht aus ca. 50 Transistoren (MOS Photogate, Reset- u. Transfer-Gates, A/D-Wandler, DRAM - Speicher für digitale Daten) Jedes Pixel lässt sich (bei Bedarf) unterschiedlich betreiben z.B. unterschiedliche Integrationszeit, Dunkelstromkompensation ...) Sehr flexibel auch bei stark unterschiedlich hellen (kontrastreichen) Bereichen im betrachteten Bild Abb. 2.5.7 Während beide Sensoren die Farbtafel gut wiedergeben, überstrahlt der Hintergrund bei dem “Competitor“ - Sensor Quelle : Photonik 4-2007 Belichtungsregelung individueller Pixel von CMOS - Sesnsoren Stefan Tauschek, Scantec Microelektronic GmbH Mit freundlicher Genehmigung und Unterstützung v. Hr. Tauschek Kapitel 2.5 Seite 69 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak High-Dynamic-Range CMOS (HDRC) der Fa. IMS Chips, Stuttgart Logarithmische Kennlinie Abb. 2.5.8 Kennlinie verschiedener Bildwandler Quelle : Institut für Mikroelektronik Stuttgart IMS CHIPS Mit freundlicher Genehmigung und Unterstützung v. Hr. Strobel Kapitel 2.5 Seite 70 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.9 Vergleich CCD HDRC Sensoren in verschiedenen Szenarien Quelle : Institut für Mikroelektronik Stuttgart IMS CHIPS Mit freundlicher Genehmigung und Unterstützung v. Hr. Strobel Feuerspucker Kapitel 2.5 Seite 71 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.10 CCD - Chip Sony ICX 285 (1.3 MPixel) und CMOS Chip Micron MV-13 (1.0 Mpixel) Quelle : G. Holst PCO AG, Kelheim Kapitel 2.5 Seite 72 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.3 Gegenüberstellung CCD und CMOS Technologie in der Technischen Bildverarbeitung Der Vergleich zwischen CCD und CMOS bzw. die Frage “was ist besser“ lässt sich so nicht beantworten. Jede Technologie hat ihre Vor- und Nachteile. Durch Weiterentwicklungen und Modifikation sind die Vorteile verstärkt bzw. Nachteile abgeschwächt worden. Dies bestätigt auch die nachfolgende Tabelle. 12 Abb. 2.5.11 Technische Daten von ausgewählten CCD- und CMOS - Sensoren Quelle : G. Holst PCO AG, Kelheim emCCD (electron multiplying ccd), L3CCD, Impactron CCD -> CCD mit Ladungsträgerverstärkung d. Avalanche - Effekt Kapitel 2.5 Seite 73 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Pixel Clock - Auslesegeschwindigkeit des Sensors Bsp. pix.clock 30 MHz; 1.3 Mpixel -> Auslesen eines pix 33 ns -> Auslesen eines Bildes (frame) 43.0 ms -> 23 Bilder pro sekunde (fps) QE - Quantenwirkungsgrad Phys. Größe; hier annähernd genau Füllgrad readout noise - Ausleserauschen Verursacht durch nicht-uniformität der Lichtwandler, defekte Pixel, Rauschen der Verstärker dark current - Dunkelstrom Ladungsträgererzeugung durch Wärmeeinwirkung Fullwell Kapazität - Sättigung Max. Elektronenzahl die ein Pixel “aufnehmen“ kann. Überschreiten verursacht bei CCD Überlauf, also Blooming und bei CMOS Nichtberücksichtigung (Clipping) von Photonen (s. Abb. 2.5.6) Dynamik Quotient aus Fullwell – Kapazität und Ausleserauschen quant. drive volt. - Anzahl der Treiberspannungen Kapitel 2.5 Seite 74 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Eine Gegenüberstellung von CCD bzw. CMOS lässt sich besser als Vergleich der Eignung für verschiedene Anwendungen durchführen Photoapperate, Spielzeug, Handys beide Sensoren werden eingesetzt professionelle digitale Photoapperate Nikon verwendet CCD und Canon CMOS industrielle Bildverarbeitung beide wissenschaftliche Anwendungen beide Hochgeschwindigkeits-Aufnahmen CMOS “ultra low light“ CCD Sicherheit, Nachtsicht CCD CCD und CMOS Sensoren teilen viele Eigenschaften und sind deshalb auch für ähnliche Anwendungen geeignet CMOS Sensoren sind bisher nicht für extreme Niedriglicht - Anwendungen geeignet (Rauschen, Dunkelstrom) CCD Sensoren sind nicht geeignet für extreme Hochgeschwindigkeitsanwendungen und Anwendungen, bei denen Signalverarbeitung auf dem Chip erforderlich ist. Diese Gegenüberstellung wurde einer Veröffentlichung von G. Holst PCO AG, Kelheim im Forum der Fa. FRAMOS Electronic Vertriebs GmbH, Pullach entnommen. Kapitel 2.5 Seite 75 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.4 Geometrische Anordnung von Bildwandlern Um eine Abbildung zu erhalten werden die Pixel zu Zeilen- bzw. Matrix Sensoren angeordnet. Zeilensensoren Meist einzeilig. Dies ermöglicht sehr schnelles Auslesen der Pixel. Durch fortwährendes Abtasten (scannen) kann ein zweidimensionales Bild gewonnen werden. Typische Anwendung ist die optische Kontrolle von schnell bewegtem Endlosmaterial Abb. 2.5.12 Anwendungen von Zeilenkamerasystemen Quelle : Fa. NANOsystems, Bochum Kapitel 2.5 Seite 76 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Zeilenkamera Pixelanzahl von 512 ... 32000 (Standard) bei einer Zeilenlänge von ca. 5 ... 50 mm und Zeilenfrequenzen von 0.2 ... 140 KHz Bei z.B. 2588pe (8Bit/pe)und 5000 fps sind das ca. 12 MByte / s die zu verarbeiten sind. Matrixkamera : Anordnung der Pixel in Zeilen uns Spalten Typische Anordnungen sind dabei : Anordnung Anzahl Pixel Bezeichnung 176 * 144 320 * 240 352 * 288 640 * 480 800 * 600 1024 * 768 1280 * 1024 1600 * 1200 2048 * 1536 25300 76800 101376 307200 480000 786400 1.3 mega 2.0 mega 3.2 mega 128 * 128 256 * 256 512 * 512 1024 * 1024 2048 * 2048 4096 * 4096 16400 65500 262100 1 mega 4 mega 16 mega QCIF QVGA CIF VGA SVGA XGA SXGA UXGA QXGA Video Graphics Array Kapitel 2.5 Seite 77 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Formate der Matrixsensoren (inches / Zoll) Breite (mm) Höhe (mm) Diagonale (mm) 1 2/3 1/2 1/3 1/4 12,8 8,8 6,4 4,8 3,6 9,6 6,6 4,8 3,6 2,7 16 11 8 6 4,5 Kapitel 2.5 Seite 78 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.5 Abbildung und räumliche Auflösung Abb. 2.5.13 Entstehung einer Abbildung mit räumlicher (ortsdiskreter) Auflösung Quelle : FH Münster, Prof. Dr.-Ing. Fehn Kapitel 2.5 Seite 79 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Der Begriff der Auflösung wird in der Technischen Bildverarbeitung in verschiedenen Zusammenhängen gebraucht : Grauwertauflösung beschreibt die kleinste Helligkeitsänderung, die eine Änderung in den auszuwertenden Daten hervorruft. Über die ‘Wandlerkette‘ Photon -> Elektron -> analoge Spannung -> digitales Signal wird aus den Helligkeitsänderungen ein digitales Signal, das von einem Rechner verarbeitet werden kann. Die Dynamik der Wandlerkette wird durch verschiedene Faktoren wie z.B.Rauschen und Empfindlichkeit der Bildwandler, Bittiefe der A/D-Wandlung usw. beeinflusst. Scanfrequenz beschreibt das Messraster, das bei einer optischen Kontrolle über ein bewegtes Objekt gelegt wird. In Abhängigkeit von der Geschwindigkeit des Bildverarbeitungssystems (FPS, Rechnerperformance), dem betrachteten Bildausschnitt und der Geschwindigkeit des bewegten Objekts kann es zu einer lückenhaften Abtastung kommen. Die Lücken bestimmen die kleinste Merkmalsgröße, die in Transportrichtung erfasst werden kann (Auflösung in Transportrichtung). Beispiel : 10 Bilder / s (fps), Bildausschnitt 80 mm, Geschwindigkeit des Objekts 1m / s 10 fps -> 100 ms / Bild -> in 100 ms verfährt das Objekt 100mm -> 20 mm werden nicht kontrolliert -> Merkmale < 20mm werden mit großer Wahrscheinlichkeit nicht detektiert Räumliche oder Ortsauflösung beschreibt das Raster, das die Abtastung mit ortsdiskreten Bildwandlern (Pixel) ergibt. Gegenstandsmerkmale die kleiner sind als die Fläche, die ein Pixel repräsentiert (nicht die Pixelgröße), sind nicht mehr eindeutig darstellbar. Bei der Auslegung von optischen Systemen werden deshalb Forderungen wie z.B. : - Anz. Pixel = Gegenstandsgröße / geforderte Auflösung oder Anz. Pixel = (Gegenstandsgröße / geforderte Auflösung) * 2 (bei Abtastung von periodischen Informationen in Anlehnung an das Abtasttheorem von Shannon und der Nyquistfrequenz) gestellt. Die besonderen Probleme mit der Ortsauflösung sollen die beiden folgenden Seiten verdeutlichen. Kapitel 2.5 Seite 80 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.5 Seite 81 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.5 Seite 82 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.5.14 Subpixelalgorithmus, der von einem linearem Grauwertverlauf zwischen zwei Pixeln ausgeht. Durch Vorgabe eines Schwellwerts lässt sich ein Punkt berechnen, an dem der zugehörige Grauwert dem Schwellwert entspricht. Dieser berechnete Punkt wird dann z.B. als ‘wahrer‘ Kantenpunkt übernommen. Quelle : Firmenschrift Fa. Siemens AG, SIMATIC Sensors Autor : Herr Kirsten Drews Um, insbesondere bei der Optischen Messtechnik, die Ortsauflösung zu verbessern, werden sog. Subpixelalgorithmen angewendet. Dabei wird versucht, die nicht vorhandenen Information über die Bereiche zwischen den Pixeln zu berechnen. Über die Annahme des Grauwertverlaufes wird ein zu einem Grauwert gehörender Ort berechnet. Dieser Ort kann zwischen den Pixeln liegen. Es gibt verschiedene Berechnungsmethoden. In der Theorie lassen sich fast beliebige Auflösungen berechnen. In der Praxis werden sehr selten stabile Auflösungen < 1/10 Pixel erzielt. Oftmals sind die mit Subpixelalgorithmen erzielten Auflösungen bzw. Messergebnisse sehr empfindlich gegenüber äußeren Störeinflüssen wie z.B. das Rauschen der Bildwandler und Schwankungen der Beleuchtungsstärke Kapitel 2.5 Seite 83 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.6 Farbkamerasysteme CCD – bzw. CMOS Lichtwandler erzeugen eine Ladungsmenge, die der einfallenden Photonenmenge proportional ist. Obwohl die Menge der erzeugten Elektronen abhängig ist von der Wellenlänge des einstrahlenden Lichts, ist keine Unterscheidung von Farben möglich. Den erzeugten Elektronen lässt sich nicht ansehen, welche Wellenlänge die generierenden Photonen hatten (s. S.-138). Zur Farberkennung muss eine Möglichkeit gefunden werden, die Photonen / Lichtwellen spektralabhängig zu selektieren. Abb. 2.5.15 Spektrale Empfindlichkeit Sony CCD – Chip ICX 205AL, Sony Corporation Datenblatt Kapitel 2.5 Seite 84 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.6.1 Drei- CCD/CMOS -Chip Farbkamerasysteme Bei den 3 CCD/CMOS Farbkamerasystemen wird das einfallende Licht durch ein Prisma in Rot-,Grün- und Blauanteile zerlegt. Diese Anteile beleuchten jeweils ein einzelnes CCD / CMOS – Array. In der Kamera- bzw. Rechnerelektronik können daraus Farbinformationen im RGB – Farbraum für jedes Pixel berechnet werden. Dieses Verfahren liefert sehr gute Bilder, ist aber durch das aufwändige Herstellungsverfahren und die Vielzahl an Komponenten (Prisma, 3 Array) sehr teuer. Zusatzinfo Kapitel 2.5 Seite 85 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.6.3 Ein- CCD/CMOS -Chip Farbkamerasysteme Bei den 1 CCD/CMOS Farbkamerasystemen wird über die Pixel ein Mosaik- oder Bayer Filter gelegt. Ein Pixel liefert nur einen ‘Grauwert‘ (R oder G oder B). Zur Visualisierung werden die jeweils fehlenden Farbwerte durch unterschiedliche Verfahren aus den Nachbarpixeln berechnet. Die Berechnung geschieht meist innerhalb der Kamera und ist über Parameter (Sharpness, Hue, Saturation) beeinflussbar. Die so erzeugten Bilder zeigen eine erstaunlich gute Qualität. Bei Vergrößerungen oder kontrastreichen Bildern zeigen sich aber doch erhebliche Qualitätsmängel. Für messtechnische Applikation ist die Werteergänzung durch Berechnung (Schätzung) nicht akzeptabel. Deshalb werden im Bereich der Technischen Bildverarbeitung die Daten oftmals als ‘raw - data‘ übertragen. Die auswertende Recheneinheit kann die Daten dann applikationsspezifisch verarbeiten. Kapitel 2.5 Seite 86 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.5.6.3 Foveon X3 Image Sensor Foveon ist ein Unternehmen in den USA das 1997 von Carver Mead (US-amerikanischer Informatiker und Pionier der modernen Mikroelektronik, Bachelor-of-Science, Master-of-Science, Doktor, Prof. am California Institute of Technology) gegründet wurde. Die Fa. Foveon entwickelte den CMOS – Bildsensor Foveon X3, bei dem drei übereinander liegende Sensorelemente auf jedem Pixel alle drei Grundfarben aufzuzeichnen. Damit ist keine Interpolation fehlender Farbwerte nötig. Die Bilder haben nur eine geringe Neigung zu Farbrändern und Moireebildung. Leider ist die Farbsättigung nicht sehr hoch. Durch die dadurch notwendige hohe Verstärkung nimmt das Bildrauschen zu. Der Foveon X3 – Sensor ist in Ausführungen von 4.5,10.2 und 14.1 MPixel (20,7*13,8 mm !) erhältlich. Abb. 2.5.16 Aufbau des Foveon X3 Bildsensors Quelle : Foveon, Inc., San Jose, USA http://www.foveon.com/article.php?a=63 Kapitel 2.5 Seite 87 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Bildvergleich zwischen Bayer – Mosaik Farbkamera und Kamera mit Foveon X3 Chip Bayer - Mosaik Foveon X3 Kapitel 2.5 Seite 88 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : CCD – und CMOS - Sensoren http://de.wikipedia.org/wiki/Charge-coupled_Device http://de.wikipedia.org/wiki/CMOS-Sensor http://www.micro.magnet.fsu.edu/primer/digitalimaging/concepts/concepts.html Subpixel - Algorithmen http://www.wiley-vch.de/berlin/journals/op/07-03/OP0703_S49_S52.pdf Farbkameras http://www.theimagingsource.com/de/resources/whitepapers/ http://www.foveon.com Kapitel 2.4 Seite 89 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6 Bildübertragung Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.6 Seite 90 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6 Bildübertragung Zur Übertragung der Bilddaten von einem bildgebenden System (hier i.d.R. eine Kamera) zu einer Verarbeitungseinheit (Rechner) werden unterschiedliche Schnittstellen bzw. Verfahren genutzt. Im Folgenden werden die Eigenschaften dieser Schnittstellen beschrieben und ein Vergleich in acht Kategorien durchgeführt. Durchsatz: Geschwindigkeit mit der Daten über die Schnittstelle übertragen werden können Effektive Kosten: Gesamtpreis für die Komponenten (Kamera, Kabel, Bilderfassungskarte ...) Kabellänge: Maximal mögliche Entfernung zwischen der Kamera und dem Rechner ohne Leistungsverstärker Standardisierte Schnittstelle: Maßstab für die einfache Benutzung und zukünftige mögliche Erweiterbarkeit Stromversorgung über das Kabel: Möglichkeit über ein einziges Kabel (mehradrig !) die Kamera mit Spannung zu versorgen und die Bilddaten zu übertragen Kameraverfügbarkeit: Maßstab für die Anzahl der am Markt verfügbaren Kameras, die Dauer der bisherigen Verfügbarkeit der Schnittstelle und die allgemeine Verbreitung des Standards in der industriellen Bildverarbeitung Prozessorauslastung: Belastung des Systemprozessors bei der Bilderfassung I/O-Synchronisation: Einfachheit mit der eine mögliche Triggerung und die gesamte Kommunikation realisiert werden kann Die Systematik der Kategorien und Inhalte der Beschreibung wurden aus dem Tutorium “Auswahl der geeigneten Kameraschnittstelle für Ihr Bildverarbeitungssystem“, 2007, National Instruments entnommen Kapitel 2.6 Seite 91 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.1 Analoge Bildübertragung Bei der analogen Bilddatenübertragung werden die Bilddaten als Spannungssignal über Koaxialkabel übertragen. Die digitalen Pixeldaten (Grauwerte) werden nach der Datenübertragung durch Abtastung aus dem Analogsignal gewonnen. Die analoge Datenübertragung nutzt dieselben Videoformate, die von Fernsehstationen zur weltweiten Übertragung von Videosignalen eingesetzt werden. Standard Typ Bildgröße (Pixel) Bildgeschwindigkeit (Bilder / s) Zeilenrate (Zeilen / s) NTSC PAL RS170 CCIR Farbe Farbe S/W S/W 640 * 480 768*576 640*480 768*576 15,734 15,625 15,750 15,625 Abb. 2.6.1.1 Analoges Videosignal, Codierung und Dekodierung 29,97 25,00 30,00 25,00 auch EIA, 60 Halbbilder / s 525 Zeilen 50 Halbbilder / s, 625 Zeilen Abb. 2.6.1.2 CCIR - Signal Kapitel 2.6 Seite 92 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durchsatz: Analogkameras eignen sich für Anwendungen mit niedriger bis mittlerer Bandbreite. Der Datendurchsatz beträgt bei der Übertragung von 1 Byte / pe, 768 * 576 pe und 25 fps ca. 11 MByte / s. Kosteneffizienz: Da es analoge Kameras schon seit ca. 50 Jahren gibt und sie zahlreich im Einsatz sind, sind sie mit gutem bis sehr gutem Preis- Leistungsverhältnis verfügbar. Analoge Kameras, die kein Standardformat für die Bildübertragung verwenden (z.B. Progressive Scan) zeigen i.d.R. ein deutlich höheres Preisniveau. Für die Digitalisierung der analogen Bildsignale wird eine sog. Bilderfassungskarte (Framegrabber) benötigt. Diese sind in sehr unterschiedlichen Ausstattungen, Leistungsmerkmalen und Preisklassen verfügbar. Kabellänge: Abhängig von den Anforderungen an die Bildqualität und die Funktionalität der Datenübertragung ist die Verkabelung analoger Bildverarbeitungssysteme einfach bis komplex. Für die ‘einfache‘ Bildübertragung reicht oftmals eine Koaxialkabel aus. Werden aber noch weitere Daten ausgetauscht (Trigger, Pixelclock ...) oder sind größere Störeinflüsse zu erwarten wie z.B. EMV – Störungen sind oftmals spezielle und damit teure Kabel- und Steckverbindungen zu verwenden. Standardisierte Schnittstelle: Bei Verwendung der Standardformate für die Bilddatenübertragung gegeben. Bei Verwendung nicht standardkonformer Systeme oder erweiterter Funktionalität (z.B. Konfiguration) nicht gegeben und oftmals kaum realisierbar. Stromversorgung über das Kabel: Die Stromversorgung ist nicht über das Bilddatenkabel möglich. Deshalb werden weitere Kabel oder spezielle mehradrige Kabel und Steckverbinder (z.B. HIROSE) verwendet. Kameraverfügbarkeit: Obwohl die Verwendung analoger Bilddatentechnik in der industriellen Bildverarbeitung rückläufig ist, sind analoge Kameras in ausreichender Varianten- und Stückzahl verfügbar. Prozessorauslastung: Die Bilddaten werden von der Bilderfassungskarte meist per DMA – Transfer in den Rechnerspeicher übertragen. Der Prozessor wird dabei kaum belastet. I/O – Synchronisation: Einige analoge Kameras für die industrielle Bildverarbeitung verfügen über Funktionen wie asynchroner Reset und zusätzliche digitale Ein- und Ausgänge. Darüber hinaus stellt der benötigte Framegrabber noch weitere I/O-Kanäle zu Verfügung, die zur Kommunikation mit anderen Komponenten verwendet werden können. Leider gibt es für analoge Kameras keinen Standard, um Kameraattribute wie Belichtungszeit, Verstärkung oder Verschlusszeit per Software zu parametrieren. Diese Funktionen müssen teilweise noch mit DIP-Schaltern eingestellt werden. Kapitel 2.6 Seite 93 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.1.1 Beispiel für eine analoge Kamera, die JAI A1 22 MByte / s Kapitel 2.6 Seite Abb. 2.6.1.3 Analoge Kamera JAI A1 94 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.1.2 Beispiel für einen analogen Framegrabber, der TIS DFG-SV1 Betriebstemperatur : -5 ... 45 0 C Softwareunterstützung : Gerätetreiber WDM Stream Class, .Net, Active X, C++ Class Library Preis : ca. 200 EUR Kapitel 2.6 Seite Abb. 2.6.1.4 Framegrabber TheImagingSource DFG-SV1 95 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.1.2 Beispiel für einen analogen Framegrabber Matrox Imaging Odyssey XA “Intelligenter“ Framegrabber mit G4 PowerPC (frei programmierbar)und Matrox Oasis Pixel Accelerator (in HW vorprogrammierte Routinen werden sehr schnell (peak 80/100 billionen operations per second (BOPS)) ausgeführt. Abb. 2.6.1.5 Framegrabber Matrox Imaging Odyssey XA Blockschaltbild Quelle : Matrox Electronic Systems GmbH, D-82008 Unterhaching und RAUSCHER GmbH - Systemberatung für Computer und angewandte Grafik, D-82140 Olching Kapitel 2.6 Seite 96 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Preis: ab ca. 4000 EUR Kapitel 2.6 Seite Abb. 2.6.1.6 Framegrabber Matrox Imaging Video Input / Spezifikation 97 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2 Digitale Bildübertragung Bei der Bilderzeugung in CCD- oder CMOS- Bildwandlern liegen die Ladungen der einzelnen Pixel separat vor. Die Ladungsmenge ist also einem Pixel bzw. dem entsprechenden ortsdiskreten Ausschnitt des betrachteten Gegenstands direkt zugeordnet. Zur analogen Datenübertragung werden diese Ladungsmengen einem kontinuierlichem Datenstrom aufmoduliert. Die pixelgenaue Rückgewinnung der ortsdiskreten Information ist mit erheblichem Aufwand (Pixelclock) verbunden. Zur Vermeidung dieses Aufwands, Erhöhung der Datentransferrate und der Datensicherheit und Erweiterung der Funktionalität wurden und werden digitale Schnittstellenstandards für die Bilddatenübertragung entwickelt. Die Standards CameraLink, USB, IEEE 1394 (FireWire) und GigE werden im Folgenden beschrieben. 2.6.2.1 CameraLink CameraLink ist ein Standard der Automated Imaging Association (AIA). Die AIA ist ein Zusammenschluss von namhaften Unternehmen der Bildverarbeitungsbranche. CameraLink ist eine Entwicklung für die industrielle Bildverarbeitung. Steckverbinder und Kabel sind entsprechend ausgelegt. CameraLink ist eine serielle, digitale Hochgeschwindigkeits – Punkt – zu Punkt Verbindung. Maximal zwei Kameras lassen sich über einen speziellen digitalen CameraLink-Framegrabber mit einem Rechner verbinden. Dabei werden drei Betriebsarten unterschieden : Base – Konfiguration: Medium – Konfiguration: Full – Konfiguration: bis zu 255 MByte/s bis zu 510 MByte/s bis zu 680 MByte/s Kapitel 2.6 Seite 98 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durchsatz: Typische CameraLink – Kameras liefern in der Base-Konfiguration 100 MByte/s. Damit lassen sich Bilder mit 1 Megapixel bei 50 FPS erfassen. In der Full-Konfiguration lassen sich 500 Bilder mit einer Auflösung von 1280 * 1024 pro Sekunde an das System übertragen. CameraLink eignet sich also für Anwendungen mit hohem bis sehr hohem Anspruch an die Bildübertragungsrate. Deshalb ist CameraLink mittlerweise ein quasi Standard bei Zeilenkamerasystemen. Kosteneffizienz: Um die hohen Datenraten zu erzielen ist ein hoher Aufwand auf Seiten der Kamera und der Framegrabber nötig. Die Systeme sind meist teuerer als analoge BV – Systeme. Die Verwendung eines spez. Framegrabbers verursacht zusätzliche Kosten im Vergleich zu den anderen digitalen Verfahren. Jedoch darf bei der Kostenbetrachtung nicht der hohe Datendurchsatz und die grundsätzliche Industrietauglichkeit übersehen werden. Kabellänge: Die bei CameraLink verwendeten Kabel sind bezüglich Aufbau und Belegung standardisiert. Auf der Kamera- bzw. Framegrabberseite werden jeweils 28 parallele TTL – Signale in vier differentielle Signalpaare (LVDS) konvertiert. Die Kabellänge ist auf max. 10 m definiert. Für die Base-Konfiguration wird ein Kabel, für die Medium- bzw. Full Konfiguration werden zwei Kabel benötigt. Standardisierte Schnittstelle: Die CameraLink-Spezifikation definiert einen Standard für Kabel, Anschluss, Signalformat und serielle Kommunikationsschnittstelle zur Konfiguration und Parametrierung von Kameras. Die Kommunikation ist, im Gegensatz zu IEEE1394 und GigE nicht festgelegt. Das bedeutet, dass jede CameraLink-Kamera eine spezielle Konfigurationsdatei erfordert. In der Praxis bedeutet dies, dass zu jeder Kamera eine Liste existiert in der kompatible Grabber aufgeführt sind. Herstellerübergreifende Kamera-Grabber Kombinationen sind evtl. nur mit erheblichem Aufwand zu realisieren. Stromversorgung über das Kabel: Bei Base-Konfigurationen kann die Spannungsversorgung über das Standard CameraLink-Kabel erfolgen (Power-over-CameraLink PoCL). Für die anderen Konfigurationen ist ein separates Kabel erforderlich. Kameraverfügbarkeit: Grabber und Kameras (bes. Zeilenkameras) sind von fast jedem großen Anbieter verfügbar. Prozessorauslastung: CameraLink-Grabber transferieren die Bilddaten per DMA in den Speicher des Rechners. Somit wird kaum Prozessorleistung benötigt. I/O – Synchronisation: Die speziellen Befehle zur Einstellung von Belichtung, Verstärkung und Offset sind in der Spezifikation nicht festgelegt. Die Treibersoftware für den Framegrabber muss die kameraspezifischen Befehle kennen. Dies kann durch Konfigurationsdateien realisiert werden. Die CameraLink – Spezifikation ermöglicht sehr kurze Triggerzeiten und hochgenaue Synchronisationen. Eine Plug-and-PlayKompatibilität ist nicht gegeben. Trend : Weiterentwicklung zu CameraLink HS. Bis zu 6 GB/s. Max. Kabellänge 20m (auch Glasfaser, länger mit aktiven Kabeln) . Nur wenige Komponenten verfügbar Kapitel 2.6 Seite 99 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.1.1 Beispiel für eine CameraLink – Kamera, die DALSA FALCON 1.4 M 100 HG Preis: 2600,- EUR (Stand 2015) Kapitel 2.6 Seite Abb. 2.6.2.1 CameraLink Kamera DALSA Quelle Bilder: Stemmer Imaging GmbH, Puchheim 100 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.6 Seite 101 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.1.1 Beispiel für einen CameraLink – Framegrabber, der DALSA X64-CL Express 1x Preis: ca. 1200,- EUR (Stand 2015) Abb. 2.6.2.2 CameraLink Framegrabber DALSA X64-CL Express 1X Quelle Bilder: Stemmer Imaging GmbH, Puchheim Kapitel 2.6 Seite 102 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.2 USB Für den Verbrauchermarkt entwickelt, hat dieser Bus auch im Industriemarkt seinen Platz gefunden. Durch die große Verbreitung von USB – Schnittstellen ist eine Anschlussmöglichkeit an verschiedene Rechnersysteme ohne spez. Framegrabber gegeben. Obwohl USB – Komponenten für unterschiedliche Aufgabenstellungen z.B. HUB‘s in zahlreichen Ausführungen vorhanden sind, sollte bedacht werden, dass im industriellen Umfeld Anforderungen gestellt werden, die durch Komponenten aus dem Office- und Konsumerbereich nicht erfüllt werden können. Abb. 2.6.2.3 USB – Komponenten zum Einsatz im industriellen Umfeld HUB im Metallgehäuse, schleppkettentaugliches Kabel mit kameraseitiger Fixierung Kapitel 2.6 Seite 103 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durchsatz: Ab der Version 2.0 bietet USB eine (effektive) Bandbreite von ca. 40 MByte/s (USB 2.0) bzw. 400 MByte/s (USB 3.0). Kosteneffizienz: Die Kosten für einen speziellen Framegrabber entfallen. Auf der Kameraseite kann bei der Schnittstelle teilweise auf vorhandene Komponenten (Webcam) zurückgegriffen werden. Dies macht USB zu einer preiswerten Schnittstelle für die digitale Bilddatenübertragung. Die Realisierung von industrietauglichen Lösungen kann durch die nötige Verwendung spezieller Komponenten oder spezieller Maßnahmen die Kosten deutlich erhöhen. Kabellänge: Es sind (eingeschränkt) industrietaugliche Kabel bis zu einer Länge von 10m verfügbar (max. Kabellänge nicht spezifiziert voraussichtlich erreichbare Längen USB 2.0 5m und USB 3.0 3m). Größere Kabellängen sind durch Repeater und Hub‘s realisierbar. Hierbei muss aber die Industrietauglichkeit beachtet werden. Standardisierte Schnittstelle: Für die industrielle Bildverarbeitung fehlt z.Zt. jegliche Spezifikation. Jeder Anbieter muss sein eigenes Hard- und Softwaredesign implementieren. Das ist aufwändig und erschwert dem Anwender die Komponentenauswahl. Abhilfe durch USB3 Vision (Protokollstandard der das Layout des Datentransfers definiert, Datenübertragung zwischen Geräten verschiedener Hersteller definiert, Dateninterpretation nicht) Stromversorgung über das Kabel: USB liefert Strom über das Kabel. In Abhängigkeit von der Systemkonfiguration sind evtl. externe Spannungsquellen nötig. Kameraverfügbarkeit: Webcams sind in großer Anzahl verfügbar. Diese Kameras eignen sich aber i.d.R. nicht für industrielle Anwendungen. Mittlerweile sind aber auch geeignete Kameras von einigen Anbietern verfügbar. Prozessorauslastung: Bei der USB – Bilddatenerfassung wird oftmals auf Softwarekomponenten des Betriebssystems (z.B. DirectShow) zurückgegriffen. Diese Komponenten sind bewährt belasten aber den Prozessor. I/O – Synchronisation: Da Komponenten des Betriebssystems keine Schnittstelle für Triggerung und Synchronisierung enthalten, muss diese Funktionalität durch Treiber- und Hardwareerweiterungen des Kameraanbieters realisiert werden Trend: Standardisierung der Dateninterpretation (evtl. nicht mehr realisiert wegen GigE) Kapitel 2.6 Seite 104 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.2.1 Beispiel für eine USB – Kamera, die IDS µEye UI-1480-C Abb. 2.6.2.4 USB Kamera IDS uEye UI-1480-C IDS Imaging Development Systems GmbH Dimbacher Straße 6 74182 Obersulm Abb. 2.6.2.5 USB Kamera IDS uEye UI1220RE Kamera mit erweiterter Industrietauglichkeit und IP 65 bzw. 67 IDS Imaging Development Systems GmbH Dimbacher Straße 6 74182 Obersulm Kapitel 2.6 Seite 105 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Preis: ca. 900,- EUR (Okt. 2007) Abb. 2.6.2.5 Spezifikation der USB Kamera IDS uEye UI-1480-C IDS Imaging Development Systems GmbH Kapitel 2.6 Seite 106 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.3 Firewire, IEEE-1394 1 Firewire wurde 1995 als IEEE -1394-Spezifikation verabschiedet. IEEE-1394 wird von der Fa. Apple als Firewire und von der Fa. Sony als iLInk bezeichnet. Firewire wurde direkt für Bildverarbeitungsgeräte (im Konsumerbereich) entwickelt. Die Geschwindigkeit von IEEE 1394a lag bei 50 MByte / s. In der vorliegenden Spezifikation IEEE-1394b beträgt die max. Geschwindigkeit 100 MByte / s. Mit DCAM / IIDC existiert ein Protokoll das den Datenaustausch mit IEEE 1394-Kameras beschreibt. DCAM // IIDC beschreibt außerdem die Parametrierung der Kameras. Abb. 2.6.2.6 DCAM Standard Quelle: The Imaging Source Europe GmbH, 28215 Bremen 1 IEEE (gesprochen i-triple-e) ist ein Kürzel für "Institute of Electrical and Electronics Engineers", eine Organisation, die in den USA im Jahre 1884 von einer handvoll Technikern gegründet wurde. Mittlerweile hat das Institut mehr als 320.000 Mitglieder mit Aktivitäten in 147 Ländern. Das IEEE ist insbesondere im Bereich der Standardisierung aktiv. Kapitel 2.6 Seite 107 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durchsatz: In der Version 1394a 50 (32) MByte/s, in der Version 1394b 100 (64) MByte/s. DCAM gibt verschiedene Videomodi vor. Einige dieser Modi mit der zugehörigen Busauslastung sind in folgender Tabelle dargestellt. Abb. 2.6.2.7 Videomodi lt. DCAM und sich ergebende Busbelastung Quelle: The Imaging Source Europe GmbH, 28215 Bremen Kapitel 2.6 Seite 108 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kosteneffizienz: Firewire Kameras gibt es in verschiedenen Preisklassen. Da (meist) kein spezieller Framegrabber benötig wird und die Kabel relativ preiswert sind, ist Firewire ein kosteneffizientes Bussystem für die Technische Bildverarbeitung. Im Einzelfall muss die Industrietauglichkeit der eingesetzten Komponenten geprüft werden. Kabellänge: IEEE – 1394a: Max. 4,5 m, größere Entfernungen durch z.B. LWL – Umsetzer, IEEE – 1394b: Über 100m mit Glasfaserkabel oder Kabel der Kategorie 5 (CAT 5). Standardisierte Schnittstelle: Durch DCAM / IIDC gibt es ein herstellerunabhängiges Protokoll für den Bilddatenstrom und die Parametrisierung der Kameras. Das erleichtert die Auswahl der Komponenten, die Wartung und den Betrieb von IEEE – 1394 Bussystemen. Stromversorgung über das Kabel: IEEE 1394 versorgt die Kameras über das Kabel mit Strom. Bei einer größeren Anzahl von Kameras (Daisy-Chain) oder Verbraucher mit einem höheren Stromverbrauch (> 1.5 A bei 8 ... 30 V) sind zusätzliche Netzteile nötig. Kameraverfügbarkeit: Da IEEE-1394 seit Jahren als ein Standard in der Technischen Bildverarbeitung etabliert ist, gibt es entspr. Kameras in großer Variantenvielfalt von diversen Herstellen. Prozessorauslastung: Da bei IEEE-1394 keine Framegrabber verwendet werden, erfolgt der Bilddatentransfer über die CPU in den Rechnerspeicher. Die CPU – Belastung ist entsprechend hoch. I/O – Synchronisation: IEEE-1394 Kameras verfügen i.d.R. über Trigger und Synchronisationsschnittstellen. Die Triggermodi sind durch DCAM vorgegeben. Für die Prozessankopplung sind kaum Schnittstellenkarten (z.B. 24V-Signale) verfügbar. Hier muss gegebenenfalls auf andere Komponenten zurückgegriffen werden. FireWire 1394 – 2008 (Firewire S3200): Überarbeitung von 1394a/b mit Fehlerbeseitigung, Erweiterung der Spezifikation für eine Übertragungsbandbreite von 3,2 Gbit/s Kapitel 2.6 Seite 109 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.3.1 Beispiel für eine IEEE1394 – Kamera, die Allied Vision Marlin Preise: F-033 B (sw) ca. 990,-EUR F-033 C (color) ca. 990,-EUR F-080 C (color) ca. 1300,-EUR Kapitel 2.6 Seite Abb. 2.6.2.8 IEEE 1394 Kamera Allied Vision Marlin, Quelle Bilder: Stemmer Imaging GmbH, Puchheim 110 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.4 Gigabit Ethernet Vision GigE GigE Vision ist ein Schnittstellenstandard (AIA)für die Technische Bildverarbeitung. Dieser Standard basiert auf dem Gigabit Ethernet Protokoll. Mit GenICam existiert eine standardisierte, herstellerübergreifende Softwareschnittstelle. Die dabei verwendete Betriebssprache ist XML. Aufbauend auf dem Kommunikationsprotokoll UDP / IP kommuniziert die Kamera mit dem Host bzw. über Ports mit Applikationen. Kapitel 2.6 Seite Abb. 2.6.2.9 GigE Vision im OSI - Modell Quelle: Basler Vision Technology 111 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durchsatz: Die theoretische maximale Übertragungsrate beträgt bei Gigabit Ethernet 125 MByte/s. Bedingt durch Software-Overhead und Hardwarebeschränkungen beträgt die max. Übertragungsrate in der Praxis ca. 100 MByte/s. Kosteneffizienz: Ein Framegrabber wird nicht benötigt. Unter Beachtung der Industrietauglichkeit können Standard Komponenten genutzt werden. Bei höheren Ansprüchen müssen spezielle, hochpreisige aber verfügbare Komponenten verwendet werden. Kabellänge: Über 100m evtl. mit Glasfaserkabel, Repeater ... Standardisierte Schnittstelle: Durch die Automated Imaging Association (AIA) ist mit GigE ein umfassender Standard definiert worden. Dieser Standard überwindet einige Defizite von Gigabit Ethernet, indem er Plug-and-play-Verhalten, Geräteerkennung, Fehlerbehebung und sichere Bilddatenübertragung bereitstellt. Zusammen mit GenICam bietet GigE Vision einen Standardisierungsgrad, der mit den IEEE-1394 Standards vergleichbar ist. Stromversorgung über das Kabel: Die Stromversorgung ist bei GigE – Kameras über das Ethernetkabel möglich (PoE Power over Ethernet). Zur Zeit wird oftmals für jede Kamera ist ein separates Kabel für die Stromversorgung verwendet. Kameraverfügbarkeit: Obwohl der GigE Vision Standard erst im April 2006 verabschiedet worden ist, gibt es eine größere Anzahl von verfügbaren Kameras. Die Anzahl nimmt ständig zu und wird vermutlich mittelfristig mit z.B. IEEE-1394 vergleichbar sein. Prozessorauslastung: Die Prozessorbelastung kann beim Datenaustausch über Gigabit-Ethernet sehr prozessorlastig sein. Durch optimierte Treiber für bestimmte Netzwerkkarten lassen sich Aufgaben wie z.B. das Paketfiltern besser verteilen bzw. auf speziellen Netzwerkkarten durchführen. Diese Netzwerkkarten stellen dann eine speziellen Synthese von Netzwerkkarte und Framegrabber dar. Der Einsatz dieser Karten geht natürlich auf Kosten der Standardisierung. I/O – Synchronisation: Triggerung und Synchronisierung sind wegen der nur begrenzt gültigen Echzeitfähigkeit von Gigabit-Ethernet besonders bei großen Netzausdehnungen schwierig. Die Kamerahersteller schaffen entsprechende Möglichkeiten an der Hardware oder durch spezielle Softwaretreiber. Dabei ist es nicht immer möglich, den Standard einzuhalten. Die Prozessanbindung ist durch zahlreich vorhandene und industrietaugliche Komponenten leicht möglich. Kapitel 2.6 Seite 112 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.2.4.1 Beispiel für eine GigE – Kamera, die DALSA Spyder3 Preise : DALS SG-10-01K40 2200,- EUR, DALS SG-10-01K80 2800,- EUR, DALS SG-10-02K40 2400,- EUR, DALS SG-10-02K80 3000,- EUR Abb. 2.6.2.10 GigE – Kamera DALSA Spyder3, Quelle: DALSA Europe, D-82194 Gröbenzell (Munich) und STEMMER IMAGING GmbH 82178 Puchheim Kapitel 2.6 Seite 113 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.3 Bildübertragung über herstellerspezifische (proprietäre) Schnittstellen Bei den standardisierten Schnittstellen ist es theoretisch möglich, Komponenten (Kamera, Grabber, Rechner, Software) verschiedener Hersteller zusammen zu nutzen. So ist es z.B. möglich, eine Sony Cameralink Kamera an einem Grabber der Fa. Coreco zu betreiben. Zur Programmierung kann eine Bibliothek von z.B. Matrox-Imaging verwendet werden. In der Praxis gibt es dabei leider manchmal Probleme. Durch unterschiedliche Realisierungsgrade (Vers.-Nr.) der Standards in den einzelnen Komponenten kann zu “Unverträglichkeiten“ kommen. Der Anwender muss sich dann unter Umständen in Zusammenarbeit mit mehreren Lieferanten um eine Lösung bemühen. Bildverarbeitungssysteme werden oftmals auch als Komplettsysteme angeboten. Dabei kommen alle Komponenten von einem Hersteller. Die Schnittstellen zur Bilddatenübertragung sind dabei meist nicht standardisiert. Der Anwender hat also bei den einzelnen Komponenten keine Auswahl. Dafür gibt es keine Kompatibilitätsproblem unter den Komponenten des Komplettsystems. Die Komplettsysteme sind in allen Preisklassen vertreten. Das typische System gibt es deshalb nicht. Kapitel 2.6 Seite 114 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.3.1 Beispiel für ein Bildverarbeitungssystem mit herstellerspezifischer Schnittstelle - der OMRON ZFV Abb. 2.6.3.1 GigE – Kamera DALSA Spyder3, Quelle: DALSA Europe, D-82194 Gröbenzell (Munich) und STEMMER IMAGING GmbH 82178 Puchheim Kapitel 2.6 Seite 115 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak - 90 FPS bei voller Auflösung -Auch als Farbsystem (ca. 2300 EUR) Kapitel 2.6 Seite 116 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.4 Intelligente Bildverarbeitungssysteme “smart sensor“ Bei den sog. intelligenten Bildverarbeitungssystemen sind Bilderfassungs- und Auswerteinheit in einem Gehäuse integriert. Diese Bildverarbeitungssysteme können die Bildauswertung ohne weiteren Rechner durchführen. Es sind meist Schnittstellen vorhanden, die die Kommunikation mit der Umwelt zulassen. Dies können Signalanschlüsse (24V), Feldbusschnittstellen aber auch Monitor bzw. Tastaturanschlüsse sein. Durch die Integration der Komponenten Bildwandlung (CCD,CMOS), Grabber und Prozessor lassen sich verschiedene Optimierungsziele erreichen. So lassen sich sowohl kostengünstige, “einfache“ Systeme für Standardanwendungen als auch hochleistungsfähige, freiprogrammierbare Systeme für komplexe “High-End-Anwendungen“ erstellen. Durch die Integration lassen sich industrietaugliche Systeme mit hohem Schutzgrad realisieren. Ein Problem bei intelligenten Systemen bereitet manchmal der integrierte Prozessor. Da auf die begrenzte Wärmekapazität (fanless) der integrierten Systeme Rücksicht genommen werden muss, können oftmals nicht die aktuell leistungsfähigsten Prozessoren, die i.d.R. eine hohe Verlustleistung haben, verwendet werden. Der Austausch (Upgrade) der Prozessoren ist oftmals nicht möglich, die Anpassung an wechselnde Prozessbedingungen (z.B. anderer Feldbus) schwierig. Als Rechensystem kommen oftmals speziell programmierte DSP (Digitaler Signalprozessor ) oder ASCIS (Anwendungsspezifische Integrierte Schaltung) zum Einsatz. Kapitel 2.6 Seite 117 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.4.1 Beispiel für ein Intelligentes Bildverarbeitungssystem - NANOview Abb. 2.6.4.1 Intelligente Zeilenkamera NANOview Kapitel 2.6 Seite 118 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Abb. 2.6.4.2 NANOview Architektur Kapitel 2.6 Seite 119 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.6.4.2 Beispiel für ein Intelligentes Bildverarbeitungssystem - DVT Vision Sensor Familie Auswahl von Kameras unterschiedlicher Leistungsklasse und Eigenschaften in nahezu identischen Gehäusen. Einheitliche Konfiguration bzw. Programmierung über Software Intellect und FrameWork. Abb. 2.6.4.3 DVT Vision Sensor Familie Kapitel 2.6 Seite 120 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak ca. 5500,- EUR Abb. 2.6.4.4 DVT Vision Sensor DVT 550MR Kapitel 2.6 Seite Abb. 2.6.4.5 DVT Software INTELLECT 121 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : http://www.firewire-infos.de/ /* Firewire */ http://www.baslerweb.com/indizes/download_index_de_57634.html /* Kameras, Technologie */ http://www.ids-imaging.de /* Kameras (USB,GigE), Grabber http://www.stemmer-imaging.de /* Kameras, Objektive, Grabber ...*/ http://www.rauscher.de/ /* Kameras, Objektive, Grabber bes. Matrox Imaging*/ http://www.dalsa.com/ /* Kameras */ http://www.omron-industrial.com/de_de/home/products/sensing/VisionSystems /* Bildverarbeitungssysteme */ http://www.cognex.com/ /* Bildverarbeitungssysteme, Onlinekurse */ http://www.ni.com/vision/d/ /* Hard- und Software, Ressource Kit !! */ http://www.theimagingsource.com/de/products/ /* Kamera, Grabber, White Paper */ Kapitel 2.4 Seite 122 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7 Bildauswertung Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung“. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.7 Seite 123 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1 Funktionen zur Bildauswertung Kapitel 2.7 Seite 124 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.1 Histogramm Bevor die Bildauswertung beginnt, ist es wichtig, die Bilderfassung zu optimieren. Wichtig ist ein guter Kontrast, also die Ausnutzung des gesamten Messbereichs (Helligkeitsstufen) und die Trennung von Bildhintergrund und auszuwertendem Merkmal. Um den Kontrast numerisch zu beschreiben, wird oftmals ein Histogramm berechnet und dargestellt. Beim Histogramm wird die Häufigkeit der einzelnen Graustufen dargestellt. Bild zu dunkel schlechter Kontrast sehr guter Kontrast Bild zu hell schlechter Kontrast Kapitel 2.7 Seite 125 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.2 Grauwertbereich spreizen Besonders bei der Visualisierung kann es sinnvoll sein, den Wertebereich des Bildes (Grauwerte) an die Möglichkeiten des darstellenden Gerätes anzupassen. Bei dem folgenden Beispiel aus der Medizin wird das Originalbild mit fast ausschließlich Informationen im GW- Bereich 0 ... 100 auf den Darstellungsbereich 0 ... 255 umgerechnet (gespreizt). Im gespreizten Bild lassen sich deutlich mehr Details erkennen. Solche Operationen lassen sich idealer weise hardwaretechnisch über eine LUT (Look-Up-Table) lösen. Kapitel 2.7 Seite 126 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.3 Binarisierung Bei der Binarisierung wird eine neue Zuordnung der Grauwerte vorgenommen. Grauwerte unter einem Schwellwert (Threshold) werden auf 0 (255) über dem Schwellwert auf 255 (0) gesetzt. Die Wahl des Schwellwert ist wesentlich für das erzielte Binärbild. So erhält man ein Bild mit zwei Grauwerten. Die Definition von z.B. Kanten für Messaufgaben ist dann einfach. Bei manchen Anwendungen ist es auch sinnvoll zwei Schwellwerte festzulegen. Mit steigendem Schwellwert (40 -> 80 -> 200) werden ‘dunklere‘ Objekte dem Grauwert 0 zugeordnet und werden ‘unsichtbar‘. Kapitel 2.7 Seite 127 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Zuordnung der Grauwerte bei der Binarisierung Eventuell auch in Hardware (LUT) realisierbar Kapitel 2.7 Seite 128 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.4 Filteroperationen Durch Filteroperation in der Bildvorverarbeitung ist es möglich, die Bildqualität zu verbessern. So ist es z.B. möglich, Rauschanteile zu minimieren oder Kanten hervorzuheben. Eine vollständige Aufzählung von möglichen Filteroperationen ist hier nicht möglich. An Beispielen soll ein Einblick gegeben werden. Verbesserung verrauschter (salt and pepper noise) Bilder durch Median- bzw. Mittelwertfilter Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Originalbild + Rauschen Nach Medianfilter Nach Mittelwertfilter Mittelwertfilter (box filter) : Jedes Pixel wird durch den Mittelwert seiner Nachbarpixel ersetzt. Die Größe der Nachbarschaft ist einstellbar (3*3,9*9 ...) Medianfilter : Rangordnungsfilter bei dem jedes Pixel durch den Median (geometrische Mittelwert einer geordneten Liste) seiner Nachbarpixel ersetzt wird (s. nächste Seite). Kapitel 2.7 Seite 129 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Durch die Filteroperation wir der Originalbildinhalt verändert (transformiert). In Abhängigkeit von der Applikation und der zur Verfügung stehenden Rechenzeit lassen sich Filter unterschiedlicher Güte realisieren. Kapitel 2.7 Seite 130 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kantenverstärkung durch Laplace - Transformation Bilder erstellt mit der AdOculos Student Version Fa. The Imaging Source Durch sog. Kantenverstärker wie z.B. den Laplace – Operator lassen sich Grauwertübergänge detektieren, markieren und somit hervorheben. Der Bildinhalt wird auf die Grauwertübergänge (Gradienten) verdichtet also komprimiert. Die Definition von Messaufgaben oder Aufgaben zur Objektfindung werden vereinfacht. Kapitel 2.7 Seite 131 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.5 Morphologische Operationen Die Morphologie ist die Lehre der Formen (nicht zu verwechseln mit morphen). Die Morphologische Bildverarbeitung wendet Methoden der Nachbarschaftsfindung an um Bilder zu manipulieren. Kapitel 2.7 Seite Quelle : Prof. Dr.-Ing. Heinz-Georg Fehn, Fachhochschule Münster 132 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.6 Linienprofile Linienprofile zeigen die Grauwerte entlang einer Linie (Gerade, Kreis, Kreisbogen ...). Die Grauwerte können auf ihre Intensität (Max-, Min- und Mittelwert) untersucht werden. Es können aber auch Merkmale z.B. Kanten gesucht werden um so Objekte zu finden und z.B. ihre Anzahl zu bestimmen. Hier im Beispiel werden die 2,5 mm Einteilungsstriche als Objekte detektiert. Kapitel 2.7 Seite 133 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.7 Blob Analyse Die Blobanalyse analysiert Bildbereiche, in denen benachbarte Pixel gleiche oder ähnliche Grauwerte aufweisen. So lassen sich Objekte finden, zählen und Objektmerkmale wie z.B. Fläche und Durchmesser der Objekte, Positionsangabe des Objektes, Schwerpunkt der Objekte, Umschreibendes Rechteck, Erstes und zweites Moment des Objekts und die Koordinaten der konvexen Hülle bestimmen. Durch Festlegung und Tolerierung der Parameter für z.B. “Ähnlichkeit“und “Nachbarschaft“ der Grauwerte kann ein Kompromiss aus Robustheit und Genauigkeit der Algorithmen gefunden werden. Der Begriff wurde in Anlehnung an den Begriff Binary Large Object aus der Datenbanktechnik gewählt. Im ersten Beispiel werden vier Blobs gefunden aber nur einer entspricht den Vorgaben (weiss markiert). Bei diesem Blob wird auch die Orientierung festgestellt und angezeigt. Im zweiten Beispiel wird eine Vollständigkeitskontrolle von Tabletten vorgenommen. Da eine Tablette nicht die vorgeschriebene Grösse / Form hat werden nur drei Blobs gefunden und somit die fehlerhafte Palette detektiert. Kapitel 2.7 Seite Quelle: DVT Corporation, SmartImage Sensor Installation & User Guide 134 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.8 Vermessung Bei der Vermessung von z.B. Abständen, Radien, Winkeln ist es entscheidend, dass die Parameter für die Messung optimal bestimmt werden. Da Messoperation oftmals an Kanten (Grauwertübergänge über einen Schwellwert) definiert werden, ist die Wahl des Schwellwerts mitbestimmend für die Genauigkeit der Messung. Für eine hohe Genauigkeit werden oftmals Subpixelverfahren (s.Kap. 2.5.5), Pixelclock und Telezentrische Objektive (s.Kap. 2.4.3) verwendet. Vermessung des Elektrodenabstands bei einer Zündkerze Quelle : National Instruments Image Analysis and Processing Tutorial Abhängigkeit des Messergebnis vom Schwellwert trotz Subpixelauflösung Kapitel 2.7 Seite 135 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.9 Lagebestimmung Oftmals ist es im Produktionsprozess nicht möglich, dem optischen Kontrollsystem die zu kontrollierenden Teile in der gleichen Lage zuzuführen. Dann muss vor der eigentlichen Kontrolle die Position des Teils festgestellt werden. Die einzelnen Kontrollaufgaben werden dann relativ zu der gefundenen Lage ausgeführt. Bestimmung der Lage durch Antasten und Finden von Kanten Quelle : National Instruments Image Analysis and Processing Tutorial Kapitel 2.7 Seite 136 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.10 Mustervergleich, Mustererkennung (Pattern Matching, Pattern Recognition)) Beim Mustervergleich werden Objekte mit definierten oder erlernten Mustern (Referenz) mit neuen Objekten verglichen (korreliert) und der Grad der Übereinstimmung festgestellt. Der Vergleich muss robust gegenüber verschiedenen Einflüssen wie z.B. Lagetoleranzen, Helligkeitsschwankungen ... sein. Bei einem Übereinstimmungsgrad von 100 % sind die Muster identisch, bei 0 % besteht keinerlei Ähnlichkeit. In der Praxis wird meist bei 60 ... 80 % eine Gleichheit angenommen. Wenn die Anforderungen höher sind (z.B. Unterscheidung sehr ähnlicher Muster) muss diese Prozentzahl höher gesetzt werden. Anwendung findet die Mustererkennung z.B. bei der Zeichenerkennung (OCR Optical character recognition) oder bei der Suche nach Strukturfehlern bei z.B. Stoffen, Papieren, Fußbodenbelägen) Auch das menschliche Bildverarbeitungssystem führt Mustervergleiche durch: Afugrnud enier Sduite an enier Elingshcen Unvirestiät ist es eagl, in wlehcer Rienhnelfoge die Bcuhtsbaen in eniem Wrot sethen, das enizg wcihitge dbaei ist, dsas der estre und lzete Bcuhtsbae am rcihgiten Paltz snid. Der Rset knan ttolaer Bölsdinn sien, und du knasnt es torztedm onhe Porbelme lseen.Das ghet dseahlb, wiel wir nchit Bcuhtsbae für Bcuhtsbae enizlen lseen, snodren Wröetr als Gnaezs. Kapitel 2.7 Seite 137 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.1.11 Farbbildverarbeitung Die Farbbildverarbeitung verwendet ähnliche (teilweise gleiche) Algorithmen wie die Grauwert- und Binärbildverarbeitung. Durch die Berücksichtigung der Farbanteile nimmt die Datenmenge und damit auch die benötigte Rechenleistung zu. Durch die Farbbildverarbeitung lassen sich jetzt auch Operationen an Objekten durchführen, die im Grauwertbild den gleichen Grauwert zeigen. s.S.-84- Detektion von Farbstreifen auf der Lauffläche von Autoreifen Prüfmerkmale: Anzahl der Farbstreifen Farben der Streifen Abstand der Streifen zueinander Positionierung des Streifenbildes auf der Lauffläche Quelle : Fachhochschule Bochum, FB M, Labor für Informatik (LFI) Kapitel 2.7 Seite 138 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Prüfung des Anschlusssteckers von Airbags Prüfung der Anschlusskabel an Kleinmotoren Prüfmerkmale: Prüfmerkmale: Korrekte Farbe der einzelnen Litzekombinationen im Gehäuse für bis zu 32 Farbzusammenstellungen Korrekte Steckergehäuse-Kombination gegenüber des gewählten Programmrezeptes Abisolierungslänge der einzelnen Litze Crimplänge der einzelnen Kontakte Präsenzkontrolle der Ferritkerne mit Dimensionsprüfung Stecker-Gehäuse Dimensionsprüfung als globale Plausibilitätsprüfung Präsenzkontrolle der (manuell montierten) Anschlussdrähte Korrekte Farbe der Anschlussdrähte • Kontrolle erfordert Robustheit gegenüber Positioniertoleranz und Farbabweichungen • Besondere Schwierigkeit : schwarzes Kabel vor dunklem Hintergrund Beispiele für den Einsatz von Farbbildverarbeitung Quelle : Matsushita Electric Works Deutschland GmbH Applikationsbeispiele für die Farbbildverarbeitungssysteme AX30 und AX40 Kapitel 2.7 Seite 139 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.7.2 Erstellung von Software zur Technischen Bildverarbeitung Bei der Technischen Bildverarbeitung müssen folgende Aufgabenstellungen softwaregesteuert gelöst werden Parametrierung der Bilderfassung Die softwaregesteuerte Parametrierung (Belichtungszeit, Verstärkung ...) erfolgt meist über eine Schnittstelle, die der jeweilige Hersteller offen legt oder für die er Treiber mitliefert. Bildeinzug Verfügt die Kamera über keine standardisierte Schnittstelle (z.B. DCAM, GigE ...) wird die Bildübertragung vom Sensor zur Recheneinheit meist mit Treibern realisiert, die der Hersteller der Kameras mitliefert. Bei der Programmierung wird dieser Treiber als Schnittstelle genutzt. Es können teilweise auch Schnittstellen des Betriebssystems (Direct X, Direct Show) verwendet werden. Bildvorverarbeitung Zur Verbesserung der Bildqualität können Operationen wie z.B. die Filterung der Bilddaten (s. 2.7.1.4 Filteroperationen) ausgeführt werden. Diese Operationen können selbst programmiert werden (z.B: in C++) oder man greift auf sog. Bibliotheken zurück. Bildverarbeitung Zur Verarbeitung der Bilddaten können Algorithmen programmiert werden oder es werden bei (Standard-) Aufgabenstellungen Bibliotheken genutzt. Prozesskommunikation Für einen prozessgerechten Einsatz der Technischen Bildverarbeitung muss das optische System mit dem Prozess kommunizieren. Die Auslösung einer Aufnahme (Triggerung) und die Reaktion auf die Bildauswertung (Aussortieren, Markieren ...) kann nur in Abstimmung mit dem Prozess erfolgen. Die Kommunikation kann über diverse Schnittstellen erfolgen (z.B. Schaltsignale, Feldbusschnittstelle). Dazu müssen in der Bildverarbeitungssoftware meist weitere Treiber integriert werden. Mensch-Maschine-Kommunikation (HMI Human Machine Interface) In einem Pflichtenheft für ein Technisches Bildverarbeitungssystem steht oftmals die Anforderung an eine prozessgerechte Mensch-MaschineSchnittstelle. Die Ausprägung dieser Schnittstelle ist prozessabhängig und kann von Einstellmöglichkeiten des Systems, Wechsel von Kontrollprogrammen bis zur optischen Darstellung von Statistiken reichen. Die Programmierung wir i.d.R. applikationsspezifisch erfolgen. Die hier dargestellte Aufgabenteilung entfällt oftmals bei der Verwendung von Komplettsystemen eines Herstellers. Diese Systeme lassen sich oftmals nur über eine herstellerspezifische Software konfigurieren. Kapitel 2.7 Seite 140 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Die Erstellung von Software für die Technischen Bildverarbeitung ist in höheren Programmiersprachen möglich. Meist wird in diesem Bereich die Programmiersprache C++ verwendet. Die Funktionen können komplett programmiert werden oder es können Funktionen aus zugekauften Bibliotheken eingebunden werden (die natürlich auch einmal programmiert wurden) . Genauso ist es möglich komplette Anwendungen (runtimes) aus Bibliotheken aufzubauen. Im folgenden werden die Vor- und Nachteile dieser Verfahren gegenüber gestellt. Verwendung von in Hochsprache programmierter Funktionen Verwendung von Bibliotheksfunktionen + Individuell und applikationsspezifisch + Umfang entspr. spezieller Anforderung + Voller Zugriff auf alle Funktionen (editieren, anpassen, korrigieren) + Routinen können abgerufen werden + Kaum Fehler da bewährte Funktionen + Dokumentation wir mitgeliefert -Programmierung zeitaufwändig und kostenintensiv -Fehlerfreiheit der Routinen evtl. erst nach mehreren Iterationen bei der Entwicklung -Kosten für Entwicklung (Development) und Laufzeit (Runtime) -Installation bzw. Integration der kompletten Bibliothek obwohl nur Teile gebraucht werden - Abhängigkeit vom Hersteller (Entwickler) der Bibliothek Diese Gegenüberstellung ist sehr verallgemeinert. Die Gewichtung der einzelnen Punkte ist von verschiedenen Einflussgrößen und Vorgaben wie z.B. Anforderung an die Applikation, Zeitraum für die Entwicklung, Qualität der Programmierer, verwendete Bibliothek abhängig. Es ist eine große Anzahl von Bibliotheken erhältlich. Diese unterscheiden sich hinsichtlich des Funktionsumfangs, der Integration und des Preises. Kapitel 2.7 Seite 141 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Die Kosten für die Erstellung einer Bildverarbeitungsapplikation setzen sich aus mehreren Punkten zusammen. Oftmals unterschätzt werden die sog. Nebenkosten (Handhabung, Schulung, Integration ...) Kapitel 2.7 Seite 142 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : - http://www.theimagingsource.com/de/products/software/windows_apps/adoculos/overview/ - http://www.ni.com/vision/d/ /* kostenlose Software */ /* Hard- und Software, Ressource Kit !! */ - http://de.wikipedia.org/wiki/Bildverarbeitung - http://www.matrox.com/imaging/de/produkte/home.cfm - http://www.mvtec.de/products/ /* Software der Fa. Matrox Imaging */ /*Software der Fa. MVTec Software GmbH */ - http://www.stemmer-imaging.de/pages/products/sections.php?view=428&item=60&menu=4-8 /* Software CVB Common Vision Blox */ Kapitel 2.7 Seite 143 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.8 Mechanische Komponenten für die Technische Bildverarbeitung Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2 Seite 144 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Neben der Elektronik und der Informatik ist die Mechanik eine wichtige Komponente eines Technischen Bildverarbeitungssystems. Mechanische Komponenten werden gebraucht um die anderen Komponenten z.B. zu schützen, auszurichten und zu justieren. Dabei sind die unterschiedlichen Anforderungen (leicht zu justieren , aber stabil befestigt) oftmals schwer zu vereinbaren. Dazu kommt eine nahezu unendliche Anzahl an unterschiedlichen Komponenten und die unterschiedlichen Applikationen. Für die mechanischen Komponenten werden deshalb meist ‚individuelle‘ Lösungen gesucht oder es wird auf einen Systembaukasten zurückgegriffen. Komponenten des Systembaukasten der Fa. autoVimation Peter Neuhaus Kapitel 2.8 Seite Quelle: Fa. autoVimation Peter Neuhaus 145 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Quelle: Fa. autoVimation Peter Neuhaus Kapitel 2.8 Seite 146 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : - autoVimation Peter Neuhaus /* Systembaukasten */ - Maschinenbau Kitz GmbH /* Alu-Profile */ - RK Rose+Krieger GmbH /* Rohrverbindungssysteme, mechanische Komponenten */ Kapitel 2.8 Seite 147 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.9 Bildverarbeitungsapplikationen Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.9 Seite 148 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 149 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 150 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 151 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 - Vollautomatischer Türanbau - Kameras generieren Korrekturdaten für Roboter Kapitel 2.9 Seite 152 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 A A: Verschraublöcher B: Smart Kameras LSIS 400i B Kapitel 2.9 Seite 153 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Smart Kameras bei der automatisierten Türenmontage im Karosseriebau des neuen Audi A3 Kapitel 2.9 Seite 154 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kontrolle des Thermodrucks und des Dichteinsatzes von Deckeln für Bremsflüssigkeitsbehälter Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 155 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Muster- und Lageerkennung von ‚eingebrannter‘ Folie 1. Vergleich des Folienmusters mit Vorgabe durch Produktionssystem 2. Kontrolle der korrekten Lage der Folie Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 156 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Optische Inspektion von Flügelzellenpumpen für Servolenkungen 1. Vollständigkeitskontrolle der (12) Drehschieber 2. Kontrolle der Lage der Drehschieber Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 157 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Optische Inspektion von Flügelzellenpumpen für Servolenkungen Drehschieber falsch eingesetzt (Kontur abgerundet) Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 158 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Querlenkerkontrolle 1. Typerkennung über Dimensionsbestimmung 2. Verifikation von Bar- bzw. Zahlencode Omron ELECTRONICS GmbH, Deutschland Kapitel 2.9 Seite 159 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Prüfung von Steckverbinder für PKW Prüfung auf Vorhandensein von Steckerkomponenten Kapitel 2.9 Seite Omron ELECTRONICS GmbH, Deutschland 160 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Prüfung von Steckverbinder für PKW Prüflinge mit fehlenden oder falsch montierten Komponenten Omron ELECTRONICS GmbH, Deutschland Kapitel 2.10 Seite 161 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 162 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 163 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.9 Seite 164 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Entwicklung eines technischen Bildverarbeitungssystems zur Bündelkontrolle Prof. Dr.-Ing. Reiner Dudziak und Dipl.-Ing. Dirk Mohr Fachbereich Mechatronik und Maschinenbau BV in der Schneideanlage Farbbildverarbeitung Kapitel 2.9 Seite 165 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : imess GmbH Leuze electronic GmbH + Co. KG Omron ELECTRONICS GmbH, Deutschland ThyssenKrupp Steel Europe Hochschule Bochum, Labor für Informatik, Industrieprojekte Kapitel 2.9 Seite 166 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.10 Die Deutsche Bildverarbeitungstechnologie als Branche Dieses Skript ist eine Ergänzung zu der Vorlesung “Technische Bildverarbeitung / Machine Vision “. Es ist kein Lehrbuch. Dieses Skript darf ausschließlich als begleitendes Lehrmittel für die Vorlesung genutzt werden. Andere Nutzungen sind mit den Verfassern abzuklären. Vervielfältigung, Übersetzungen, Mikroverfilmung und die Einspeicherung und Bearbeitung in elektronischen Systemen (auch auszugsweise) ist nur nach Rücksprache und mit Erlaubnis der Verfasser zulässig. In diesem Skript werden Produkte einzelner Firmen als Beispiel verwendet. Die Auswahl dieser Produkte stellt keine Bewertung dar, sondern erfolgte ausschließlich nach didaktischen Gesichtspunkten. Die angegebenen Preise sind als Orientierungshinweis zu sehen. Bei Fragen, Kritik, Verbesserungsvorschlägen : Dipl.-Ing. Dirk Mohr Raum C2 – 05 Tel.: 0234 – 3210454 email: [email protected] Bochum, den 12.09.2013 Kapitel 2.10 Seite 167 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak 2.8 Die Deutsche Bildverarbeitungstechnologie als Branche Die folgenden Diagramme sind der Präsentation “Industrielle Bildverarbeitung weiter auf hohem Niveau“ von Dr. Olaf Munkelt, MVTec Software GmbH, Vorstandsvorsitzender VDMA Industrielle Bildverarbeitung“ entnommen. Diese Präsentation wurde beim VISION Presselunch am 6.11.2012 in Stuttgart vorgestellt. Kapitel 2.10 Seite 168 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.10 Seite 169 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Kapitel 2.10 Seite 170 Skript zur Vorlesung Technische Bildverarbeitung / Machine Vision Prof. Dr.-Ing. Reiner Dudziak Weitere Informationen finden Sie hier : http://www.vdma.org/wps/portal/Home/de/Branchen/I/IBV?WCM_GLOBAL_CONTEXT=/wps/wcm/connect/Home/de/Branchen/I/IBV /* VDMA Branche Industrielle Bildverarbeitung */ Kapitel 2.10 Seite 171