Kreative Beleuchtungstechniken ermöglichen rechnergestützte Bildgebung

Bildquelle: Smart Vision Lights

Das Konzept der computergestützten Bildgebung mag für viele neu sein, aber der Wert dieser bereits einigermaßen ausgereiften Technologie ist weitreichend. Anwendungen mit Multi-Image- und Multi-Light-Imaging-Eingabe mit berechneten Ausgabebildern auf der Grundlage von Algorithmen haben sich weit über den ursprünglichen Bereich der Forschung und Entwicklung hinaus ausgeweitet. Diese Technologie hat Eingang in die industrielle automatisierte Inspektion gefunden, wo sich der kreative Einsatz von Beleuchtungskomponenten als Basistechnologie für wertvolle Bildgebungsmöglichkeiten herausgestellt hat.

Im Großen und Ganzen kann der Begriff „Computergestützte Bildgebung“ auf verschiedene Techniken angewendet werden, die Algorithmen verwenden, um aus mehr als einer einzelnen optischen Erfassung ein einzelnes Bild zu erstellen. Die Forschung zur computergestützten Bildgebung umfasst linsenlose, Einzelpixel- und sogar Flachkameras. Bildverarbeitungsimplementierungen von Computational Imaging sind viel ausgereifter und Komponenten und Software für bestimmte Anwendungsbereiche einfacher zu verwenden als je zuvor. In zwei häufigen Anwendungsfällen tragen Beleuchtungsgeräte und Steuerungen zu wichtigen Bildgebungsfunktionen bei. Diese Anwendungsfälle sind fotometrische Stereobilder (oder Shape-from-Shading-Bilder), die zur Hervorhebung geometrischer Merkmale verwendet werden, und hochauflösende Farbbilder.

Die photometrische Stereobildgebung ist eng mit der 3D-Bildgebung verbunden. Obwohl es sich nicht um eine direkte physische 3D-Darstellung einer Szene handelt, stellt ein fotometrisches Stereobild die geometrische Form von Merkmalen im Bild dar, und die Bildgebung lässt sich viel einfacher implementieren. Typischerweise wird eine einzige Kamera verwendet und mehrere Beleuchtungsquellen für mehrere Bilder werden in einer Software kombiniert, die von vielen Bildverarbeitungskomponenten und Softwarebibliotheken leicht verfügbar ist und von diesen unterstützt wird.

Grundsätzlich nutzt photometrisches Stereo in der computergestützten Bildgebung für die maschinelle Bildverarbeitung die Beleuchtung aus mehreren Winkeln, um Merkmale zu extrahieren, deren Höhe von der der umgebenden Oberflächen abweicht. Bei einer Einzelbildaufnahme erscheinen die Merkmale im Vergleich zur nahegelegenen Oberfläche hell. Diese Beleuchtungstechnik wird häufig in der maschinellen Bildverarbeitung eingesetzt, um Oberflächenmerkmale und -fehler effektiv zu erkennen. Wenn jedoch eine Reihe von Bildern mit Beleuchtung aus unterschiedlichen Winkeln aufgenommen wird (Abbildung 1), können die resultierenden Bilder mithilfe eines Shape-from-Shading-Algorithmus kombiniert werden, um eine unkalibrierte 3D-Bilddarstellung der relativen Höhe von Merkmalen zu erhalten.

Abbildung 1: Photometrisches Stereo in der rechnergestützten Bildgebung für die maschinelle Bildverarbeitung nutzt Mehrwinkelbeleuchtung, um Merkmale zu extrahieren, deren Höhe von der der umgebenden Oberflächen abweicht. | Bildquelle: Smart Vision Lights

Im Gegensatz zu komplexeren 3D-Bildgebungssystemen ist das resultierende fotometrische Stereobild häufig ein Krümmungsbild und kein reines Höhen- oder Tiefenbild. Die Bilddaten erstellen eine Graustufendarstellung der Oberflächengeometrie diskreter Merkmale mit lokalisierter Höhenvariation. Diejenigen, die in der Höhe oder Tiefe weiter von den umgebenden Oberflächen entfernt sind, haben einen höheren Graustufenpixelwert. Zusätzlich zur Verarbeitung von Krümmungsbildern können erweiterte Bildverarbeitungsbibliotheken Richtungsbilder mithilfe anderer Algorithmen verarbeiten (Abbildung 2). Zu den Filtern gehören Textur, Mittelwert, lokale Form, lokaler Kontrast, Gauß und Albedo. Jeder Filter hebt unterschiedliche Oberflächeneigenschaften hervor, und Benutzer können diejenige auswählen, die für ihre spezielle Anwendung am besten geeignet ist.

Figur 2: Die Ausgabe der fotometrischen Stereobildgebung variiert je nach Wahl des Verarbeitungsalgorithmus. Dieselben gerichteten Eingabedaten werden mit den Algorithmen „mittlere Krümmung“ (oben links), „lokaler Kontrast“ (oben rechts), „Textur“ (unten links) und „Gaußsche Krümmung“ (unten rechts) des Matrox Design Assistant angezeigt. Weitere Algorithmen umfassen Albedo und lokale Form. Die richtige Wahl hängt vom abgebildeten Objekt und der Art des erkannten Merkmals ab. | Bildquelle: Smart Vision Lights

Der breite Einsatzbereich der fotometrischen Stereobildgebung besteht darin, Merkmale in einem Bild hervorzuheben, bei denen dem Objekt oder der Szene Graustufeninhalte fehlen, einzelne Merkmale jedoch geometrische Abweichungen relativ zur Oberfläche aufweisen. Ein Beispiel ist die Abbildung von Reifen zur Identifizierung anhand von Seitenwandgrafiken und -zeichen. Mit den durch die Mehrbilddarstellung bereitgestellten Informationen kann das Graustufenbild mit typischen Bildverarbeitungstools verarbeitet werden, um Inspektionsaufgaben wie Fehlererkennung, OCR/OCV und Messung durchzuführen. Auch Oberflächen mit geprägten oder geprägten Codes oder Zeichen eignen sich gut für die fotometrische Stereobildgebung. Ebenso können viele Produkte und Komponenten mit kontrastarmen Merkmalen, aber geometrischer Struktur von dieser Bildgebungstechnik profitieren (Abbildung 3).

Figur 3: Direkter Vergleich einer Golfballinspektion mit einem Standardfarbbild (links) und einem fotometrischen Stereobild (rechts). Ein Riss, der inmitten des Glanzes der Oberflächenstruktur und der spiegelnden Glanzlichter des visuellen Bildes kaum erkennbar ist, ist im fotometrischen Stereobild leicht erkennbar. Die berechnete Oberfläche im fotometrischen Stereobild entfernt visuelles Rauschen, das das Farbbild erschwert, behält aber für die Inspektion wichtige Oberflächendetails bei | Bildquelle: Smart Vision Lights

Die fotometrische Stereobildgebung ist in hohem Maße auf Software und Algorithmen angewiesen, mit denen unterschiedliche Ansichten eines Objekts kombiniert und verarbeitet werden. Die Implementierung dieser Mehrbild-Rechentechnik beginnt mit Beleuchtungskomponenten. Normalerweise werden mit einer einzelnen Kamera, die im Allgemeinen über einem Objekt zentriert ist, vier separate Bilder erfasst. Jede hat eine Beleuchtung in einem anderen Taktwinkel um das Sichtfeld herum – am häufigsten bei 0, 90, 180 und 270 Grad (oder informeller ausgedrückt, auf den vier Seiten des rechteckigen oder quadratischen Sichtfelds der Kamera). Der Beleuchtungswinkel jedes Lichts definiert die Merkmale, die hervorgehoben werden.

Beleuchtungskomponenten werden auf der Grundlage des erforderlichen Sichtfelds ausgewählt, und verschiedene Anwendungen können mehrere einzelne Lichter oder nur eine einzige Lichtquelle mit mehreren steuerbaren Beleuchtungswinkeln verwenden – zum Beispiel ein Ringlicht mit mehreren individuell gesteuerten Segmenten oder Zonen (Abbildung 4). Für jedes aufgenommene Bild wird ein anderes Licht (oder eine andere Beleuchtungszone) verwendet. Die Sequenzierung für die Mehrbildaufnahme lässt sich einfach mithilfe eines Beleuchtungscontrollers implementieren, der mit den Lichtern, der Kamera und der Aufnahmesoftware kommuniziert.

Figur 4: Eine programmierbare LED-Sequenzsteuerung (links) und ein Mehrzonen-Beleuchtungsset (rechts). Diese Plug-and-Play-Lösungen sind einfach zu implementieren, funktionieren mit gängiger Hardware und Software und machen Computational Imaging für alle Benutzerebenen zugänglich. | Bildquelle: Smart Vision Lights

Ein weiteres Beispiel für die Kombination von Beleuchtung mit computergestützter Bildgebung ist die Erfassung hochauflösender Farbbilder. Bei einer Einzelsensorkamera werden Farbbilder erzeugt, indem über jedem einzelnen Pixel ein roter, grüner oder blauer Breitbandpassfilter hergestellt wird. Bei den meisten RGB-Bildern wird diese Technik aufgrund der Anordnung der Filter auf den Pixeln als Bayer-Filterung bezeichnet. Da jedes Pixel nur eine von drei Farben hat, muss das endgültige Vollfarbbild aus benachbarten Pixeln in einem Prozess namens De-Bayering (oder De-Mosaicking) rekonstruiert werden. Durch diese Pixelkombination wird die effektive räumliche Auflösung des resultierenden Bildes im Vergleich zur tatsächlichen Auflösung des Sensors deutlich reduziert. Eine effektive und einfache Lösung für den Auflösungsverlust ist die Implementierung computergestützter Bildgebung mit multispektraler Beleuchtung.

Eine Beleuchtungskomponente, die das Sichtfeld mit mehreren Farben (oder multispektral) beleuchten kann, kann die Breitbandfilterung einer Farbkamera auf einer Graustufenkamera nachahmen, die nicht über Filter auf Pixelebene verfügt. Bei dieser Implementierung der rechnergestützten Bildgebung werden die mehreren erfassten Bilder mit der Beleuchtung eines Teils mithilfe von drei Farben mit großer Wellenlänge verknüpft: Rot, Grün und Blau. Wie bei photometrischem Stereo kann ein geeigneter Beleuchtungscontroller verwendet werden, um die Aufnahme weiter zu vereinfachen. Die resultierenden Bilder enthalten Darstellungen der roten, grünen und blauen Inhalte der Szene in voller Auflösung. In der Software werden die drei Bilder einfach zu einem mehrkanaligen Farbbild mit einer Struktur kombiniert, die für die jeweilige Anwendung erforderlich ist (Abbildung 5).

Abbildung 5: Drei von einer Monochromkamera aufgenommene Bilder, die jeweils mit rotem, grünem oder blauem Licht geblitzt werden, werden zu einem Vollfarbbild kombiniert, das im Vergleich zu einem Bayer-Farbbild, das durch den Farbinterpolationsprozess an Auflösung verliert, die Auflösung beibehält. | Bildquelle: Smart Vision Lights

In einigen Fällen kann nicht nur die räumliche Auflösung, sondern auch die Farbtreue gegenüber einer einfachen Bayer-Filterung verbessert werden. Die Konsistenz der Beleuchtungsquelle kann zu einem Maß an Zuverlässigkeit und Farbwiedergabe führen, das in einigen Anwendungen die Möglichkeiten der On-Sensor-Filterung übertreffen könnte. Diese rechnergestützte Bildgebungstechnik bietet Benutzern die Vorteile der Farbbildgebung ohne den Auflösungsverlust, der mit Bayer-Farbkameras und On-Chip-Farbfiltern verbunden ist.

Computergestützte Bildgebung kann nicht nur für stationäre Teile oder Objekte problemlos in Anwendungen eingesetzt werden, in denen Teile (oder sogar Bildgebungskomponenten) in Bewegung sind. Die Technik erfordert eine sorgfältige Spezifikation und in einigen Fällen eine zusätzliche Verarbeitung. Wie bei allen Bildgebungsanwendungen mit beweglichen Teilen sind zur Minimierung von Bewegungsunschärfe die wichtigsten zu berücksichtigenden Messgrößen die Bewegungsgeschwindigkeit und die Belichtungsdauer (oder Blitzdauer) jedes Bildes. Bei der photometrischen Stereobildgebung müssen auch die Geschwindigkeit der Mehrfachbildaufnahme und das Ausmaß der Bewegung des Teils im Sichtfeld über die Gesamtaufnahmezeit berücksichtigt werden.

Wenn sich das Teil langsam genug bewegt und die Bildrate hoch genug ist, können die mehreren erhaltenen Bilder im Hinblick auf die Bewegung des Teils ausreichend nahe beieinander liegen, um ein geeignetes kombiniertes Bild zu liefern. Durch den Aufstieg kostengünstiger Hochgeschwindigkeits-CMOS-Imager ist dieser Prozess einfacher denn je. Wenn die Bewegung innerhalb der Szene zu groß ist, verwenden Sie einfach eine schnellere CMOS-Kamera.

Wenn sich das Teil zu stark von Bild zu Bild bewegt und eine schnellere Kamera keine Option ist, kann es erforderlich sein, Bilder vorzuverarbeiten, um sie digital auszurichten. Dazu gehört der Vergleich geeigneter Merkmale auf jedem Bild mit dem ersten aufgenommenen Bild und die anschließende Anwendung geeigneter Übersetzungen, um diese Merkmale für die anschließende Mehrbildberechnung abzugleichen (Abbildung 6).

Abbildung 6: Beim Vergrößern der letzten paar Zeilen des farbigen Textes wird deutlich, dass die Auflösung der Farbkamera auf Pixelebene abnimmt und die Auflösung und Farbprüfung verloren geht. Die Farbe der computergestützten Bildgebung bleibt erhalten, die Auflösung bleibt stabil und der gleichmäßige Hintergrund resultiert aus der höheren Empfindlichkeit und dem geringeren Rauschen der Monochromkamera. | Bildquelle: Smart Vision Lights

Softwaretools können ein Objekt über mehrere erfasste Bilder hinweg pixelgenau neu ausrichten und sogar Rotationsabweichungen korrigieren. Standardwerkzeuge in den meisten Bildverarbeitungsbibliotheken können Bewegungen korrigieren, um diese rechnergestützten Bildgebungstechniken nützlich zu machen, selbst wenn ein Teil bei der Erfassung der Sequenz nicht stillsteht oder registriert wird.

Eine andere Technik besteht darin, die Bewegung eines Teils zwischen den einzelnen Bildern extern zu verfolgen (z. B. auf einem Förderband) und dann direkt eine Transformation basierend auf dem bekannten Ausmaß des physischen Versatzes der Bilder anzuwenden. In allen Fällen ist es natürlich zwingend erforderlich, dass das Teil während der Bildaufnahme im Sichtfeld der Kamera bleibt. Dieses Verfahren eignet sich besonders gut für Objekte, die sich auf einem codierten Förderband bewegen, und für Bilder, die mit Zeilenkameras aufgenommen wurden.

Auch wenn es sich um eine komplexere Lösung handelt, kann die computergestützte Bildgebung tatsächlich bestimmte Probleme vereinfachen, die mit der herkömmlichen visuellen Bildgebung nur schwer zu lösen sind. Computergestützte Bildgebung, insbesondere wie sie durch heutige Beleuchtungskomponenten und -steuerungen ermöglicht wird, ist zu einer einfach zu implementierenden und wertvollen Bildgebungstechnik geworden, die für eine Vielzahl von Bildverarbeitungsanwendungen leicht zugänglich ist.

Steve Kinney , Direktor für Schulung, Compliance und technische Lösungen, Smart Vision Lights. Weitere Informationen finden Sie unter www.SmartVisionLights.com.