Intelligente IoT-Anwendungen dank Embedded Vision

IoT-Sensoren, wie z.B. eine Kamera, sind in der Regel nur mit sehr geringer Bandbreite an die Cloud angebunden. Daher würde die Übertragung der großen Bilddatenmenge nur langsam von statten gehen. Ein Lösungsansatz besteht darin, die Analyse der Bilddaten am Ort des Kamera-Sensors selbst, „on the Edge“ (Processing on the Edge), durchzuführen und dann nur noch die ausgewerteten Daten in die Cloud zu übertragen. Hierfür ist eine Anbindung mit sehr niedriger Bandbreite völlig ausreichend. Entsprechend schnell kann die Übertragung in die Cloud erfolgen und auf ein Ereignis reagiert werden.

Mehr über unsere Embedded Vision Lösungen Laden Sie jetzt den vollständigen Use Case herunter

Die Basis dieser Live-Demo bildet das preisgekrönte Basler Embedded Vision Kit. Dieses besteht aus

• einem dart BCON für MIPI Kameramodul von Basler,
• einem 96 Boards™ kompatiblen Processing Board mit Qualcomm® Snapdragon™ SoC und
• einem 96 Boards™ kompatiblen Mezzanine Board zum direkten Anschluss des Kameramoduls an das Processing Board.

Dank dieser Lösung können die vom Kameramodul mit hoher Bildrate eingezogenen Bilddaten direkt auf dem Processing Board verarbeitet werden.

Entdecken Sie das Embedded Vision Portfolio

Ziel der Live-Demo ist die Klassifikation unterschiedlicher Lego-Figuren (Handwerker, Astronaut, Koch, usw.) bzw. unterschiedlicher Verkehrszeichen vornehmen zu können. Diese Aufgabe übernehmen Neuronale Netze, genauer gesagt Convolutional Neural Networks (CNNs).

Basler hat zunächst zwei verschiedene CNNs trainiert, eines für die Klassifikation von Lego-Figuren, ein anderes für die Klassifikation von Verkehrszeichen. Die trainierten CNNs sind mit einigen Megabyte nicht sehr groß und können auch über eine Anbindung an die Cloud mit niedriger Bandbreite in akzeptabler Zeit von der Cloud auf das Edge Device übertragen werden. Nach der Übertragung des Lego-Figuren-CNNs konnte das Edge Device die Figuren zuverlässig klassifizieren und das Ergebnis mit geringen Bandbreitenanforderungen und geringer Latenz an die Cloud melden. Um das Edge Device auf die Klassifikation von Verkehrszeichen „umzurüsten“, musste nur das entsprechende Verkehrszeichen-CNN von der Cloud aus übertragen werden, so dass der smarte Sensor dann in der Lage war, zuverlässig unterschiedliche Verkehrszeichen zu erkennen.

Zur Software für Embedded Vision

• geringe Bandbreitenanforderungen der Anbindung des Sensors an die Cloud
• geringe Latenz bei der Reaktion einer Cloud-Anwendung auf ein Sensorereignis
• ideale Möglichkeit der gleichzeitigen „Fernwartung“ vieler Sensoren OTA (Konfiguration des Sensors, Firmware Update oder z.B. Hochladen eines neuen CNNs für eine neue Klassifikationsaufgabe)