Soluzioni di visione integrate come sensori intelligenti per applicazioni IoT
La nostra demo dal vivo mostra come una soluzione di visione integrata possa essere utilizzata come sensore efficiente e intelligente per la classificazione dei dati delle immagini. Leggi di più a riguardo.
Come funzionano le applicazioni IoT intelligenti
I sensori IoT, come una telecamera, sono solitamente connessi al cloud solo con una larghezza di banda molto bassa. Pertanto, la trasmissione della grande quantità di dati di immagine sarebbe lenta. Un approccio risolutivo consiste nell'eseguire l'analisi dei dati dell'immagine nella posizione del sensore della fotocamera stessa, "sul bordo" (Processing on the Edge), e quindi trasferire solo i dati valutati nel cloud. Una connessione con una larghezza di banda molto bassa è del tutto sufficiente per questo scopo. Di conseguenza, il trasferimento al cloud può essere effettuato molto rapidamente e la telecamera può reagire a un incidente.
Passaggio 1: trovare l'hardware giusto per il sistema di visione integrato
Questa demo dal vivo si basa sul pluripremiato kit di visione integrato Basler. Questo kit è composto da
un dart BCON per il modulo fotocamera MIPI di Basler
una scheda di elaborazione compatibile con 96 schede™ con SoC Qualcomm® Snapdragon™ e
una scheda mezzanino compatibile con 96 schede™ per collegare direttamente il modulo telecamera alla scheda di elaborazione
Questa soluzione consente di elaborare i dati delle immagini acquisiti dal modulo telecamera a frame rate elevati direttamente sulla scheda di elaborazione.
Scopri il portafoglio di visione integrataPassaggio 2: Addestrare le reti neurali per la classificazione
L'obiettivo della demo dal vivo è quello di essere in grado di classificare diverse figure Lego (artigiano, astronauta, cuoco, ecc.) o diversi segnali stradali. Questo compito è svolto dalle reti neurali, più precisamente dalle reti neurali convoluzionali (CNN).
Basler ha inizialmente addestrato due diverse CNN, una per la classificazione delle figure Lego, l'altra per la classificazione dei segnali stradali. Le CNN addestrate non sono molto grandi con solo pochi megabyte e possono essere trasferite dal cloud al dispositivo edge in un lasso di tempo accettabile tramite una connessione a bassa larghezza di banda. Dopo aver trasferito la figura Lego CNN, l'Edge Device è stato in grado di classificare in modo affidabile le cifre e riportare il risultato al cloud con bassi requisiti di larghezza di banda e bassa latenza. Per "riorganizzare" l'Edge Device per classificare i segnali stradali, è stato necessario trasmettere dal cloud solo la CNN del segnale stradale corrispondente, in modo che il sensore intelligente fosse in grado di rilevare in modo affidabile diversi segnali stradali.
Vai al software per la visione integrata
I vantaggi della soluzione di visione integrata in sintesi
Bassi requisiti di larghezza di banda per il collegamento del sensore al cloud
bassa latenza nella reazione di un'applicazione cloud a un evento del sensore
opportunità ideale per la "manutenzione remota" simultanea di più sensori OTA (configurazione del sensore, aggiornamento del firmware o, ad esempio, caricamento di una nuova CNN per una nuova attività di classificazione)