pylon AI: Bildanalyse-Funktionen erstellen

Inhalt

1. 
   Ein neues Projekt erstellen
   

2. 
   Bilddatensatz und KI-Modell hochladen und mappen
   

3. 
   KI-Modell im Testlauf optimieren
   

4. 
   Release und Download
   

5. 
   KI-Modell ins pylon AI vTool laden
   

Voraussetzungen

Um mit pylon AI loszulegen, benötigen Sie einen Zugang auf der pylon AI Plattform, sowie die pylon Software Suite und das pylon AI Supplementary Package heruntergeladen und installiert.

1. Ein neues Projekt erstellen

Zu Beginn erstellen Sie ein Projekt, in welches im nächsten Schritt die Bilddaten und das KI-Modell geladen werden. Wählen Sie dafür die gewünschte Bildanalyse-Funktion aus.

1. Klicken Sie am linken Rand auf die Rubrik My Projects und anschließend oben auf die Schaltfläche Create new project.

2. Wählen Sie unter Project type die Bildanalyse-Funktion (verkörpert durch ein pylon AI vTool) aus.

3. Vergeben Sie unter Project name einen Projektnamen.

4. Geben Sie optional unter Project description eine Projektbeschreibung ein.

5. Klicken Sie unten auf die Schaltfläche Create new project.

Das neue Projekt erscheint nun in der Rubrik My Projects.

2. Bilddatensatz und KI-Modell hochladen und mappen

Der folgende Abschnitt beschreibt, wie Sie Ihren eigenen Datensatz aus annotierten Beispielbildern sowie Ihr eigenes KI-Modell in die Plattform laden und über Projektklassen einander zuordnen (mappen).

2a Bilddatensatz hochladen

1. Öffnen Sie in der Rubrik My Projects Ihr bereits erstelltes Projekt.

2. Klicken Sie unter Data Sets auf die Schaltfläche Add data set.

3. Vergeben Sie unter Data set name einen Namen für Ihren Datensatz und klicken Sie auf Add.

4. Auf der Seite Upload Data wählen Sie unter Data format das Datenformat aus.

5. Um Ihren eigenen Datensatz hinzuzufügen, klicken Sie unter Add data auf Browse.

6. Das Ergebnis, wie z.B. Anzahl der Bilder und zugehöriger Datensatz-Klassen, wird rechts unter Data Validation angezeigt. Um Bilder-Annotationen einzuschließen, lassen Sie unter Annotations die vorausgewählte Option (aktiv) stehen. Hinweis: Die Annotationen sind nach dem Upload nicht mehr verfügbar. Deswegen müssen Sie Datensatz-Klassen erstellen (s. nächster Schritt).

7. Drücken Sie unter Class Mapping auf die Schaltfläche Map classes. Über die Schaltfläche Autocreate classes erstellen Sie Datensatz-Klassen automatisch basierend auf Ihren Annotationen. Um alternativ diesen Vorgang für jede Klasse manuell durchzuführen, drücken Sie bei jeder Klasse rechts auf den Pfeil und wählen Add new class aus.

8. Drücken Sie auf die Schaltfläche Upload. Das hochgeladene Projekt wird angezeigt. Klicken Sie auf dieses und kehren Sie dann in die Rubrik My Projects zurück. Klicken Sie dann auf das Projekt und wählen in der horizontalen Leiste Data Sets aus. Klicken Sie erneut auf das Projekt. Nun können Sie über die Schaltfläche Publish (2 mal drücken) das Projekt veröffentlichen.

2b KI-Modell hochladen

1. Klicken Sie unter Model Versions auf die Schaltfläche Add model version.

2. Vergeben Sie unter New model name einen Namen für das KI-Modell und klicken Sie auf Create.

3. Klicken Sie unter Model configuration auf den Pfeil rechts und wählen Sie die Konfiguration Ihres Modells aus.

4. Um ein KI-Modell hinzuzufügen, klicken Sie unter Add data auf die Schaltfläche Browse.

5. Nach dem Hochladen können Sie über die Schaltfläche Show classes die Modellklassen überprüfen.

6. Klicken Sie auf die Schaltfläche Finish.

7. Klicken Sie links neben der Leiste auf das Haus-Symbol.

2c Mapping von Bilddatensatz und KI-Modell

1. Klicken Sie in der Leiste auf Mapping, um die Klassen von Datensatz und KI-Modell den Projektklassen zuzuordnen.

2. Um die Datensatz-Klassen den Projektklassen automatisch zuzuordnen, klicken Sie unter dem Reiter Data Set Classes auf Automap und anschließend auf die Schaltfläche Map classes.

3. Wechseln Sie zum Reiter Model Classes. Klicken Sie dort auf Automap und anschließend auf die Schaltfläche Map classes.

4. Klicken Sie links neben der Leiste auf das Haus-Symbol.

3. KI-Modell im Testlauf optimieren

Performanz-Benchmarking: Überprüfen Sie das Verhalten und die Performanz Ihres optimierten Modells auf unterschiedlicher Processing-Hardware.

1. Klicken Sie auf die Schaltfläche Create trial und vergeben Sie unter Trial name einen Namen.

2. Um Ihren Bilddatensatz hinzuzufügen, klicken Sie unter Data set auf Add data set. Wählen Sie den Datensatz aus und klicken Sie auf den Auswahlschalter (Radio Button). Klicken Sie auf Add data set.

3. Um Ihr KI-Modell hinzuzufügen, klicken Sie unter Model auf Add model. Klicken Sie auf den Auswahlschalter (Radio Button), um Ihr Modell auszuwählen und dann auf Add model.

4. Um die bereits zugeordneten Datensatz- und Modellklassen anzusehen, klicken Sie unter Project mapping auf die Schaltfläche See mapping.

5. Klicken Sie auf Create.

6. Klicken Sie auf Add next trial run, wählen Sie die Hardware aus und klicken Sie auf Select hardware. Wählen Sie mit dem Pfeil das ONNX-Modellformat bzw. die Processing-Hardware aus.

7. Um eine weitere Hardware hinzuzufügen, klicken Sie erneut auf Add next trial run. Wählen Sie die Hardware aus und klicken Sie auf Select hardware. Mit dem Pfeil wählen Sie wieder das ONNX-Modellformat bzw. die Processing-Hardware aus.

8. Klicken Sie auf Run trial. Das System ermittelt nun die Bildrate, Latenz, Zuverlässigkeit und Leistungsaufnahme für die jeweilige Processing-Hardware.

9. Klicken Sie ganz rechts auf die Schaltfläche Inference results, um sich für die Bilder des Datensatzes die Inferenz-Ergebnisse anzeigen zu lassen.

Mit der Schaltfläche My Projects und dem Haus-Symbol gelangen Sie zum nächsten Schritt.

4. Release und Download

Beim Release des Bundles haben Sie zwei Möglichkeiten. Sie können das Bundle als ZIP-Datei downloaden (wie hier unter Punkt 4 beschrieben) oder es bei verfügbarer Online-Verbindung ohne Download direkt in das pylon AI vTool ziehen (wie unter Punkt 5.1 beschrieben).

1. Entscheiden Sie sich aus der Liste für eine Hardware / Processing-Hardware und klicken Sie ganz rechts auf die Schaltfläche Release bundle. Vergeben Sie einen Namen für das Bundle aus Bilddaten und KI-Modell und klicken Sie auf Release bundle.

2. Wählen Sie aus der Liste das Bundle aus und klicken Sie in der Zeile ganz rechts auf die Schaltfläche Go to bundle.

3. Überprüfen Sie die Angaben und klicken Sie auf Download.

5. KI-Modell ins pylon AI vTool laden

Im pylon Viewer laden Sie das optimierte KI-Modell per Drag-and-Drop in das pylon AI vTool. Dies ist online oder offline möglich.

Öffnen Sie die pylon Viewer App auf Ihrem Desktop. pylon herunterladen

1. Ziehen Sie das pylon vTool "Image Loading" aus der pylon vTools Liste links oben in der Ecke in die Workbench und öffnen Sie das Kommunikationsfenster durch Doppelklick auf das pylon vTool.

2. Durch die drei Punkte öffnen Sie den Speicherort Ihrer zu analysierenden Bilddaten und öffnen diese im pylon Viewer.

3. Wählen Sie nun das pylon AI vTool, welches Sie für die Bildanalyse nutzen wollen bzw. für welches Sie das KI-Modell auf der pylon AI Plattform optimiert haben. Öffnen Sie auch dieses pylon vTool durch einen Doppelklick, um die Inference-Optionen einzustellen.

4. Unter Inference Settings verbindet sich per Klick auf die Aktualisierungspfeile automatisch der richtige Inference-Server, den Sie aber auch noch manuell bearbeiten können. Klicken Sie auf Connect.

5. Unter Model Selection wählen Sie im Dropdown den gewünschten Modell-Typen aus, den Sie zuvor optimiert und released haben.

   • Falls Ihr Bundle noch nicht in der Auswahl erscheint, haben Sie über den pylon AI Agent die Möglichkeit, dieses offline über den lokalen Speicher zu deployen. Es besteht alternativ bei verfügbarer Online-Verbindung auch die Möglichkeit, direkt auf die auf der pylon AI Plattform optimierten Bundles zuzugreifen.

   • Ziehen Sie das optimierte Bundle via Drag-and-Drop in das Fenster und klicken anschließend auf Deploy.

   • Unter dem Reiter Deployed Models sehen Sie alle Ihre Modelle und können diese verwalten. Das Fenster kann dann geschlossen werden.

   • Jetzt können Sie das deployte Bundle im Dropdown auswählen oder über die Aktualisierungspfeile automatisch mit dem neuesten ausfüllen lassen.

6. Mit dem Klick auf Ok sind Sie bereit Ihre Bildanalyse zu starten.

Lernen Sie in diesem Tutorial, wie Sie Ihre Bildverarbeitung und -analyse mit den pylon vTools aufbauen und Recipes erstellen.