Smart Navigation

Wie ist es möglich einen simplen Roboterarm aufzuwerten – sodass er ein autonom agierender Detektiv wird?
Die Antwort auf diese Frage liefert unser Smart Navigation Showcase!

Ziele des Showcases

Innovationen aus den Bereich autonomer Navigation und Anwendungsfälle für künstliche Intelligenz funktionieren nur auf modernsten Robotern und nicht auf älteren Geräten? – Von wegen!

Unser Showcase Smart Navigation zeigt wie es möglich ist auch komplexe Anwendungsfälle wie das Erkennen und Verfolgen eines beliebigen Gegenstandes auf einem kleinen, simplen Roboterarm zu realisieren – auch wenn man initial nicht mehr als eine serielle Schnittstelle zur Verfügung hat!

Darüber hinaus zeigt er exemplarisch wie mit den daraus resultierenden Live-Maschinendaten des Roboters intelligent verfahren werden kann und wie diese angereichert sowie statistisch ausgewertet werden können.

Folgendes Video geht im Detail darauf ein:

Der Aufbau:

Simpler Roboterarm der Firma UFACTORY (uarm). Aufgewertet mit einer INTEL Realsense Stereo-Tiefenkamera.

Ein NVIDIA Jetson TX-2 – Das Herzstück des Setups. Hier werden das neuronale Netz ausgeführt und die Robotersteuerung koordiniert.

Eine IOT-Sensornode. Erweitert das Sensorwert-Spektrum des Roboters. Er ist nun auch in der Lage weitere physikalische Größen wie Temperatur, Luftdruck und Erschütterung zu messen, statistisch auszuwerten und darauf zu reagieren.

Technologie & Software

Die INTEL Realsense Stereo Kamera liefert zwei verschiedene Arten von Videos.
Auf der einen Seite eine RGB-basiertes Video mit einer Auflösung von 640×480.

Der 2.te Videostream basiert auf einem Infrarot-Tiefenbild. Hier besitzt jeder Pixel einen definierten Abstandswert der durch eine Farbcodierung dargestellt wird. Ein roter Pixel steht für einen kleinen Abstand zur Kamera, blau für einen größeren Abstand zur Kamera.

Die Basis des Smart Navigation Showcases bildet die Objekterkennung mit tinyYOLO und der programmierten Echtzeit-Koordination des Roboterarms. Um zu zeigen, dass bei der Objekterkennung (fast) keine Grenzen gesetzt sind, haben wir uns für das Training mit unserem dmc-group Logo entschieden.

Nach knapp 300 Bildern im Trainingsdatensatz und einigen Stunden Rechenzeit auf unseren Hochleistungsrechnern in Paderborn war das neuronale Netz ausreichend trainiert zur zuverlässigen Erkennung unseres Logos. Obwohl das Training selbst viele Ressourcen benötigte, lässt sich das trainierte Netz selbst auf kleineren embedded Geräten betreiben – kein high-end Server notwendig.

Der Betrieb des Roboterarms selbst basiert auf einer Bild-für-Bild Erkennung des Objekts (Kamera liefert stabile 30 fps). Durch Berechnung der Differenz der Positionen des trainierten Objekts im Videostream wird ein Bewegungsvektor (Roter Pfeil) berechnet und für die Maschinensteuerung übersetzt. Nun ist es dem Roboterarm möglich dem trainierten Objekt in Echtzeit (innerhalb seiner Freiheitsgrade) zu folgen.

Das auf Node-RED basierende Dashboard zeigt die Live-Daten des Roboterarms an. Echtzeiterfassung der Maschinenwerte wie beispielsweise die Anzahl der erkannten Objekte, der Azimutwinkel des Arms oder die Distanz zum Objekt können hier eingesehen werden.

Da das Dashboard frei konfigurierbar in der Darstellung ist, lassen sich hier nach Belieben nicht benötigte Werte ausblenden oder zusätzliche Werte darstellen (wie beispielsweise den Input aus den Messwerten des IOT-Sensornode).

Der Roboterarm selbst benötigt keine aktive Cloud-Verbindung um seine Tätigkeit auszuführen.
Falls benötigt  lassen sich die Informationen des Roboters aus dem Dashboard aber auch in eine Cloud exportieren und so übers Web zugänglich machen. Beispielsweise zur Fernüberwachung oder zum Anzeigen der Maschinenwerte auf mobilen Endgeräten.

Analyse & Daten

Diese gesammelten Daten lassen sich nicht nur anzeigen, sondern auch statistisch aufbereiten und auswerten.

Als erstes Beispiel lässt sich, wie hier gezeigt, die Position des erkannten Objekts über die Zeit graphisch darstellen. So ist es möglich die Trajektorie des Objekts im 3-Dimensionalem Raum darzustellen.

Sobald man genügend Daten gesammelt hat, kann man diese im zeitlichen Verlauf darstellen und auswerten.
Dies ist nützlich um Korrelationen zwischen verschiedenen Datenströmen bei der Fehleranalyse aufzudecken.

Beispielsweise bei einer Fehlfunktion im Servermotor des Roboterarms nachdem jemand an den Roboter gestoßen ist (=der Erschütterungssensor des IOT Nodes ausgelöst wurde). Oder bei einer Verschlechterung der Roboterleistung, nachdem er heiß gelaufen ist (=der Temperatursensor bereits seit einem längeren Zeitraum eine erhöhte Temperatur des Roboters erkannte)

Selbstverständlich lassen sich diese Informationen nicht nur zur Fehleranalyse, sondern auch zur Fehlerprävention einsetzen. Dies kann in Form von einfachen programmierten Reaktionen sein – beispielsweise dem Verringern der Bewegungsgeschwindigkeit solange der Temperatursensor eine erhöhte Temperatur anzeigt.

Etwas komplexer, aber umso vielversprechender, kann auch ein Ansatz zur Vorhersage von Fehlerzuständen sein (Stichwort predictive maintenance). Hierbei würden die Maschinendaten selbst durch ein trainiertes neuronales Netz überwacht werden. Das Grundprinzip ist es ein spezifisches Fehlermuster einer Maschine zu erkennen und frühzeitig Warnungen vor einer bevorstehenden Beeinträchtigung des Betriebs zu senden, sodass darauf rechtzeitig reagiert werden kann.

Weitere Anwendungsfälle

Wie anfangs angesprochen ist diese Technologie sehr vielseitig. Das trainierte Objekt / die trainierten Objekte müssen also keine Schriftzeichen sein.

Hier auf der rechten Seite finden Sie einige Beispiele für das Erkennen von Menschen und anderen Objekten wie Stühlen oder Fahrzeugen.

Für die Erkennung eines unbekannten neuen Objekts muss das neuronale Netz erneut trainiert werden – wie in unserem Fall zur Erkennung unseres Logos. Dazu wird zunächst ein ausreichend großer und qualitativ hochwertiger Testdatensatz an Bildmaterial benötigt.

Sobald das Training erfolgreich abgeschlossen wurde, lassen sich aber nahezu alle beliebigen Objekte zuverlässig erkennen – dies Bandweite reicht von Gesichtserkennung bis hin zur Identifikation von (Teil-)Produkten in einer Fabrik während des Produktionsprozesses.

Für einen Anwendungsfall im Kontext Qualitätssicherung ist sicherlich auch die Möglichkeit der Erkennung von Produktionsfehlern in einem Produkt interessant.

Auch bei Anwendungen, welche die Inspektion schwer erreichbarer Stellen zum Ziel haben, kann Smart Navigation unterstützen. Ein Beispiel wäre die Anwendung im Gebiet der funktionalen Drohnen bei der Inspektion von Windkrafträdern im Fehlerzustand.

Ein weiteres denkbares Szenario wäre die Klärung aus der Luft bei einer unübersichtlichen Situation mithilfe von Thermalbildern. Beispielsweise wenn bei einem Waldbrand Personen vermisst werden und Rettungskräfte trotz Rauchentwicklung beurteilen müssen ob sie in ein Gebiet vordingen sollen oder nicht.

Ein weiteres Beispiel wäre, wenn man ein System benötigt, das Menschen aktiv vor Gefahren warnt – beispielsweise beim Betreten einer bestimmten Gefahrenzone. Be- und Entladezonen autonomer Lagerroboter im Bereich der automatisierten Logistik sind hier ein treffende Beispiele.

Natürlich lassen sich diese Beispiele beliebig erweitern…

Gemeinsam auf zu neuen Horizonten

Smart Navigation ist genau das nachdem Sie gesucht haben?

Oder haben Sie womöglich gleich die nächste Aufgabe im Gepäck?

So oder so – wir helfen Ihnen herauszufinden ob und wie sie diese KI-Anwendung für sich nutzen können!

Unser Team steht bereit – eine kurze Mail an sales@dmc-smartsystems.dmc-group.com oder ein Anruf (+49 89 427 74 176) genügt.