Projekt abgeschlossen · Drohnen und künstliche Intelligenz
StratoPilot
Wir haben die Software für eine Drohne entwickelt, die sieht, sich orientiert und selbst die Route wählt.
- von Software: entscheiden, sich orientieren, fliegen
- 3 Ebenen
- um Brände zu erkennen
- YOLOv8
- um den kürzesten Weg zu finden
- PRM und A*
- um die Module zu verbinden
- ROS 2
Für alle, die kommen aus Informatik, Luft- und Raumfahrttechnik
Drei Ebenen
StratoPilot wollte eine Drohne, die von selbst drei Arten von Einsätzen bewältigt, vom einfachsten bis zum schwierigsten: die Umgebung überwachen und kartieren, Medikamente oder Waren transportieren, bei Rettungseinsätzen helfen. Die Software ist in drei Ebenen aufgeteilt, jede betreut von mindestens einem Masterstudenten.
- 01
Obere Ebene
Entscheidet, was zu tun ist, und schaut: Die Bilderkennung erkennt Brände, ein Zustandsautomat wählt den nächsten Schritt.
- 02
Mittlere Ebene
Erstellt die Karte, bestimmt, wo sich die Drohne befindet, und berechnet die Flugbahn.
- 03
Untere Ebene
Wandelt die Flugbahn in die Ströme der Motoren um.
Brände erkennen
Für die Bilderkennung haben wir YOLOv8 gewählt, ein Modell von Ultralytics, das Objekte in einem Bild findet und einrahmt, bereits trainiert auf 80 Kategorien gängiger Objekte. Wir haben es erneut trainiert, mit Satellitenbildern von Bränden, in Farbe und im Infrarot.
Das Training lief auf einem privaten Computer: 5 Epochen in einer Nacht. Die Konfidenz der Antworten lag zwischen 30% und 40%. Die Konfidenz ist aber kein Maß für Genauigkeit: Sie sagt, wie sicher sich das Modell ist, nicht wie oft es recht hat, und die Genauigkeitswerte haben wir nicht gemessen.
Die Karte und die Route
Um zu wissen, wo sie sich befindet und wie das Gelände beschaffen ist, nutzt die Drohne ein LiDAR und den Algorithmus DFLIOM, der die Karte als Punktwolke erstellt. Ein neuronales Netz wählt nur die Punkte aus, die nützlich sind, um eine Abtastung mit der nächsten abzugleichen, etwa einer von fünf.
Auf der Karte wird die Route in zwei Schritten gesucht. Die Probabilistic Roadmap verteilt zufällig freie Punkte und verbindet jeden mit den erreichbaren Nachbarn: So entsteht ein Graph möglicher Wege. Dann findet A* auf dem Graphen den kürzesten Weg.
offen = {partenza}
g(Start) = 0
solange offen nicht leer ist:
n = der Knoten in offen mit dem kleinsten f(n) = g(n) + h(n)
wenn n das Ziel ist: rekonstruiere den Weg und stoppe
entferne n aus offen
für jeden Nachbarn m von n:
kosten = g(n) + distanz(n, m)
wenn kosten < g(m): g(m) = kosten, merke dir, dass m von n kommt, füge m zu offen hinzuDer Autopilot
Am Anfang dachten wir, auch den Autopiloten von Grund auf neu zu schreiben. Nachdem wir mit einigen Professoren gesprochen hatten, haben wir es uns anders überlegt: Es wäre eine riesige und unnötige Arbeit gewesen, weil es ausgereifte Open-Source-Autopiloten gibt. Wir haben die zwei meistgenutzten verglichen, PX4 und ArduPilot.
Damit Bilderkennung, Karte, Planung und Autopilot miteinander sprechen, haben wir ROS 2 gewählt, das am weitesten verbreitete System, um die Module eines Roboters zu verbinden.
| PX4 | Open Source | betreut von Dronecode, der Linux Foundation |
|---|---|---|
| ArduPilot | Open Source, GPLv3 | seit 2009, auf über einer Million Fahrzeugen |
Die Bilanz
Im Sommer 2025 waren die Module des Grundschemas fertig: Bilderkennung, Karte und Lokalisierung, Routenplanung. Offen blieben der Zustandsautomat für die Entscheidungen und die Abstimmung mit anderen Drohnen.
Der nächste Schritt war, alles mit ROS 2 zu verbinden und mit den Simulationstests zu beginnen, die aber einen viel leistungsfähigeren Computer verlangten, als wir hatten; wir haben erwogen, Rechenleistung in der Cloud zu mieten. Dort endete das Projekt.
Wie es gelaufen ist
- 10. März 2025Wir haben das Projekt im Palazzo della Borsa vorgestellt.
- März 2025Ein interner Kurs in Machine Learning: Lerntheorie und neuronale Netze in PyTorch.
- Sommer 2025Die Module für Sehen, Karte und Route waren fertig. Es fehlten noch die Integration mit ROS 2 und die Tests, für die ein leistungsfähigerer Computer nötig war.
Videos
Menschen im Projekt
Mit wem wir es machen
Quellen
- Bericht des Projekts StratoPilot, 2025.
- Ultralytics, Dokumentation von YOLOv8.
- Dong und Kollegen, LiDAR Inertial Odometry And Mapping Using Learned Registration-Relevant Features, arXiv:2410.02961, 2024.
- Kavraki, Švestka, Latombe und Overmars, Probabilistic roadmaps, IEEE Transactions on Robotics and Automation, 1996.
- Hart, Nilsson und Raphael, A Formal Basis for the Heuristic Determination of Minimum Cost Paths, 1968.
- px4.io; ardupilot.org.
Das Projekt ist abgeschlossen
Was wir gelernt haben, geht in den laufenden Projekten weiter.