Incremental Mapping from Image Sequences
Final Report Abstract
Das Projekt zielt auf ein inkrementelles Mapping aus einer Bildfolge, die von einem autonomen Fluggerät aufgenommen wird. In der ersten Phase wurde ein Verfahren zur Bestimmung der visuellen Odometrie entwickelt, welches mit 10 Hz auf dem Kopter läuft und eine schnelle und robuste Lokalisierung des Fluggeräts mit zwei Stereokameras ermöglicht. Die visuelle Odometrie basiert auf der Verfolgung von Szenenmerkmalen in einer dünnbesetzten Karte, welche in einer inkrementellen Bündelausgleichung auf ausgewählten Keyframes stetig erweitert und verfeinert wird. In der zweiten Phase des Projekts werden in die inkrementelle Bündelausgleichung zusätzlich IMU-Daten und GPS-Phasenbeobachtungen integriert, so dass auch in unterbestimmten Situtationen GPS Daten genutzt werden können, in denen GPS Receiver einen Ausfall melden. Hiermit wird eine Robustifizierung des Systems erzielt, die in GPS ungünstigen Situtationen die Drift in der visuellen Odometrie signifikant reduziert. Zur Integration der Laserdaten in die Posenschätzung wurde ein neues Verfahren entwickelt, welches nicht auf expliziten Datenassoziationen basiert, sondern die Tiefen- und Normaleninformation aus den Laserdaten mit den pixelweisen Differenzen in den Bildsequenzen fusioniert. Klassischerweise erfolgt die Schätzung der 3D Punkte und der Kameraposen in einer Bundelausgleichung simultan. In diesem Projekt wurde eine trifokale Bundelausgleichung entwickelt, welche eine Schätzung der optimalen Kameraposen ermöglicht, ohne die explizite Repräsentation von 3D Punkten. Dieser Ansatz verlangt in seiner strengen Formulierung ein komplexeres Ausgleichungsmodell, ermöglicht jedoch die Anwendung von Approximationen, welche zu einem erheblichen Geschwindigkeitsgewinn unter einem moderaten Genauigkeitsverlust führen. Eine hochgenaue georeferenzierte Trajektorie mit einer dünnbesetzten Rekonstruktion wird mittels der Bilder einer hochauflösenden Kamera in Nahe-Echtzeit auf einer Bodenstation berechnet. Das in der ersten Phase entwickelte Verfahren integriert nun auch neben den Kameradaten GPS-Phasenbeobachtungen, so dass auch hier eine Robustifizierung unter schlechten GPS Bedinungen erzielt werden konnte. Zudem werden nun Schleifenschlusse detektiert und in der Bundelausgleichung verarbeitet, wodurch in Situationen ohne GPS Empfang die Drift signifikant reduziert wird. Eine neu entwickeltes Verfahren zur Detektion von Datenassoziationen zu Bildsequenzen mit erheblichen Erscheinungsänderungen, wie sie zu verschiedenen Jahres- als auch Tagezeiten auftreten, erlaubt eine Zuordung von Szenenmerkmalen zu Bildsequenzen vorangegangener Missionen. Zur Kalibrierung des Gesamtsystems, welche für die Fusion der Sensordaten benötigt wird, wurden in diesem Projekt markerbasierte und markerlose Verfahren entwickelt. Die höchsten Genauigkeiten werden mit den markerbasierten Verfahren erzielt, die markerlose Kalibrierung kann jedoch ortsunabhängig erfolgen. Zur dichten Umgebungserfassung in Echtzeit wurde ein dichtes Stereoverfahren für die Fisheye-Stereokameras implementiert und dessen Genauigkeitspotential analysiert. Durch den großen Öffnungswinkel von 185 kann mit jeder Aufnahme beinahe der gesamte Horizont dreidimensional rekonstruiert werden und zur Detektion von Hindernissen verwendet werden.
Publications
- (2016). Fast and effective online pose estimation and mapping for uavs. In Proc. of the IEEE Int. Conf. on Robotics & Automation (ICRA), pages 4784–4791
Schneider, J., Eling, C., Klingbeil, L., Kuhlmann, H., Forstner, W., and Stachniss, C.
(See online at https://doi.org/10.1109/ICRA.2016.7487682) - (2016). On the accuracy of dense fisheye stereo. IEEE Robotics and Automation Letters (RA-L), 1(1):227–234
Schneider, J., Stachniss, C., and Forstner, W.
(See online at https://doi.org/10.1109/LRA.2016.2516509) - (2017). Extrinsic multi-sensor calibration for mobile robots using the gauss-helmert model. In Proc. of the IEEE/RSJ Int. Conf. on Intelligent Robots and Systems (IROS), pages 1490–1496
Huang, K. and Stachniss, C.
(See online at https://doi.org/10.1109/IROS.2017.8205952) - (2017). On the quality and efficiency of approximate solutions to bundle adjustment with epipolar and trifocal constraints. In ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences, volume IV-2/W3, pages 81–88
Schneider, J., Stachniss, C., and Forstner, W.
(See online at https://doi.org/10.5194/isprs-annals-IV-2-W3-81-2017) - (2017). Relocalization under substantial appearance changes using hashing. In IROS Workshop on Planning, Perception and Navigation for Intelligent Vehicles, pages 147–153
Vysotska, O. and Stachniss, C.
- (2018). A general framework for flexible multi-cue photometric point cloud registration. In Proc. of the IEEE Int. Conf. on Robotics & Automation (ICRA)
Della Corte, B., Bogoslavskyi, I., Stachniss, C., and Grisetti, G.
(See online at https://doi.org/10.1109/ICRA.2018.8461049)
