Einsatz automatischer, kamerabasierter Spielbeobachtung zur Analyse von Fußballspielen
Zusammenfassung der Projektergebnisse
Die Auswertung von Fußballspielen wird im professionellen Bereich der Ligen durch professionelle Dienstleister teilautomatisch betrieben. Für die DFL, beispielsweise, werden von allen Bundesligaspielen die Positionsdaten von Spielen und Schiedsrichtern sowie des Balles automatisch ermittelt und für die weitere Analyse entsprechenden Dienstleistern – untern anderen dem Projektpartner Opta Sport Daten – weiter geleitet. Dagegen konzentriert sich die hier entwickelte Anwendung auf solche Spiele, die mit privaten Camcordern oder aus Fernsehübertragungen aufgenommen wurden. In diesen beiden Fällen ist in der Praxis über die Aufnahmesituation, die Spieldynamik, die Parameter und den Standort der Kameras und oftmals die Identität einzelner Spieler und deren Bekleidung vorab oder auch hinterher wenig bekannt. Die Herausforderung war, diese Unbekannten aus den aufgenommenen Bildern für jeden Zeitpunkt des Spiels automatisiert zu ermitteln. Gemäß Arbeitsplan im Antrag wurden demgemäß automatische Kamerakalibrierung, Kameraparameterverfolgung, Ballverfolgung, Spielerverfolgung, Spieleridentifikation, Robustheit gegen Umweltbedingungen, Erweiterung der Spielanalyse, Einbeziehen von Expertenwissen, Integration und Evaluation bearbeitet. Die entwickelten Methoden sind natürlich auf die Anwendung im Fußballsport hin entwickelt worden. Ein Großteil der Methoden, die den Stand der Wissenschaft übertreffen, ist allerdings auch in anderen Anwendungsbereichen verwendbar. Beispielsweise ist die unüberwachte, farbbasierte Bestimmung des Teamoutfits auch nutzbar für das Verfolgen und Wiederfinden von Personen anhand ihrer Bekleidung in beliebigen Bildfolgen. Auch die Bestimmung von Schnitten in Videosequenzen, auch bei weichen Überblendungen, ist generell einsetzbar. Die Berechnung von Homographien für die 3D-Rekonstruktion aus natürlichen Landmarken, die aus Schnittpunkten gerader Linien bestehen, ist allgemein anwendbar, etwa für Tennisspiele. Aber auch andere Markierungen, die vermessen wurden und deren Position aus Bildern ermittelt werden kann, sind verwendbar. Dabei ist die neuartige Ermittlung von für einen langen Beobachtungszeitraum aus einer Kamera konsistenten Homographien unabhängig davon, wie die Landmarken vermessen und aus dem Bild extrahiert wurden. Für die Methodenentwicklung und -validierung war die Zusammenarbeit mit dem Projektpartner Opta unerlässlich. Das Projektziel war ja nicht nur die Bereitstellung von prinzipiell anwendbarer Methodik, sondern die Plausibilisierung ihrer robusten Einsatzmöglichkeit in einem breiten Spektrum realer Situationen. Neben eigenen Aufnahmen von Spielen und Fernsehmitschnitten wurden von Opta Videos bereit gestellt, die eine große Bandbreite in ihrem Erscheinungsbild aufwiesen. Insgesamt stand im Projekt Videomaterial im Volumen von knapp einem Terrabyte zur Verfügung, dabei auch „exotische“ Aufnahmen von Fußballspielen in Afrika. Für die Methodenentwicklung unverzichtbar waren die von Opta mitgelieferten Metadaten, angefangen von 3D-Positonskoordinaten über elementare Spielereignisse bis hin zur Klassifikation komplexerer Spielsituationen. Diese Metadaten konnten, obwohl manche der professionell gelieferten Positionsdaten noch bereinigt werden mussten, als Ground Truth und Teststichprobe benutzt werden. Somit sind die im Projekt bereit gestellten Verfahren robust in einem breiten Spektrum von Fußballspielen in einem Maße einsetzbar, das nach unserer Erkenntnis bisher nirgendwo erreicht worden war. Gegen Ende des Projektes wurde das Partnerunternehmen an einen internationalen Konzern verkauft. Pläne, ob und wie Erkenntnisse aus dem Projekt dort weiter verwendet werden, sind noch nicht abgesprochen. Im Laufe es Projektes wurden wesentliche Methoden in das Programm „SoccerApp“ integriert, das mit einer Browser-Version auch von externen Nutzern zugänglich ist (Beta-Version Demo- Account unter http://soccertest.in.tum.de).
Projektbezogene Publikationen (Auswahl)
- Multi Temporal Distance Images for Shot Detection in Soccer Games. In: EUSIPCO 2014 (22nd European Signal Processing Conference 2014). IEEE, 2013, S. 2420-2424
Hoernig, Martin ; Herrmann, Michael ; Radig, Bernd
- Real Time Soccer Field Analysis from Monocular TV Video Data. In: 11th International Conference on Pattern Recognition and Image Analysis (PRIA-11-2013), Samara 2 (2013), S. 567-570
Hoernig, Martin ; Herrmann, Michael ; Radig, Bernd
- A Comparative Evaluation of Current HTML5 Web Video Implementations. In: In Open Journal of Web Technologies (OJWT) 1 (2014), Nr. 2, S. 1-9
Hoernig, Martin ; Bigontina, Andreas ; Radig, Bernd
- Human Body Part Classification in Monocular Soccer Images. In: 9-th Open German-Russian Workshop on Pattern Recognition and Image Understanding (2014)
Bigontina, Andreas ; Herrmann, Michael ; Hoernig, Martin ; Radig, Bernd
- Online Multi-player Tracking in Monocular Soccer Videos. In: AASRI Procedia 8 (2014), S. 30-37
Herrmann, Michael ; Hoernig, Martin ; Radig, Bernd
(Siehe online unter https://doi.org/10.1016/j.aasri.2014.08.006) - Real-Time Segmentation Methods for Monocular Soccer Videos. In: Pattern Recognition and Image Analysis 25 (2015), Nr. 2, S. 327-337
Hoernig, Martin ; Herrmann, Michael ; Radig, Bernd
(Siehe online unter https://doi.org/10.1134/S105466181502011X) - Detection of Individual Ball Possession in Soccer. In: Proceedings of the 10th International Symposium on Computer Science in Sports (ISCSS) 392. Springer, 2016, S. 103-107
Hoernig, Martin ; Link, Daniel ; Herrmann, Michael ; Radig, Bernd: Lames, Martin
(Siehe online unter https://doi.org/10.1007/978-3-319-24560-7_13) - Kameraparameter-Nachführung durch natürliche Landmarken in Sequenzen monokularer Bilder am Beispiel von Fußballübertragungen mit Anwendungen zu automatischer Ballbesitz- und Spielereigniserkennung. Dissertation. Technische Universität München, 2016
Hoernig, Martin
- Erkennung und Verfolgung von relevanten Objekten zur semantischen Annotierung von dynamischen, monokularen Szenen am Beispiel von Fußballübertragungen. Dissertation Technische Universität München, Fakultät für Informatik, 2017. 249 S.
Herrmann, Michael
