Probabilistische Präferenzmaße für wissensbasierte Szeneninterpretation
Zusammenfassung der Projektergebnisse
Im Projekt PRAESINT wurde eine Theorie für die Szeneninterpretation entwickelt, die auf einer Kombination von prädikatenlogisch und probabilistisch modelliertem Wissen fußt. Dabei wurden für Teilaspekte unterschiedliche konkrete Repräsentationsformen untersucht (z.B. Beschreibungslogik, Prädikatenlogik und Markov-Logik) sowie neue Repräsentationsformen entwickelt, insbesondere für die Repräsentation von und Inferenz mit probabilistischem Wissen (Bayes’sche Kompositionelle Hierarchien). Als Grundlage für die Definition einer Szeneninterpretation haben sich Konstruktionsoperatoren (Aggregierung, Teileerzeugung, Spezialisierung und Verschmelzung) bewährt, mit denen ausgehend von Eingaben (Evidenz r) ein Konstruktionssuchraum aufgespannt werden kann, in dem sich Lösungen für das Interpretationsproblem als wahrscheinlichste Konstruktionen I ergeben. Der theoretische Ansatz wurde durch zwei Implementierungen gestützt, die jeweils unterschiedliche Aspekte komplementär beleuchten. In den Untersuchungen erfolgte in einem Ansatz eine operationale Realisierung des Interpretationssystems aus den Wissensbasen durch Generierung einer Constraint- und regelbasierten Interpretationsmaschine (System SCENIOR). In dem anderen Ansatz (RMI-Maschine) wurde untersucht, wie die elementaren Konstruktionsschritte als logische Inferenz (Abduktion und Deduktion) begriffen werden können. Mit Abduktion können auch mehrere Modellinstanzen pro Szene hergeleitet werden. Während, etwas vereinfach ausgedrückt, im ersten Ansatz (SCENIOR) argmax i P(Γ, I) als Optimierungskriterium gewählt wurde, konnte im zweiten Ansatz (RMI) gezeigt werden, dass sich auch argmax i P(Γ | I) als Formulierung eines Präferenzmaßes für I eignet. Die Bestimmung der P-Werte erfolgte auf verschiedene Weisen, einmal über eine Implementierung des BCH-Formalismus, im anderen Fall über externe Markov-Logik-Schlussverfahren (Alchemy). In beiden Implementierungen wurde die (optimale) Lösung im Konstruktionsraum durch Approximation mittels lokaler Gradientensuche und Strahlsuche realisiert, so dass Realzeitsysteme mit der gewünschten Funktionalität entstanden. Durch die Arbeiten in PRAESINT wurde die prädikatenlogische Formalisierung von Interpretationswissen und Interpretationsverfahren (Möller & Neumann, 2008) unseres Erachtens wegweisend um probabilistisches Wissen erweitert. Die Logik definiert den grundsätzlichen Interpretationsraum, das probabilistische Wissen favorisiert darin enthaltene Instanzen als Lösungen des Interpretationsproblems. Für beide im Projekt PRAESINT entwickelten komplementären Ansätze konnte in konkreten Implementierungen gezeigt werden, dass Eingabedaten Γ trotz Beschränkungen von Zeit- und Platzressourcen um bedeutungstragende Interpretationen I angereichert werden können, die für praktische Anwendungen verwendbar und nützlich sind.
Projektbezogene Publikationen (Auswahl)
- High-level Expectations for Low-level Image Processing. Proc. KI-2008, Springer, 2008, 87-94
Hotz, L.; Neumann, B.; Terzic, K.
- Ontology-Based Reasoning Techniques for Multimedia Interpretation and Retrieval. In: Y. Kompatsiaris, P. Hobson (Eds.): Semantic Multimedia and Ontologies: Theory and Applications, Springer 2008, 55-98
Möller, R.; Neumann, B.
- Context-aware Classification for Incremental Scene Interpretation. Proc. Workshop on Use of Context in Vision Processing (UCVP 2009), Boston, Nov 2009
Kreutzmann, A.; Terzif, K.; Neumann, B.
- Formalizing Multimedia Interpretation based on Abduction over Description Logic Aboxes. In Proc. of the 2009 International Workshop on Description Logics DL- 2009, 27 to 30 July 2009, Oxford, United Kingdom, 2009. CEUR Workshop Proceedings (Vol. 477)
Espinosa, S. ; Kaya, A.; Möller, R.
- Generation of Rules from Ontologies for High-level Scene Interpretation. In: G. Governatori et al. (eds.): Rule Interchange and Applications, Proc. International Symposium RuleML 2009, Springer LNCS 5858, 2009, 93-107
Bohlken, W., Neumann, B.
- Integrating Context Priors into a Decision Tree Classification Scheme. Proc. International Conference on Machine Vision, Image Processing, and Pattern Analysis (MVIPPA 2009), Bangkok, December 2009
Terzic, K.; Neumann, B.
- A Probabilistic Abduction Engine for Media Interpretation based on Ontologies. In J. Alferes, P. Hitzler, and Th. Lukasiewicz, editors, Proc. International Conference on Web Reasoning and Rule Systems (RR-2010), 2010
Gries, O.; Möller, R.; Nafissi, A.; Rosenfeld, M.; Sokolski, K.; Wessel, M.
- Context-based Probabilistic Scene Interpretation. In: Proc. IFIP AI-2010, Brisbane, Sept. 2010,155-164
Neumann, B.; Terziç, K.
- Incremental Recognition of Multi-object Behaviour Using Hierarchical Probabilistic Models. Proc. of the 5th Workshop on Behaviour Monitoring and Interpretation, BMI'10, CEUR-WS.org, issn 1613-0073, 2010, 8-21 2011
Zimmer, F.-M.; Neumann, B.
- Learning and Recognizing Structures in Façade Scenes (eTRIMS) - a Retrospective. KI, 24(1), 2010, 63-68
Hotz, L.; Neumann, B.
- Islands and Query Answering for ALCHI-Ontologies. In Proc. Third International Joint Conference on Knowledge Discovery, Knowledge Engineering and Knowledge Management, Heidelberg, Germany, volume 128 of CCIS, pages 224-236. Springer, 2011
Wandelt, S.; Möller, R.
- Knowledge-Driven Multimedia Information Extraction and Ontology Evolution, volume 6050 of LNCS, chapter Logical Formalization of Multimedia Interpretation, pages 110-133. Springer, 2011
Espinosa, S.; Kaya, A.; Möller, R.
- Ontology-Based Realtime Activity Monitoring Using Beam Search. In: Crowley, J.L. et al. (eds.): ICVS 2011, LNCS 6962, 112-121. Springer, Heidelberg (2011)
Bohlken, W.; Neumann, B.; Hotz, L.; Koopmann, P.
