SFB 673:  Ausrichtung in der Kommunikation

• Fachliche Zuordnung: Geisteswissenschaften ; Informatik, System- und Elektrotechnik ; Sozial- und Verhaltenswissenschaften
• Förderung: Förderung von 2006 bis 2015
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 13226603

• Erstellungsjahr: 2015

Zusammenfassung der Projektergebnisse

Der SFB 673 “Ausrichtung in der Kommunikation” wurde anknüpfend an zwei wichtige wissenschaftliche Entwicklungen eingerichtet: Zum einen die Ergebnisse des SFB 360 „Situierte künstliche Kommunikatoren“, in dem Linguisten, Psychologen und Informatiker an der Universität Bielefeld gemeinsam erforscht haben, wie künstliche Agenten durch den Einbezug von situationsbezogenen Informationen in verschiedenen Modalitäten die Effizienz und Robustheit von Kommunikation und Kooperation erhöhen können. Zum anderen der neue und damals revolutionäre „Interactive Alignment“-Ansatz (Pickering & Garrod 2004) als Gegenentwurf zu den traditionellen kognitiven Modellen der Mensch-Mensch- bzw. Mensch-Maschine-Kommunikation. Diese Modelle basierten auf generativen linguistischen Ansätzen sowie auf komplexen Methoden des symbolischen Schließens aus der klassischen Künstlichen Intelligenz. Sie führten zu Theorien und Implementationen von kommunikativen Systemen, die unflexibel, ineffizient und anfällig waren – im Gegensatz zur menschlichen Kommunikation, die hochgradig flexibel, effizient und robust ist und dabei kaum explizites Aushandeln gegenseitigen Verstehens verlangt. Die „Interactive Alignement“-Theorie betont als elegante Alternative die mechanistischen Aspekte von Kommunikation, nach denen eine „Ausrichtung“ der Situationsmodelle von Dialogpartnern schnell und automatisch durch eine Kombination von Situationswissen, Routinenbildung und ressourcensparendem „Priming“ entsteht. In der ersten Förderphase des SFB 673 wurden durch die Kombination von experimentellen, empirischen und simulativen Methoden die Adäquatheit und die Grenzen des damals spekulativen “Interactive Alignment”-Konzepts empirisch wie theoretisch validiert und im Hinblick auf zentrale Phänomene agentenbasierter Kommunikation erweitert. So wurde die Relevanz von Priming-Effekte experimentell in verschiedenen Repräsentations- und Verarbeitungsdomänen nachgewiesen. Durch grundlegende Implementationen und Simulationen von Alignment-basierten Prozessen in künstlichen Systemen wurde die prinzipielle Effektivität in Szenarien der Mensch-Maschine-Kommunikation belegt. Gleichzeitig wurde das Alignment- Konzept basierend auf diesen Resultaten um wichtige, fehlende Prozesse wie „Anti-Alignment“, „asymmetrisches“ Alignment oder strategisches Alignment erweitert. Die zweite Förderphase konzentrierte sich auf die Erforschung der bis dato noch nicht untersuchten Aspekten eines erweiterten Alignment-Konzepts. Ein Fokus lag auf der Rolle der zeitlichen Dynamik und des „Timings“ im Alignment. Die Ergebnisse im Bereich des intrapersonalen zeitlichen Alignments verdeutlichten die Rolle von Antizipation und gegenseitigem „Einschwingen“ (Entrainment) auf verschiedenen Repräsentationsebenen (z.B. in multimodalen Äußerungen mit koordinierten Anteilen aus Sprache und Gestik). Ebenso wurde untersucht, wie sich Alignment über verschiedene Ebenen einer Repräsentationshierarchie hinweg auswirkt und ausbreitet. Verschiedene Projekte erforschten z.B. die „vertikale“ Ausbreitung durch Untersuchung neuer dynamischer Schnittstellen zwischen Syntax und Semantik bzw. zwischen Semantik und Pragmatik. Die experimentellen und theoretischen Ergebnisse wurden umfassend durch das Studium natürlicher Daten validiert und komplementiert. Die technischen Projekte erforschten systemische Aspekte des Alignments und konnten zeigen, dass interaktives Alignment die Intuitivität, Effizient und Akzeptanz in der Mensch-Maschine-Kommunikation erhöht. Durch die integrierte Anwendung und systematische Ausweitung dieser experimentell-simulativen Forschung auf weitere Aspekte des Kommunikationskontextes (wie Raum, Aufmerksamkeit, Emotionen und kooperatives Handeln) hat der SFB 673 so neuartige Sichtweisen und wichtige Beiträge geliefert zu einem umfassenden Verständnis davon, wie komplexe informationsverarbeitende Systeme durch „informationsschmale“ Kopplungen situativ angepasst und effizient kooperieren.

Projektbezogene Publikationen (Auswahl)

• (2010). Modeling the production of coverbal iconic gestures by learning Bayesian Decision Networks. Applied Artificial Intelligence, 24(6), 530-551
  Bergmann, K., & Kopp, S.
  
• (2011). How Can I Help? - Spatial Attention Strategies for a Receptionist Robot. International Journal of Social Robotics, 3(4), 383-393
  Holthaus, P., Pitsch, K., & Wachsmuth, S.
  
• (2011). Integrating feature maps and competitive layer architectures for motion segmentation. Neurocomputing, 74(9), 1372-1381
  Steffen, J., Pardowitz, M., Steil, J.J., & Ritter, H.
  
• (2012). A model of intentional communication: AIRBUS (Asymmetric Intention Recognition with Bayesian Updating of Signals). In S. Brown-Schmidt, J. Ginzburg, & S. Larsson (Eds.), Proceedings of SemDial 2012 (SeineDial) – 16th Workshop on the Semantics and Pragmatics of Dialogue. Paris: Université Paris-Diderot, 149-150
  De Ruiter, J.P., & Cummins, C.
  
• (2012). Contextually enriched argument linking. In R. Finkbeiner, J. Meibauer, & P. Schumacher (Eds.), What is a Context? Amsterdam: John Benjamins, 199-228
  Klein, U.
  
• (2012). Exploiting spatial descriptions in visual scene analysis. Cognitive Processing, 13(1), 369-374
  Ziegler, L., Johannsen, K., Swadzba, A., De Ruiter, J.P., & Wachsmuth, S.
  
• (2012). Kommunikation im 21. Jahrhundert: Alter Dialog-Wein in neuen Technik- Schläuchen. Zeitschrift für Literaturwissenschaft und Linguistik, 42, 13-27
  De Ruiter, J.P.
  
• (2012). Rapid entrainment to spontaneous speech: A comparison of oscillator models. In N. Miyake, D. Peebles & R. P. Cooper (Eds.), Proceedings of the 34th Annual Conference of the Cognitive Science Society. Austin, TX: Cognitive Science Society, 1721-1726
  Inden, B., Malisz, Z., Wagner, P., & Wachsmuth, I.
  
• (2012). Towards an ontology of categories for multimodal annotation. In Proceedings of the Workshop "Describing Language Resources with Metadata" at Language Resources and Evaluation Conference (LREC), 49-54
  Menke, P., & Cimiano, P.
  
• (2013). A computational model of cooperative spatial behaviour for virtual humans. In T. Tenbrink, J. Wiener, & C. Claramunt (Eds.), Representing Space in Cognition: Interrelations of Behaviour, Language, and Formal Models. Oxford: Oxford University Press, 147-168
  Nguyen, N., & Wachsmuth, I.
  
• (2013). Alignment in Communication: Towards a New Theory of Communication (Advances in Interaction Studies, 6). Amsterdam: Benjamins
  Wachsmuth, I., De Ruiter, J.P., Jaecks, P., & Kopp, S. (Eds.)
  
• (2013). Data-based analysis of speech and gesture: the Bielefeld Speech and Gesture Alignment corpus (SaGA) and its applications. Journal on Multimodal User Interfaces, 7(1-2), 5-18
  Lücking, A., Bergmann, K., Hahn, F., Kopp, S., & Rieser, H.
  
• (2013). Effects of speaker emotional facial expression and listener age on incremental sentence processing. PLOS ONE, 8(9)
  Carminati, M.N., & Knoeferle, P.
  
• (2013). Interaction phonology – a temporal coordination component enabling representational alignment within a model of communication. In I. Wachsmuth, J.P. De Ruiter, P. Jaecks, & S. Kopp (Eds.), Advances in Interaction Studies: Vol. 6. Alignment in Communication: Towards a New Theory of Communication. Amsterdam: Benjamins. 109-132
  Wagner, P., Malisz, Z., Inden, B., & Wachsmuth, I.
  
• (2013). MExiCo: A Library for Managing Multimodal Data Collections. Procedia – Social and Behavioral Sciences, 95, 105-110
  Menke, P., & Cimiano, P.
  
• (2013). Modeling the semantic coordination of speech and gesture under cognitive and linguistic constraints. In: Intelligent Virtual Agents, LNAI 8108. Berlin, Heidelberg: Springer, 203-216
  Bergmann, K., Kahl, S., & Kopp, S.
  
• (2013). On grounding natural kind terms in humanrobot communication. KI - Künstliche Intelligenz, 27, 107-118
  Peltason, J., Rieser, H., Wachsmuth, S., & Wrede, B.
  
• (2013). Priming and conceptual pacts in overhearers’ adoption of referring expressions. In M. Knauff, M. Pauen, N. Sebanz, & I. Wachsmuth (Eds.), Proceedings of the 35th Annual Conference of the Cognitive Science Society. Austin, TX: Cognitive Science Society, 1869-1874
  Behnel, M., Cummins, C., Sichelschmidt, L., & De Ruiter, J.P.
  
• (2013). Realtime 3D segmentation for Human-Robot Interaction. Presented at the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2013), Tokyo, Japan
  Ückermann, A., Haschke, R., & Ritter, H.
  
• (2013). Timing and entrainment of multimodal backchanneling behavior for an embodied conversational agent. In J. Epps, F. Chen, S. Oviatt, K. Mase, A. Sears, K. Jokinen, & B. Schuller (Eds.), Proceedings of the 15th International Conference on Multimodal Interaction. New York: ACM
  Inden, B., Malisz, Z., Wagner, P., & Wachsmuth, I.
  
• (2013). What is the link between emotional and communicative alignment in interaction? In I. Wachsmuth, J. de Ruiter, P. Jaecks, & S. Kopp (Eds.), Advances in Interaction Studies: Vol. 6. Alignment in Communication: Towards a New Theory of Communication. Amsterdam: Benjamins, 205-224
  Jaecks, P., Damm, O., Hielscher-Fastabend, M., Malchus, K., Stenneken, P., & Wrede, B.
  
• (2013): Empathy and its modulation in a virtual human. In I.J. Timm & M. Thimm (Eds.), LNAI: Vol. 8077. KI 2013: Advances in Artificial Intelligence. Berlin, Heidelberg: Springer, 25-36
  Boukricha, H., Wachsmuth, I., Carminati, M. N., & Knoeferle, P.
  
• Optimal Constructions. In G. Legendre, M. Putnam, & E. Zaroukian (Eds.), Advances in Optimality theoretic-syntax and semantics. Studies in Theoretical Linguistics. Oxford: Oxford University Press
  Vogel R.
  
• (2014). A detailed analysis of a new 3D Spatial Feature Vector for indoor scene classification. Robotics and Autonomous Systems, 62(5), 646–662
  Swadzba, A., & Wachsmuth, S.
  
• (2014). Children’s Syntactic-Priming Magnitude: Lexical Factors and Participant Characteristics. Journal of Child Language, 1-14. Available on CJO 2014
  Foltz, A., Thiele, K., Kahsnitz, D., & Stenneken, P.
  
• (2014). Communicating emotions - A model for natural emotions in HRI. Proceedings of the second international conference on Human-agent interaction - HAI, 269-272
  Damm, O., &, Wrede, B.
  
• (2014). Computational Approaches to the Pragmatics Problem. Language and Linguistics Compass, 8(4), 133-143
  Cummins, C., & De Ruiter, J.P.
  
• (2014). Influences of semantic and syntactic incongruence on readiness potential in turn-end anticipation Frontiers in Human Neuroscience, 8(296), 1-9
  Wesselmeier, H., Jansen, S., & Müller, H.M.
  
• (2014). Notes on Disagreement. In D. Gutzman, J. Köpping, & C. Meier (Eds.), Evaluations - Denotations - Entities. Studies in Context, Contents and the Foundation of Semantics. Leiden: Brill, 276-305
  Kracht M, & Klein U.
  
• (2014). Perceptual grouping through competition in coupled oscillator networks. Neurocomputing, 141, 76-83
  Meier, M., Haschke, R., & Ritter, H.
  
• (2014). Spatial references with gaze and pointing in shared space of humans and robots. In C. Freksa, B. Nebel, M. Hegarty, & T. Barkowsky (Eds.), Lecture Notes in Computer Science: Vol. 8684. Spatial Cognition IX. Berlin [u.a.]: Springer, 121-136
  Renner, P., Pfeiffer, T., & Wachsmuth, I.
  
• (2014). Using the readiness potential of button-press and verbal response within spoken language processing. Journal of Neuroscience Methods, 232, 24-29
  Jansen, S., Wesselmeier, H., De Ruiter, J.P. & Müller, H.M.
  
• (2015). Anticipation in turn-taking: mechanisms and information sources. Frontiers in Psychology, 6(89)
  Riest, C., Jorschick, A., & De Ruiter, J.P.
  
• (2015). Exploring the alignment space – lexical and gestural alignment with real and virtual humans. Frontiers in ICT 2:7
  Bergmann, K., Branigan, H.P., & Kopp, S.
  
• (2015). Lexical alignment in triadic communication. Frontiers in Psychology 6(127)
  Foltz, A., Gaspers, J., Thiele, K., Stenneken, P., & Cimiano, P.
  
• (2015). Pointing and reference reconsidered. Journal of Pragmatics, 77, 56-79
  Lücking, A., Pfeiffer, T., & Rieser, H.
  
• (2015). Temporal Effects of Alignment in Text-based, Task-oriented Discourse. Discourse Processes, 1-33
  Foltz, A., Gaspers, J., Meyer, C., Thiele, K., Cimiano, P., & Stenneken, P.