Zeitbereichssimulation eines dreidimensionalen, integrativen Vokaltraktmodells für die artikulatorische Sprachsynthese

• Applicants: Professor Dr.-Ing. Dietmar Jackèl; Professor Dr. Bernd J. Kröger
• Subject Area: General and Comparative Linguistics, Experimental Linguistics, Typology, Non-European Languages
• Term: from 2005 to 2008
• Project identifier: Deutsche Forschungsgemeinschaft (DFG) - Project number 5455602

• Final Report Year: 2007

Final Report Abstract

Der wichtigste wissenschaftliche Beitrag dieses Projekts liegt unserer Ansicht nach in der Entwicklung eines artikulatorischen Sprachsynthesesystems, das im Vergleich zu früheren artikulatorischen Synthetisatoren eine deutlich bessere synthetische Sprachqualität ermöglicht. Zwar ist die Qualität noch nicht mit guten aktuellen konkatenativen Sprachsynthetisatoren vergleichbar, dennoch wurde mit diesem Projekt ein besseres Verständnis für das gegenwärtigen Potenzial dieser Synthesetechnik geschaffen. Konkret ist aus diesem Projekt ein Softwaresystem mit dem Namen VocalTractLab entstanden (www.vocaltractlab.de), das den Sprachproduktionsprozess auf der Basis unseres Vokaltraktmodells simulieren kann und anschaulich macht. Die Software hat bereits eine weite Verbreitung in wissenschaftlichen Kreisen gefunden (insbesondere in der Phonetik) und wird sowohl für die Ausbildung als auch für weiterführende Forschungsarbeiten eingesetzt. Unter anderem wird unser Synthesesystem in Projekten zur Erforschung des Spracherwerbs bei Kleinkindern eingesetzt (Prof. Bernd Kroger, Universitätsklinikum Aachen, und Frank Günther, Bosten University).

Publications

• Construction and control of a three-dimensional vocal tract model. In: International Conference on Acoustics, Speech, and Signal Processing (ICASSP'06), pages 873-876, Toulouse, France, 2006
  Peter Birkholz, Dietmar Jackel, and Bernd J. Kröger
  
• Learning to associate speech-like sensory and motor states during babbling. In: 7th International Seminar on Speech Production (ISSP'06), pages 67-74, Ubatuba, Brazil, 2006
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer- Rube
  
• Modeling sensory-to-motor mappings using neural nets and a 3d articulatory speech synthesizer. In: Proceedings of the 9th International Conference on Spoken Language Processing (Snterspeech 2006-ICSLP), pages 565-568, Pittsburgh, Pennsylvania, USA, 2006
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer-Rube
  
• Modellierung des subglottalen Systems für die Artikulatorische Sprachsynthese. In: 32. Deutsche Jahrestagung für Akustik (DAGA '06), pages 557-558, Braunschweig, Germany, 2006
  Peter Birkholz and Dietmar Jackel
  
• Noise sources and area functions for the synthesis of fricative consonants. Rostocker Informatik Berichte, 30:17-23, 2006
  Peter Birkholz and Dietmar Jackel
  
• Somatosensory, auditory, and motor representations in a neural model of speech production. In: Stem-, Spraak- en Taalpathologie 14, Suppl. - Abstracts of the 5th International Conference for Speech Motor Control, page 33, Nijmegen, Netherlands, 2006
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer-Rube
  
• Spatial-to-joint coordinate mapping in a neural model of speech production. In: 32. Deutsche Jahrestagung für Akustik (DAGA '06), pages 561-562, Braunschweig, Germany, 2006
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer-Rube
  
• Vocal tract model adaptation using magnetic resonance imaging. In: 7th International Seminar on Speech Production (ISSPW), pages 493-500, Ubatuba, Brazil, 2006
  Peter Birkholz and Bernd J. Kröger
  
• A gesture-based concept for speech movement control in articulatory speech synthesis. In: Esposito, A et al. (eds.) Springer Proceedings of the COST 2102 Workshop on Verbal and Nonverbal Communication Behaviours, Vietri sul Mare, Italy, 2007
  Bernd J. Kröger and Peter Birkholz
  
• Articulatory Synthesis of Singing. Proceedings of Interspeech, Special Session "Synthesis of Singing challenge", Antwerp, Belgium, 2007
  Peter Birkholz
  
• Control concepts for articulatory speech synthesis. In: 6th ISCA Workshop on Speech Synthesis, pp. 5-10, Bonn, Germany, 2007
  Peter Birkholz, Ingmar Steiner, and Stefan Breuer
  
• Control of an articulatory speech synthesizer based on dynamic approximation of spatial articulatory targets. In: Interspeech 2007 - Eurospeech, pages 2865-2868, Antwerp, Belgium, 2007
  Peter Birkholz
  
• Ein neuronales Modell zur sensomotorischen Entwicklung des Sprechens. Laryngo-Rhino-Otologie, 86:365-370, 2007
  Bernd J. Kröger, Peter Birkholz, and Christiane Neuschaefer-Rube
  
• Modeling the perceptual magnet effect and categorial perception using self-organizing neural networks. In: Proceedings of the 16th International Congress of Phonetic Sciences, pp. 789-792, Saarbrücken, Germany, 2007
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer-Rube
  
• Multidirectional mappings and the concept of a mental syllabary in a neural model of speech production. In: 33. Deutsche Jahrestagung für Akustik (DAGA '07), Stuttgart, Germany, 2007
  Bernd J. Kröger, Peter Birkholz, Jim Kannampuzha, and Christiane Neuschaefer-Rube
  
• Perspectives for Articulatory Speech Synthesis. In: 6th ISCA Workshop on Speech Synthesis, p. 391, Bonn, Germany, 2007
  Bernd J. Kröger
  
• Simulation of losses due to turbulence in the time-varying vocal system. IEEE Transactions on Audio, Speech and Language Processing, 15(4):1218-1226, 2007
  Peter Birkholz, Dietmar Jackel, and Bernd J. Kröger
  
• Simulation of vocal tract growth for articulatory speech synthesis. In: Proceedings of the 16th International Congress of Phonetic Sciences, pages 377-380, Saarbrücken, Germany, 2007
  Peter Birkholz and Bernd J. Kröger