Structure-optimizing identification of nonlinear systems using elitist particle filtering
Final Report Abstract
In diesem Projekt wurde die strukturoptimierende Identifikation nichtlinearer Systeme mittels evolutionärer Partikelfilter untersucht. Dabei wurden Verfahren zur optimalen Schätzung sowohl der Strukturen selbst als auch der Strukturparameter (”Hyperparameter”) und der Koeffizienten entwickelt. Gemäß den im Antrag aufgestellten Hypothesen wird gezeigt, dass Weiterentwicklungen von EPFES (’Elitist Particle Filter based on Evolutionary Strategies’) und die Einbeziehung von physikalischem Vorwissen zu leistungsfähigen und echtzeitfähigen ’Online’-Algorithmen führt. Im ersten Arbeitspaket wurde das heuristisch motivierte EPFES aus einer Bayes’schen Perspektive hergeleitet und zum ’Elitist Resampling Particle Filter’ (ERPF) erweitert. Der wesentliche Vorteil des ERPF besteht darin, dass es im Gegensatz zu EPFES keine empirisch zu optimierende Parameter benötigt. Die allgemeine Herleitung des ERPF stellte auch den Zusammenhang zu anderen Partikelfiltern her, so dass zwei neue effiziente Varianten des ERPF entstanden. Die universelle Anwendbarkeit des ERPF-Konzepts schlug sich auch in einem neuartigen Bayes’schen Algorithmus zum Training neuronaler Netze nieder, der die ’Variational Energy’ minimiert (’Variational Gaussian Particle Filter’ (VGPF)). Die Verwendung des ERPF innerhalb des VGPF erlaubt eine signifikante Verringerung der Rechenkomplexität, was für Partikelfilter-Algorithmen im Allgemeinen und insbesondere auch für deren Anwendung zur Systemidentifikation von erheblicher Wichtigkeit ist. Des weiteren wurde ERPF auch für ’Multi-Target Tracking’ verwendet. Hierbei wurde das ERPF zur Herleitung einer effizienteren Version des ’Probability Hypothesis Density’ (PHD)-Filters benutzt (’Elitist Resampling PHD’ (ER-PHD)-Filter. Unter Verwendung eines ’Sequential Importance Resampling Particle Filter’ (SIR-PF) erzielt das ER-PHD-Filter bessere Ergebnisse als die zum Vergleich herangezogene weit verbreitete Form des PHD-Filters. Das Ziel des zweiten Arbeitspakets war die Entwicklung von Alternativen zu Wiener-Hammerstein (WH)-Modellen für die Modellierung gedächtnisbehafteter nichtlinearer Systeme. Dies führte zum Konzept eines von adaptiven Filtern inspirierten künstlichen neuronalen Netzes (’Adaptive Filtering-Inspired’ (AFI)-Netz). Dessen Struktur leitet sich unmittelbar aus WH-Modellen ab und erlaubt die Modellierung gedächtnisloser und gedächtnisbehafteter Nichtlinearitäten. Dabei lernt das AFI-Netz selbst die optimalen Basisfunktionen abhängig von dem beobachteten nichtlinearen System, wohingegen bei herkömmlichen WH-Modellen die Basisfunktionen vorab ausgewählt werden müssen. Für die Verfolgung der Zeitvarianz nichtlinearer Systeme wurden Methoden des ’Transfer Learning’ mit dem ERPF kombiniert. Zur Verbesserung der Robustheit der AFI-Netze wurden im dritten Arbeitspaket Methoden der konvexen Kombination verwendet. Zum einen wurde ein AFI-Netz mit einem herkömmlichen WH-Modell kombiniert. Dieser hybride Ansatz erhöht die Robustheit gegenüber Nichtlinearitäten, die in den Trainingsdaten nicht enthalten waren. Dies ist besonders für Nichtlinearitäten mit unbekannter Charakteristik, wie sie zum Beispiel bei Lautsprechern in mobilen Endgeräten (z.B. ’Smartphones’) auftreten, von besonderer Wichtigkeit. Zum anderen wurde ein Verfahren entwickelt, das robustes Verhalten gegenüber instantanen Änderungen des Systemzustands zeigt. Hierzu wurden mehrere AFI-Netze, die jeweils auf unterschiedliche Szenarien trainiert wurden, kombiniert. Im vierten Arbeitspaket wurden kooperative Verfahren zur Identifikation nichtlinearer ’Multiple Input - Multiple Output’ (MIMO)-Systeme entwickelt. Hierbei wird ein MIMO-System in mehrere, einfachere ’Multiple Input - Single Output’ (MISO)-Systeme aufgeteilt, die jeweils mittels des ERPF adaptiert werden und ihre Schatzparameter für die Nichtlinearitäten untereinander austauschen.
Publications
-
Estimating Parameters of Nonlinear Systems Using the Elitist Particle Filter Based on Evolutionary Strategies. In: IEEE Transactions on Audio, Speech, and Language Processing 2018, Nr. 3, S. 595–608
Huemmer, C.; Hofmann, C.; Maas, R.; Kellermann, W.
-
Evolutionary Resampling for Multi-target Tracking Using Probability Hypothesis Density Filter. In: Proceedings European Signal Processing Conference (EUSIPCO), Rom, Italien, Sept. 2018, S. 647-651
Halimeh, M. M. ; Brendel, A. ; Kellermann, W.
-
Hybrid Particle Filtering Based on an Elitist Resampling Scheme. In: Proceedings IEEE Workshop on Sensor Array and Multichannel Signal Processing (SAM), Sheffield, Großbritannien, Juli 2018, S. 257–261
Halimeh, M. M. ; Huemmer, C. ; Brendel, A. ; Kellermann, W.
-
Nonlinear Acoustic Echo Cancellation Using Elitist Resampling Particle filter. In: Proceedings IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Calgary, Kanada, April 2018, S. 236-240
Halimeh, M. M.; Huemmer, C.; Kellermann, W.
-
Recent Advances on LIP Nonlinear Filters and Their Applications: Efficient Solutions and Significance-Aware Filtering. Kapital 4 In: Adaptive Learning Methods for Nonlinear System Modeling, Comminiello, D. and Principe, J.C. (Eds.) Elsevier Science, S.71- 102, 2018
Hofmann, C.; Kellermann, W.
-
Bayesian Model Selection for Nonlinear Acoustic Echo Cancellation. In: Proceedings European Signal Processing Conference (EUSIPCO), A Coruna, Spanien, Sept. 2019
Halimeh, M. M. ; Brendel, A. ; Kellermann, W.
-
Neural Networks Sequential Training Using Variational Gaussian Particle Filter. In: Proceedings IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Brighton, Großbritannien, Mai 2019, S. 3002-3006
Halimeh, M. M. ; Brendel, A. ; Kellermann, W.
